Docker使用tensorflow/serving镜像部署模型

环境

简单梳理一下使用tensorflow/serving镜像在服务器上部署模型。
首先要保证在linux环境上已经安装好了docker，之后下载tensorflow/serving镜像：

#下载镜像
docker pull tensorflow/serving
#查看下载的镜像
docker images

下载官方的模型文件

tensorflow-serving源码中有很多官方训练好的模型，git地址：https://github.com/tensorflow/serving

#创建一个文件夹
mkdir tensorflow-test
#在上面的文件下执行clone
git clone https://github.com/tensorflow/serving

单模型部署

这里用官方提供的saved_model_half_plus_two_cpu作为示例，这个模型在/home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata这个路径下，前面的地址根据自己的服务器地址改一下。
运行下面的命令：

docker run -p 8501:8501 
--mount type=bind,source=/home/saved_model_half_plus_two_cpu,target=/tensorflow/models/half_plus_two -e MODEL_NAME=half_plus_two -t tensorflow/serving --model_base_path=/tensorflow/models/half_plus_two &

说明：
docker run：这不用多解释，docker运行镜像的命令
-p 8501:8501：-p是绑定端口的参数，第一个8501代表着现在用的这台机器的8501端口，第二个8501代表着通过这个镜像启动的容器的8501端口，所以这里的意思就是将本地的8501端口和通过这个镜像启动的容器的8501端口绑定，访问本地的8501端口就相当于访问了该容器的8501端口。当然第一个8501可以修改任意本地空闲的端口，第二个8501不可以随便修改，tensorflow/serving镜像默认对外提供两个端口，8501：http请求的端口，用去提供restful服务；8500：grpc请求的端口，提供grpc服务，这里要注意。
–mount type=bind,source=/home/saved_model_half_plus_two_cpu,target=/tensorflow/models/half_plus_two：source后面的地址是本地的地址，后面的是容器上的地址，这里是将本地的这个地址挂载到容器上这个地址
-e MODEL_NAME=half_plus_two：设置环境变量，设置模型名称为half_plus_two
-t tensorflow/serving：通过tensorflow/serving这个镜像来启动容器
–model_base_path=/tensorflow/models/half_plus_two：指定模型的基础路径，这里的路径最好和target后面的路径保持一致。
&：后面运行

执行上述命令之后输出如下信息，代表启动成功了：

这时候就可以ctrl+c退出这个页面，然后使用http请求测试一下

curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict

输出如下：

多模型部署

这里说的多模型部署的意思是在一个容器里启动多个模型，也可以启动多个容器，每个容器里启动一个模型。多模型部署，要先创建一个models.config文件，内容如下

model_config_list:{

        config:{
                name:"half_plus_two"
                base_path:"/tensorflow/multiModel/two"
                model_platform:"tensorflow"
                model_version_policy {
                        specific {
                                versions: 123
                        }
                }
        },
        config:{
                name:"tf"
                base_path:"/tensorflow/multiModel/two_tf2"
                model_platform:"tensorflow"
                model_version_policy {
                        specific {
                                versions: 123
                        }
                }
        }
}

创建好这个文件之后执行下面的命令：

docker run -p 8500:8500 -p 8501:8501 -v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/tensorflow/multiModel/two -v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_tf2_cpu:/tensorflow/multiModel/two_tf2 -v /home/tensorflow/models.config:/tensorflow/models.config -t tensorflow/serving --model_config_file=/tensorflow/models.config &

说明：
docker run：不多说
-p 8500:8500 -p 8501:8501：这里就是将本机的8500和8501绑定到容器上的8500和8501端口，这两个端口分别提供http请求和grpc请求，这个上面详细讲了，这里也不多说了。
-v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/tensorflow/multiModel/two：这里也是挂载目录的意思，冒号前面的地址是本机地址（绝对路径），冒号后面是容器上的地址（绝对路径）。接下来两个-v后面跟的内容都是这个意思。就不说了
–model_config_file=/tensorflow/models.config：设置config文件的地址，注意这里后面跟着的地址是容器上的地址，最好也和挂载的地址保持一致
&：后台运行
执行命令之后输出和测试和单模型部署一样，这里就不贴图了。

问题

博主对于docker和模型，还有这个tensorflow/serving镜像就是个小白，但是工作中要用到，所以在本地虚拟机测了一下要用到的内容，遇到的问题挺多的，也记不清了，下面这俩还有记录。
Could not find base path /models/half_plus_two for servable half_plus_two with error NOT_FOUND:
Failed to start server. Error: NOT_FOUND: /tensorflow/models.config; No such file or directory
主要弄懂每个地址是对应的本地地址，还是对应的容器上的地址，我遇到的问题应该就很好解决了，没什么要写的了，结束！
参考文档：https://blog.csdn.net/xxm524/article/details/128060790
https://blog.csdn.net/xiedelong/article/details/122044005

是不是一定要有所失，才能有所悟