Docker用model.config部署及更新多个模型

news2025/4/23 19:47:12

步骤:
1、本地打包模型
2、编写model.config文件
3、使用 Docker 启动一个 TensorFlow Serving 容器
4、本地打包后的模型修改后,修改本地model.config,再同步更新容器的model.config

1、本地打包模型(本地路径)
在这里插入图片描述

2、编写model.config文件

model_config_list:{
    config:{
        name: "model_1",
        base_path: "/models/model_1",
        model_platform: "tensorflow"
    },
    config:{
        name: "model_2",
        base_path: "/models/model_2",
        model_platform: "tensorflow"
    }
}

3、使用 Docker 启动一个 TensorFlow Serving 容器

docker run 
-p 8500:8500 
-p 8501:8501 
--mount type=bind,source=/save_data/tfs_model/,target=/models/ 
-t tensorflow-serving:2.6.0 
--model_config_file=/models/models.config 
-v /save_data/tfs_model/models.config:/models/models.config 
--allow_version_labels_for_unavailable_models &

注意!注意!注意!
target后面的/models/是固定写法,不能修改。
就是将本地的source路径与容器的target路径,进行映射,本地source下的文件夹与容器target文件夹进行内容共享。model.config中的base_path写路径映射后模型在容器中的路径。

命令解析:

  1. docker run
    这是 Docker 的核心命令,用于创建并启动一个新的容器。
  2. -p 8500:8500 -p 8501:8501
    这部分指定了端口映射:
    8500:8500 表示将宿主机的 8500 端口映射到容器的 8500 端口。
    8501:8501 表示将宿主机的 8501 端口映射到容器的 8501 端口。
    TensorFlow Serving 默认使用 8500 端口进行 gRPC 通信,8501 端口用于 HTTP/REST API 通信,通过这种方式,宿主机可以访问容器内的 TensorFlow Serving 服务。
  3. –mount type=bind,source=/save_data/tfs_model/,target=/models/
    这部分指定了挂载卷:
    –mount 是 Docker 的挂载选项,用于将宿主机的目录或文件挂载到容器内部。
    type=bind 表示使用绑定挂载的方式,将宿主机的文件系统直接映射到容器中。
    source=/save_data/tfs_model/ 指定宿主机上的目录路径,这里是 /save_data/tfs_model/。
    target=/models/ 指定容器内的目标路径,这里是 /models/。
    这样,宿主机的 /save_data/tfs_model/ 目录中的内容会被直接映射到容器的 /models/ 目录中,方便模型文件的共享和访问。
  4. -t tensorflow-serving:2.6.0
    -t 是 Docker 的选项,用于指定容器的名称或标签。
    tensorflow-serving:2.6.0 是 TensorFlow Serving 的 Docker 镜像名称和版本号,表示使用 TensorFlow Serving 2.6.0 版本的镜像来启动容器。
  5. –model_config_file=/models/models.config
    这是 TensorFlow Serving 的一个参数,用于指定模型配置文件的路径:
    –model_config_file 是 TensorFlow Serving 的命令行参数,用于指定模型配置文件的路径。
    /models/models.config 是容器内的路径,指向模型配置文件。这个文件定义了模型的加载和配置信息,例如模型的名称、存储路径等。
  6. -v /save_data/tfs_model/models.config:/models/models.config
    这部分也是挂载卷的操作:
    -v 是 Docker 的挂载选项,与 --mount 类似,用于将宿主机的文件或目录挂载到容器中。
    /save_data/tfs_model/models.config:/models/models.config 表示将宿主机的 /save_data/tfs_model/models.config 文件挂载到容器的 /models/models.config 路径。
    这样,容器可以访问宿主机上的 models.config 文件,确保模型配置的一致性。
  7. –allow_version_labels_for_unavailable_models
    这是 TensorFlow Serving 的另一个参数:
    –allow_version_labels_for_unavailable_models 是 TensorFlow Serving 的一个配置选项,允许为尚未加载的模型版本设置标签。
    这在模型管理中很有用,例如在模型更新或回滚时,可以通过标签快速定位模型版本。
  8. &
    & 是一个 Shell 符号,表示将命令放在后台运行。
    这意味着 Docker 容器将在后台启动,不会阻塞当前终端。

4、同步更新容器的model.config(需修改本地IP)

config_file = "/save_data/tfs_model/models.config"
channel = grpc.insecure_channel("本地ip:8500")
stub = model_service_pb2_grpc.ModelServiceStub(channel)
request = model_management_pb2.ReloadConfigRequest()

# 读取配置文件内容
config_content = open(config_file, "r").read()
model_server_config = model_server_config_pb2.ModelServerConfig()
model_server_config = text_format.Parse(text=config_content, message=model_server_config)

# 设置请求内容
request.config.CopyFrom(model_server_config)

# 发送请求
request_response = stub.HandleReloadConfigRequest(request, 10)
if request_response.status.error_code == 0:
    print("TF_Serving配置文件已更新.")
else:
    print("TF_Serving配置文件更新失败.")
    print(str(request_response.status.error_code))
    print(str(request_response.status.error_message))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2340995.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux kernel signal原理(下)- aarch64架构sigreturn流程

一、前言 在上篇中写到了linux中signal的处理流程,在do_signal信号处理的流程最后,会通过sigreturn再次回到线程现场,上篇文章中介绍了在X86_64架构下的实现,本篇中介绍下在aarch64架构下的实现原理。 二、sigaction系统调用 #i…

matlab论文图一的地形区域图的球形展示Version_1

matlab论文图一的地形区域图的球形展示Version_1 图片 此图来源于: ![Jieqiong Zhou, Ziyin Wu, Dineng Zhao, Weibing Guan, Chao Zhu, Burg Flemming, Giant sand waves on the Taiwan Banks, southern Taiwan Strait: Distribution, morphometric relationship…

Flask API 项目 Swagger 版本打架不兼容

Flask API 项目 Swagger 版本打架不兼容 1. 问题背景 在使用 Flask 3.0.0 时遇到以下问题: 安装 flask_restful_swagger 时,它强制将 Flask 降级到 1.1.4,并导致其他依赖(如 flask-sqlalchemy、flask-apispec)出现版…

基于YOLOv11 和 ByteTrack 实现目标跟踪

介 绍 之前我们介绍了使用YOLOv9与 ByteTrack 结合进行对象跟踪的概念,展示了这两种强大的技术如何有效地协同工作。现在,让我们通过探索与 ByteTrack 结合的 YOLOv11 来进一步了解这一概念。 实战 | 基于YOLOv9和OpenCV实现车辆跟踪计数(步骤…

Qt Creator 创建 Qt Quick Application一些问题

一、Qt Creator 创建 Qt Quick Application 时无法选择 MSVC 编译器(即使已安装 Qt 5.15.2 和 MSVC2019) 1、打开 Qt Creator 的编译器设置 工具 (Tools) → 选项 (Options) → Kits → 编译器 (Compilers) 检查是否存在 Microsoft Visual C++ Compiler (x86_amd64) 或类似条…

编码转换器

大批量转换编码 可以将整个工程文件夹从GB18030转为UTF-8 使用Qt C制作 项目背景 比较老的工程,尤其是keil嵌入式的工程,其文本文件(.c、.cpp、.h、.txt、……)编码为gb2312,这为移植维护等带来了不便。现在uit-8用…

[密码学实战]密评考试训练系统v1.0程序及密评参考题库(获取路径在文末)

[密码学实战]密评考试训练系统v1.0程序及密评参考题库 引言:密评考试的重要性与挑战 商用密码应用安全性评估(简称"密评") 作为我国密码领域的重要认证体系,已成为信息安全从业者的必备技能。根据国家密码管理局最新数据,截至2024年6月,全国仅有3000余人持有…

蓝桥杯常考的找规律题

目录 灵感来源: B站视频链接: 找规律题具有什么样的特点: 报数游戏(Java组): 题目描述: 题目链接: 思路详解: 代码详解: 阶乘求和(Java组…

MySQL_MCP_Server_pro接入cherry_studio实现大模型操作数据库

大模型直接与数据库交互,实现基本增删改查操作。首先贴下代码地址: https://github.com/wenb1n-dev/mysql_mcp_server_pro 安装环境:win10 1、下载代码 git clone https://github.com/wenb1n-dev/mysql_mcp_server_pro 2、使用conda创建…

Spark-Streaming

WordCount案例 添加依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation"…

transformer 子层连接结构

子层连接结构 目标 了解什么是子层连接结构掌握子层连接结构的实现过程 什么是子层连接结构? 输入到每个子层以及规范化层的过程中, 使用了残差连接(跳跃连接, 从Add&Norm -> Add&Norm), 因此我们把这一部分结构整体叫做子层连接(代表子层及其链接结构), 在每个…

linux oracle 19c 静默安装

oracle数据库有个比较很抓瞎的事情&#xff0c;不同的版本搭建的大致流程是一样的&#xff0c;但是在实操细节上会有不同&#xff0c;比如操作的脚本位置和配置项等等&#xff0c;这些会变&#xff0c;所以需要时常积累不同版本的文档 这里有一点要说明&#xff0c;之所以使用…

C++ 的 输入输出流(I/O Streams)

什么是输入输出流 C 的输入输出操作是通过 流&#xff08;stream&#xff09; 机制实现的。 流——就是数据的流动通道&#xff0c;比如&#xff1a; 输入流&#xff1a;从设备&#xff08;如键盘、文件&#xff09;读取数据 → 程序 输出流&#xff1a;程序将数据写入设备&…

电子电器架构 --- DFMEA设计失效模式和后果分析

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 周末洗了一个澡,换了一身衣服,出了门却不知道去哪儿,不知道去找谁,漫无目的走着,大概这就是成年人最深的孤独吧! 旧人不知我近况,新人不知我过…

Apache SeaTunnel:新一代开源、高性能数据集成工具

Apache SeaTunnel 是一款开源、分布式、高性能的数据集成工具&#xff0c;可以通过配置快速搭建数据管道&#xff0c;支持实时海量数据同步。 Apache SeaTunnel 专注于数据集成和数据同步&#xff0c;主要旨在解决数据集成领域的常见问题&#xff1a; 数据源多样性&#xff1a…

python+selenium+pytest自动化测试chrome driver版本下载

chrome浏览器chromedriver版本下载地址 https://googlechromelabs.github.io/chrome-for-testing/#stable

3.1 WPF使用MaterialDesign的介绍1

MaterialDesignInXAML Toolkit 是一个流行的开源 C# WPF 控件库,它实现了 Google 的 Material Design 规范,让开发者可以轻松创建现代化的 WPF 应用程序界面 Material Design 是一个流行的设计语言,由 Google 开发,旨在帮助开发者构建美观且一致的 UI 界面。对于使用 C# 的…

从 0 到 1 打通 AI 工作流:Dify+Zapier 实现工具自动化调用实战

一、引言&#xff1a;当 AI 遇到工具孤岛 在企业数字化转型的浪潮中&#xff0c;AI 工具的应用早已从单一的对话交互进阶到复杂的业务流程自动化。但开发者常常面临这样的困境&#xff1a;本地开发的 MCP 工具&#xff08;如 ERP 数据清洗脚本、CRM 工单系统 API&#xff09;如…

Spring Boot中`logging.config`配置项的详解及使用说明

以下是Spring Boot中logging.config配置项的详解及使用说明&#xff1a; 1. logging.config 作用 功能&#xff1a;指定自定义日志配置文件的路径&#xff0c;覆盖Spring Boot默认的日志配置。适用场景&#xff1a;当需要深度定制日志行为&#xff08;如输出格式、文件路径、…

相机模型--CMOS和CCD的区别

1--CMOS和CCD的工作原理 CCD&#xff08;Charge Coupled Device&#xff0c;电荷耦合器件&#xff09;&#xff1a; 1. 图像通过光电效应在感光单元中转化为电荷&#xff1b; 2. 每个像素上的电荷被依次“耦合”并传输到芯片的角落&#xff0c;通过一个或几个模拟输出放大器输…