NVIDIA Triton系列09-为服务器添加模型

news2024/9/24 23:29:28

NVIDIA Triton系列09-为服务器添加模型

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-CSDN博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

前面已经用 https://github.com/triton-inference-server/server/doc/examples 开源仓的范例资源，创建一个最基础的模型仓以便执行一些基础的用户端范例，现在就要带着读者为模型仓添加新的模型。

在“创建模型仓”的文章里讲解过，Triton 模型仓使用目录结构与相关文件来形成一个模型的基础要素，如下所列：

上面的目录结构与模型文件是最基本的材料，处理起来是很容易的，比较复杂的部分是配置文件 config.pbtxt 的内容，里面提供 Triton 服务器用来管理模型执行特性的各项参数，这些设置的内容主要分为静态的基础（minimal）设置项与动态的优化（optimization）设置两大部分，本文内容先针对基础配置项的部分进行说明。

为了说明这些配置内容，这里先以范例模型仓里的 inception_graphdef 模型的配置文件 config.pbtxt 为例，来配合以下的简单说明，比较容易让大家理解详细的内容：

每个配置文件里都至少包含以下5个部分：

1. 模型名称：

这部分直接使用存放模型的文件夹名称，因此可以省略，如果要指定的话就必须与文件夹名称一致。

2. 平台/后端名称（Name, Platform and Backend）：

这部分必须与模型训练时使用的框架与文件格式相匹配，以下是使用频率较高的种类：

至于其他平台/后端的对应名称，就需要根据实际的平台与对应名称进行配置。

3. 模型执行策略（Model Transaction Policy）：

这个属性只有一个**“解耦（decoupled）与否”**的选项。使用解耦意味着模型生成的响应的数量可能与发出的请求的数量不同，并且响应可能与请求的顺序无关。

默认值为 false，上面范例中并未列出这个参数的配置值，表示“不启用解耦”功能，意味着该模型将为每个请求生成一个响应。

如果需要启用解耦功能，就在配置文件内添加以下内容：

model_transaction_policy { decoupled: True}

4. 最大批量值（Maximum Batch Size）：

Triton 服务器支持多种调度和批处理算法，可以为每个模型独立选择。这个属性表示执行该推理模型计算时的最大批量规模，包括“无状态（stateless）”或“有状态（stateful）”等类型的模型。

这个参数主要配合下面**“输入/输出节点内容”的张量尺度部分，例如本范例中输入节点张量格式为“format: FORMAT_NHWC”，但是下面尺度“dims: [ 299, 299, 3 ]”的三个数值是对应到“HWC（高/宽/通道）”，缺少“批量值（N）”**的部分，这正是这个“最大批量值”为输入节点与输出节点所配置的数值，这样 Triton 可以使用动态批处理器或序列批处理器自动对模型进行批处理。

在这种情况下，max_batch_size 应设置为大于或等于1的值，表示应与该模型一起使用的最大批次大小；对于不支持批处理或不支持以上述特定方式进行批处理的推理模型，则将 max_batch_size 设置为 0。

5. 输入节点与输出节点（Inputs and Outputs）：

每个推理模型都有至少一个输入节点与输出节点，这部分的内容必须配合模型的内容，不能自己随便定义。

要添加新的推理模型时，推荐使用 Netron 工具查看模型的网络结构，只要在浏览器上输入“netron.app”后打开模型文件就可以。目前经过测试，Netron.APP 工具能查看 ONNX、TensorFlow/graphdef、Pytorch 等模型文件的网络结构，相当方便。

下图是 model_repository/inception_graphdef/1/model.graphdef 模型文件所能看到的输入/输出节点的内容：

每个节点都包含**“名称”、“数据类型”与“尺度（shape）”**三个部分，现在就进一步说明：

(1) 节点名称（name）：

上图最左边的输入节点在整个网络结构的最上方，名称为“input”；中间输出节点在网络结构最下方，点选“softmax”节点会出现右边灰色信息块，显示其完整名称为“InceptionV3/Predictions/Softmax”。现在对照模型的 config.pbtxt 里对应内容，是必须能匹配的，否则启动 Triton 服务器时会出现错误。

不过这个环节里对 PyTorch 模型需要特殊的处理，由于 TorchScript 模型文件中输入/输出的元数据不足，配置中输入/输出的“名称属性”必须遵循以下特定的命名约定：

使用张量字典（Dictionary of Tensor）：

Triton 服务器的 PyTorch 后端支持以张量字典的形式将输入传递给模型，例如模型有如下的张量字典内容：

{‘A’: tensor1, ‘B’: tensor2}

输入的名称映射到该特定张量的字符串“key”值，例如“A”或“B”，其中输入“A”是指对应于 tensor1 的值、“B”是指对应于 tensor2 的值。

映射到 forward() 函数的输入值：

当输入节点名称不在张量字典内，就使用 TorchScript 模型里所定义的 forward() 函数输入值。例如函数定义为“forward(self, input0, input1)”时，则两个输入节点的名称分别对应为“input0”与“input1”。

使用_格式：

这里的可以是任何字符串、则对应到输入或输出顺序的整数，例如模型有两个输入节点与两个输出节点时，可以用“INPUT_0”与“INPUT_1”代表两个输入节点、用“OUTPUT_0”与“OUTPUT_1”代表两个输出节点。

如果所有输入（或输出）不遵循相同的命名约定，那么我们从模型配置中强制执行严格排序，即我们假设配置中输入（或输出）的顺序是这些输入的真实顺序。

(2) 数据类型（data_type）：

输入和输出张量所允许的数据类型因模型类型而异，数据类型部分描述了允许的数据类型以及它们如何映射到每个模型类型的数据类型。