tensorrt的工作流程如下图:
-
首先定义网络
-
优化builder参数
-
通过builder生成engine,用于模型保存、推理等
-
engine可以通过序列化和逆序列化转化模型数据类型(转化为二进制byte文件,加快传输速率)
-
再进一步推动模型由输入张量到输出张量的推理
代码结构: -
定义 builder, config 和network,其中builder表示所创建的构建器,config表示创建的构建配置(指定TensorRT应该如何优化模型),network为创建的网络定义。
-
输入,模型结构和输出的基本信息(如下图所示)
-
生成engine模型文件
-
序列化模型文件并存储
// tensorRT include
#include