先上bevformer的网络结构图
不难发现,他有两个输入。当前的环视图和历史bev。历史bev是通过历史环视图生成的。也就是说在生成bev特征提取模型这部分被使用了两次。在装模型时候,需要作以下工作:
1 bev特征提取模型单独提出来,转成模型
2 剩下的部分作为一个网络。
这么作的好处,很多部署框架支持模型weight共享,环视图特征提取网络参数量占了整个网络的40~50%,降低了显存使用。下面只对nvidia卡说。
bev特征提取模型单独提出来,转成模型
这里可以直接对通过pt模型,重新加载到bev题整体去网络,在做保存处理。
或者对pt转为onnx模型后,作剪出子网络处理。
模型的输入输出:
输入:环视图
输出:bev提取特征
剩下的部分作为一个网络
模型的输入输出:
输入:当前bev提取特征、历史bev提取特征
输出:输出预测结果
关于转模型
转onnx模型一定要作校准,trt模型也要做。
所有涉及到时序问题的都可以这么转。