基于YOLACT的目标跟踪算法移植与测试
一、初始化开发环境（基于x86架构CPU的开发环境中完成）
1.1 初始化开发环境
1.下载SOPHON SDK开发包
#下载SOPHON SDK
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/06/15/16/Release_230501-public.zip
unzip Release_<Date>-public.zip
cd Release_<Date>-public
cd tpu-mlir_<Date>_xxxx/
2.配置Docker容器开发环境
#如果是首次使用Docker, 可执行下述命令进行安装和配置(仅首次执行):
sudo apt install docker.io
sudo systemctl start docker
sudo systemctl enable docker
sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker
#从 DockerHub https://hub.docker.com/r/sophgo/tpuc_dev 下载所需的镜像
docker pull sophgo/tpuc_dev:latest
确保安装包在当前目录, 然后在当前目录创建容器如下:
docker run --privileged --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:latest
# myname只是举个名字的例子, 请指定成自己想要的容器的名字
后文假定用户已经处于docker里面的/workspace目录。
1.2 配置docker容器开发环境
- 加载tpu-mlir及配置环境变量
tar zxf tpu-mlir_xxxx.tar.gz
source tpu-mlir_xxxx/envsetup.sh
- 下载Yolact算法移植代码：
git clone https://github.com/sophon-ai-algo/examples.git
# Yolact示例项目代码位置 /examples/simple/yolact
- 通过脚本下载需要的数据和模型：
# 进入项目
cd examples/simple/yolact/
# 执行脚本下载数据和模型
./scripts/download.sh
- 把图片文件放入目录中，并创建工作目录：
cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .
# 创建工作目录
mkdir workspace && cd workspace
这里的 $TPUC_ROOT 是环境变量, 对应tpu-mlir_xxxx目录。
二、模型转换(基于x86架构CPU的开发环境中完成）
2.1 pytorch模型转onnx模型
由于yolact源码包含了训练部分代码和切片操作，需要将训练部分和切片操作代码去掉，提前返回features。如之前下载的是yolact的源码，应该使用example示例中修改好的代码yolact.py替换原源码中的yolact.py进行模型的转换。
由于tpu-mlir目前只支持ONNX、TFLite和Caffe模型直接转换F32和Int8，PyTorch、PaddlePaddle和TensorFlow则需要转换为中间格式ONNX才能通过MLIR转换F32和Int8模型。
注：TPU-MLIRv23.05.01已经支持pytorch直接转为mlir。如何直接将pytorch转为mlir，可参考4. 编译TORCH模型 — TPU-MLIR 1.1 文档 (sophgo.com)：
#使用示例项目代码中自带的模型转换脚本，可以将pytorch模型转为onnx模型：
python3 ../scripts/converter/convert.py --input ../data/models/yolact_base_54_800000.pth --mode onnx --cfg yolact_base
#移动onnx模型到当前目录
mv ../scripts/converter/yolact_base_54_800000.onnx .
2.2 ONNX转MLIR
# 创建模型转换命令脚本并执行
vi onnx2mlir.sh
sh onnx2mlir.sh
模型转换命令如下：
# onnx2mlir.sh中的内容
model_transform.py \
--model_name Yolact \
--model_def ./yolact_base_54_800000.onnx \
--input_shapes [[1,3,550,550]] \
--mean 0.0,0.0,0.0 \
--scale 0.0039216,0.0039216,0.0039216 \
--keep_aspect_ratio \
--pixel_format rgb \
--test_input ../COCO2017/000000000632.jpg \
--test_result yolact_top_outputs.npz \
--mlir yolact.mlir
model_transform.py 主要参数说明如下（完整介绍请参见TPU-MLIR开发参考手册用户界面章节）:
| 参数名 | 必选？ | 说明 |
|---|---|---|
| model_name | 是 | 指定模型名称 |
| model_def | 是 | 指定模型定义文件, 比如.onnx或.tflite或.prototxt文件 |
| input_shapes | 否 | 指定输入的shape, 例如[[1,3,640,640]]; 二维数组, 可以支持多输入情况 |
| resize_dims | 否 | 原始图片需要resize之后的尺寸; 如果不指定, 则resize成模型的输入尺寸 |
| keep_aspect_ratio | 否 | 在Resize时是否保持长宽比, 默认为false; 设置时会对不足部分补0 |
| mean | 否 | 图像每个通道的均值, 默认为0.0,0.0,0.0 |
| scale | 否 | 图片每个通道的比值, 默认为1.0,1.0,1.0 |
| pixel_format | 否 | 图片类型, 可以是rgb、bgr、gray、rgbd四种情况 |
| output_names | 否 | 指定输出的名称, 如果不指定, 则用模型的输出; 指定后用该指定名称做输出 |
| test_input | 否 | 指定输入文件用于验证, 可以是图片或npy或npz; 可以不指定, 则不会正确性验证 |
| test_result | 否 | 指定验证后的输出文件 |
| excepts | 否 | 指定需要排除验证的网络层的名称, 多个用,隔开 |
| mlir | 是 | 指定输出的mlir文件名称和路径 |
| post_handle_type | 否 | 将后处理融合到模型中，指定后处理类型， 比如yolo、ssd |
运行成功画面如下
转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。
2.3 MLIR转F32模型
# 创建模型转换命令脚本并执行
vi mlir2bmodel_f32.sh
sh mlir2bmodel_f32.sh
将mlir文件转换成f32的bmodel, 操作方法如下:
# mlir2bmodel_f32.sh中的内容
model_deploy.py \
--mlir yolact.mlir \
--quantize F32 \
--chip bm1684x \
--tolerance 0.99,0.99 \
--test_input Yolact_in_f32.npz \
--test_reference yolact_top_outputs.npz \
--model Yolact_1684x_f32.bmodel
model_deploy.py 的主要参数说明如下（完整介绍请参见TPU-MLIR开发参考手册用户界面章节）:
| 参数名 | 必选？ | 说明 |
|---|---|---|
| mlir | 是 | 指定mlir文件 |
| quantize | 是 | 指定默认量化类型, 支持F32/F16/BF16/INT8 |
| chip | 是 | 指定模型将要用到的平台, 支持bm1684x/bm1684/cv183x/cv182x/cv181x/cv180x |
| calibration_table | 否 | 指定校准表路径, 当存在INT8量化的时候需要校准表 |
| tolerance | 否 | 表示 MLIR 量化后的结果与 MLIR fp32推理结果相似度的误差容忍度 |
| test_input | 否 | 指定输入文件用于验证, 可以是图片或npy或npz; 可以不指定, 则不会正确性验证 |
| test_reference | 否 | 用于验证模型正确性的参考数据(使用npz格式)。其为各算子的计算结果 |
| compare_all | 否 | 验证正确性时是否比较所有中间结果, 默认不比较中间结果 |
| excepts | 否 | 指定需要排除验证的网络层的名称, 多个用,隔开 |
| fuse_preprocess | 否 | 是否将预处理放入模型中做,目前只支持CV18xx系列的芯片,后面的章节会进行介绍 |
| customization_format | 否 | 指定输入到模型的图像格式,与预处理有关,一般不需要指定 |
| aligned_input | 否 | 是否将对输入数据做对齐,只支持CV18xx系列的芯片,后面的章节会进行介绍 |
| model | 是 | 指定输出的model文件名称和路径 |
运行成功画面如下
编译完成后, 会生成名为 ${model_name}_1684x_f32.bmodel 的文件。
2.4 MLIR转INT8模型
2.4.1 生成校准表
转INT8模型前需要跑calibration, 得到校准表; 输入数据的数量根据情况准备100~1000张左右。
然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。
这里用现有的100张来自COCO2017的图片举例, 执行calibration，这一步可能等待的时间较长:
vi run_cali.sh
sh run_cali.sh
run_cali.sh的内容如下：
run_calibration.py yolact.mlir \
--dataset ../COCO2017 \
--input_num 100 \
-o yolact_cali_table
运行成功画面如下：
运行完成后会生成名为 ${model_name}_cali_table 的文件, 该文件用于后续编译INT8 模型的输入文件。
2.4.2 编译为INT8对称量化模型
# 创建模型转换命令脚本并执行
vi mlir2bmodel_int8_sym.sh
sh mlir2bmodel_int8_sym.sh
转成INT8对称量化模型的命令如下:
# mlir2bmodel_int8_sym.sh内容如下
model_deploy.py \
--mlir yolact.mlir \
--quantize INT8 \
--calibration_table yolact_cali_table \
--chip bm1684x \
--test_input Yolact_in_f32.npz \
--test_reference yolact_top_outputs.npz \
--tolerance 0.85,0.45 \
--model Yolact_1684x_int8_sym.bmodel
运行成功画面如下：
编译完成后, 会生成名为 ${model_name}_1684x_int8_sym.bmodel 的文件。
2.4.3 编译为INT8非对称量化模型
# 创建模型转换命令脚本并执行
vi mlir2bmodel_int8_asym.sh
sh mlir2bmodel_int8_asym.sh
转成INT8对称量化模型的命令如下:
# mlir2bmodel_int8_asym.sh内容如下
model_deploy.py \
--mlir yolact.mlir \
--quantize INT8 \
--asymmetric \
--calibration_table yolact_cali_table \
--chip bm1684x \
--test_input Yolact_in_f32.npz \
--test_reference yolact_top_outputs.npz \
--tolerance 0.90,0.55 \
--model Yolact_1684x_int8_asym.bmodel
运行成功画面：
编译完成后, 会生成名为 ${model_name}_1684x_int8_asym.bmodel 的文件。
三、Yolact模型推理测试
3.1 准备示例程序
将Yolact_1684x_f32.bmodel、Yolact_1684x_int8_asym.bmodel、Yolact_1684x_int8_sym.bmodel三个文件移动到/data/models下
# 退回至yolact目录
mv Yolact_1684x_f32.bmodel Yolact_1684x_int8_asym.bmodel Yolact_1684x_int8_sym.bmodel ../data/models
cd ../python
3.2 部署测试
# sail解码 + bmcv预处理 + sail推理 + opencv后处理
# 下面的model参数Yolact_1684x_int8_asym.bmodel、Yolact_1684x_int8_sym.bmodel
python3 yolact_bmcv.py --cfgfile configs/yolact_base.cfg --model ../data/models/Yolact_1684x_f32.bmodel --is_video 0 --input_path ../image/
# 执行完毕后，在当前目录生成result bmcv文件夹，检测结果保存在该文件夹下。
# opencv解码 + opencv预处理 + sail推理 + opencv后处理
# 下面的model参数Yolact_1684x_int8_asym.bmodel、Yolact_1684x_int8_sym.bmodel
python3 yolact_sail.py --cfgfile configs/yolact_base.cfg --model ../data/models/Yolact_1684x_f32.bmodel --is_video 0 --input_path ../image/
# 执行完毕后，在当前目录生成result_cv文件夹，检测结果保存在该文件夹下。
3.3 效果对比
3.3.1 f32模型推理结果
3.3.2 int8对称量化模型推理结果
3.3.3 int8非对称量化模型推理结果
