1 FastDeploy

为什么采用FastDeploy,由于之前使用PaddleOCR(paddlle_inference)框架的代码做推理，造成实际显存一直开辟，不释放我的问题，刚开始两个模型占用1190M，开一路离线视频最终占用5792M，除去我们解码占用的1280M，仅仅在一路有限的推理过程中增加内存为3412M，对此PaddleOCR官方的大佬们也并没有给出有效的方案，因此中issue的大侠们建议使用FastDeploy试试，那就试试就试试。
简介：是作为百度飞桨框架的开源版本的应用。
优点：大而全。
缺点：刚发布不久。
FastDeploy github仓库地址

2 下载FastDeploy编译demo方法

预编译库下面的cmake 是这样用的，如下图，我要是用PP-OCRv3下面的Demo,在fastdeploy-linux-x64-gpu-1.0.1目录下创建build,执行下面命令；
说明一下，官方的文档写的重要环节给省掉了，大家还是要看具体的CMake文件的构成。

cd fastdeploy-linux-x64-gpu-1.0.1
mkdir build
cd build
cmake ../examples/vision/ocr/PP-OCRv3/cpp/ -DFASTDEPLOY_INSTALL_DIR=/home/zs/package/fastdeploy-linux-x64-gpu-1.0.1 -DFASTDEPLOY_INCS=${FASTDEPLOY_INSTALL_DIR}/include -DFASTDEPLOY_LIBS=${FASTDEPLOY_INSTALL_DIR}/lib
make -j10

执行完以上demo 将生成infer_demo


至于后面的推理，就按照官方的先跑通在加入自己训练的模型完成推理。
FastDeploy之PP-OCRv3推理