fast_bev学习笔记

news2024/9/21 12:40:23

一. 简述

原文:Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline
FAST BEV是一种高性能、快速推理和部署友好的解决方案，专为自动驾驶车载芯片设计。该框架主要包括以下五个部分：

Fast-Ray变换：这是一种轻量级的、部署友好的视图变换，它将多视图2D图像特征沿着相机射线的体素投影到3D，从而快速获得BEV（鸟瞰图）表示。相较于传统方法，这种变换方式显著提升了推理速度，使得多尺度投影操作变得更为高效和实用。
多尺度图像编码器：利用多尺度信息来获取更好的性能。通过多尺度投影操作，编码器能够充分利用不同尺度的图像特征，从而增强BEV感知的准确性和鲁棒性。
高效BEV编码器：专为加速车载推理而设计。通过使用少量的原始残差网络作为基本BEV编码器，该部分能够在保证性能的同时，进一步降低计算复杂度和推理时间。
数据增强：针对图像和BEV空间的强大数据增强策略，以避免过度拟合。通过引入各种数据变换和增强技术，可以提高模型的泛化能力，使其在面对不同场景和复杂环境时仍能保持良好的性能。
时间融合：利用时间信息的多帧特征融合机制。通过融合多帧图像的特征信息，该部分能够捕捉动态场景中物体的运动轨迹和状态变化，从而进一步提升BEV感知的准确性和实时性。
FAST BEV的优势在于其能够在保证高性能的同时，实现快速推理和方便部署。这使得它成为自动驾驶车载芯片上一种理想的解决方案。此外，相较于传统方法，FAST BEV无需使用昂贵的视图变换器或深度表示，从而降低了硬件成本和维护难度。

综上所述，FAST BEV通过优化视图变换、编码器设计、数据增强和时间融合等方面，实现了高性能、快速推理和部署友好的自动驾驶解决方案。随着自动驾驶技术的不断发展，FAST BEV有望在未来发挥更大的作用。

二. 输入输出

FAST BEV的输入主要是多相机RGB图像，
输出则是预测的3D边界框（包括速度）和地图分割结果。

通过一系列的处理步骤，如Fast-Ray变换、多尺度图像编码、高效BEV编码等，对输入的RGB图像进行特征提取、视图变换和编码，最终输出3D边界框和地图分割结果。

三. github资源

源码: https://github.com/Sense-GVT/Fast-BEV
使用CUDA和TensorRT进行Fast-BEV推理: https://github.com/Mandylove1993/CUDA-FastBEV
https://github.com/linClubs/FastBEV-ROS-TensorRT

Fast-BEV代码复现实践: https://blog.csdn.net/h904798869/article/details/130317240
Fast Bev在ubuntu上的复现过程以及error汇总: https://blog.csdn.net/qq_42704750/article/details/130280567
复现教程1 : https://zhuanlan.zhihu.com/p/631504194

四. 复现推理过程

4.1 cuda tensorrt 版

参考链接:https://github.com/Mandylove1993/CUDA-FastBEV

提供了PTQ和QAT的int8量化代码,
PTQ （Post-Training Quantization）是在模型训练完成后进行的量化,通过分析训练好的模型的权重和激活的分布来确定量化参数（如缩放因子和零点偏移）。
QAT（Quantization Aware Training）通过在训练过程中模拟量化操作来优化模型的权重，以减少量化带来的精度损失。
int8量化代码: 将模型的权重从浮点数转换为int8。在推理过程中，将模型的激活从浮点数转换为int8。在计算层输出时，将int8值转换回浮点数以便进行后续计算。

问题1:
CUDA和TensorRT进行Fast-BEV推理
缺少的在此下载NVIDIA-AI-IOT/Lidar_AI_Solution https://github.com/NVIDIA-AI-IOT/Lidar_AI_Solution/tree/master

 ../dependencies/stb
  ../dependencies/pybind11/include
  ../libraries/cuOSD/src
  ../libraries/3DSparseConvolution/libspconv/include

问题2:
安装mmcv mmdet mmdet3d 参考:https://blog.csdn.net/h904798869/article/details/130317240版本如下:
在这里插入图片描述

问题3:
安装spconv:

pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

git clone https://github.com/traveller59/spconv.git 
cd spconv
git checkout v1.2.1
git submodule update --init --recursive 
python setup.py bdist_wheel

cd ./dist
pip install spconv-.....

python 
import spconv