经典文献阅读之--DEviLOG(使用合成数据和真实世界数据的数据驱动占用网格映射基于Transformer的BEV方案量产方案)

news2025/3/1 11:06:39

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务，并且需要GPU资源，可以考虑使用UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.6元，月卡只需要1.7元每小时，并附带200G的免费磁盘空间。通过链接注册并联系客服，可以获得20元代金券（相当于6-7H的免费GPU资源）。欢迎大家体验一下~

0. 简介

在自动驾驶汽车（AV）的感知任务中，数据驱动的方法往往优于传统方法。这促使我们开发了一种基于数据的方法来从激光雷达测量中计算占用网格地图（OGM）。我们的方法扩展了之前的工作，使得估计的环境表示现在包含一个额外的层，用于标记被动态物体占据的单元格。早期的解决方案只能区分自由和占用的单元格。障碍物是否可以移动的信息对于规划AV的行为非常重要。《Data-Driven Occupancy Grid Mapping using Synthetic and Real-World Data*》提出了两种生成训练数据的方法。一种方法扩展了我们以前关于使用合成训练数据的工作，以便生成具有上述三种单元状态的OGM。另一种方法使用nuScenes[1]数据集的手动注释创建训练数据。我们在未见过的真实世界数据上对两个模型的性能进行定量分析。相关代码可以在Github中找到。

1. 主要贡献

本研究进一步发展了我们先前的方法，该方法能够预测具有“空闲”、“静态占用”和“动态占用”三种单元状态的占据网格图（OGMs）。
我们在真实世界的nuScenes数据集[1]上进行了定量性能分析。本文比较了在合成数据上训练的模型与基于数据集手工注解生成标签训练的模型的性能。
我们通过将这两种方法应用于我们的研究车辆之一，检验了它们对新传感器配置的适应能力。因此，我们提出了一种方法学，通过使用真实世界的数据集来发现仿真中的盲点，并提高在合成数据上训练得到的模型对真实世界测量数据的领域适应性。
通过开源我们的基准测试和评估算法，我们鼓励其他研究者与我们的方法进行比较，以促进该领域的发展。

2. 数据驱动的占据网格图绘制

我们将占据网格图绘制视为一个监督学习问题，并介绍了我们的神经网络架构以及生成训练数据的两种方法。一种方法使用仿真生成的合成数据，另一种方法使用手工注解数据集生成的标签。

2.1 网络架构

我们的网络架构基于PointPillars[28]，该架构在激光雷达点云的目标检测中表现良好。我们使用相同的特征编码层和适配版本的CNN主干网络。预测头部被我们的证据预测头[6]替换，该预测头在本工作中扩展到三层，以包含可能的单元状态 $A \in Θ$ 的证据。该模型使用Sensoy等人[22]提出的期望均方误差损失函数进行训练。

在这里插入图片描述

这个信念质量 $b_A \in [0, 1]$ 被用于我们网络预测的证据占据栅格图（OGM）中。

2.2 来自模拟的合成训练数据

正如文献[6]中所述，我们使用VTD [26]在城市3D环境中创建模拟场景，包括静态障碍物（如交通灯、长凳、电线杆）以及动态对象（如行人、自行车、车辆）从大型车辆类型目录中选取。模拟的自我车辆（ego vehicle）在大小和类型上与用于记录测试数据集的车辆相似，并使用车辆动力学模型来实现，例如，在加速或转弯时的真实滚动和俯仰角。它配备了一个虚拟的激光雷达传感器，其位置与真实车辆相似。激光束通过在900个水平方向上的32个垂直层上使用光线投射来模拟，类似于真实传感器。第二个虚拟的激光雷达传感器具有相同的位置和视场，但使用3000个而不是32个垂直层来创建更密集的激光雷达点云。这些合成点云包含了关于反射源材料的信息，这被解释为对包含反射点及其周围单元格在标签OGM中占据状态的证据。与我们之前的方法[6]不同，只有在合法可行驶材料（如沥青、道路标记）上的反射贡献了一个信念质量 $b (F) = 0.1$ ，而所有在非可行驶材料（如人行道、建筑物）上的反射贡献了 $m(O_s)=0.1$ 。通过使用德姆斯特组合规则（Dempster’s Rule of Combination）结合分配给一个单元格的所有信念质量，由于影响一个单元格的激光雷达射线密度降低，创建的栅格图中的不确定性随着从传感器的距离增加而增加。除此之外，所有被动态对象覆盖的单元格被分配了一个信念质量 $m(O_d)=\frac{1}{|C|}\sum_c m_c(O_s)$ ，其中 $C=\{c_i\}$ 是被对象占据的单元格集合。然而，不能从输入数据中推断出的信息不应该包含在标签中。因此，只有被至少20个模拟激光束击中的对象才被处理。图2a展示了这样一个训练样本。