经典文献阅读之--SMERF(通过标清导航地图增强车道感知和拓扑理解)

news2024/11/13 3:44:37

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务，并且需要GPU资源，可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.6元，月卡只需要1.7元每小时，并附带200G的免费磁盘空间。通过链接注册并联系客服，可以获得20元代金券（相当于6-7H的免费GPU资源）。欢迎大家体验一下~

0. 简介

传统的自动驾驶严重依赖于成本高昂、劳动繁重的高精（HD）地图，这阻碍了其可扩展性。相比之下，标清（SD）地图成本较低，并且覆盖全球范围，从而提供了一种可扩展的替代方案。在《Augmenting Lane Perception and Topology Understanding with Standard Definition Navigation Maps》中，我们系统性地探索了标清地图对实时车道拓扑理解的影响。本文提出了一种新型的框架来将标清地图集成到在线地图预测中，并且提出了一种基于Transformer的编码器（即来自Transformers的标清地图编码器表示），其利用标清地图中的先验来执行车道拓扑预测任务。这种增强持续且显著地在目前最先进的在线地图预测方法上提升了车道检测和拓扑预测，没有额外成本，并且能够立即加入到任何基于Transformer的车道拓扑方法中。相关的代码已经在Github上开源了

在这里插入图片描述

图1：车道拓扑推理。利用标准定义（SD）地图（a）和道路级拓扑的先验信息，我们的工作旨在改进车道中心线检测（c）、车道中心线之间的拓扑推理以及交通要素（b）。在SD地图中，橙色线条和青色线条分别对应道路和人行道。

1. 主要贡献

在这项工作中，我们探索了使用SD地图来改善在没有高清地图的情况下的在线车道拓扑推理。我们提出了一种新颖而简洁的方法，即在Transformer编码器架构[6]中对SD地图进行编码，以学习可在下游车道拓扑任务中使用的特征表示。我们将我们的方法命名为SMERF（来自Transformer的SD地图编码表示）。增加SD地图的框架立即适用于任何基于Transformer的车道拓扑方法，我们证明，将SD地图作为额外的信息源可以提高车道拓扑推理的性能——在所有可用的架构中都是如此。当与当前最佳的开源车道拓扑模型[7]一起使用时，车道检测和车道拓扑预测实现了最先进的性能，而无需进行任何额外的调整。我们的贡献总结如下：
• 据我们所知，我们是第一个系统地探索SD地图在车道拓扑理解中的实用性的工作。
• 我们提出了SMERF，一种SD地图表示和基于Transformer的编码器模型，用于车道拓扑预测。
• 我们通过实验证明，我们提出的方法显著提高了所有评估的车道拓扑方法的性能。

2. 方法

问题设置。遵循先前的工作[1]，[7]，我们假设存在一个多摄像头设置：自动驾驶车辆配备了 $C$ 个同步的多视角摄像头及其对应的摄像头内参和外参参数。此外，我们可以访问SD地图和自动驾驶车辆的2D位置和航向，作为从全球定位系统（GPS）得到的3自由度刚性变换 $G_p$ ，用于将SD地图与车载传感器输入对齐。根据这些输入，任务是检测道路的车道中心线和场景中的交通元素，如交通灯和停车标志。此外，我们推断车道中心线的连接性以及它们与每个交通元素的关系。所有成对关系都表示为亲和力矩阵。

SMERF的流程如图2所示。提出的SMERF（下半部分）通过SD地图的先验来增强现有的车道拓扑模型（上半部分），以更好地检测车道中心线和进行关系推理。具体来说，我们首先检索SD地图，将其编码为特征表示，然后使用Transformer编码器在SD地图特征表示与车载摄像头输入的特征之间进行交叉注意力，以构建用于车道检测和关系推理的BEV特征。该流程是端到端训练的，无需额外的训练信号。