一、前言

是对自动驾驶之心多传感器标定课程内容的记录，也是对一些被老师简单略过问题的自主学习。第一章是概述，将内容以问题的形式记录，并结合课上内容以及自己的项目经验给出回答

二、内容记录

1. 车上会安装哪些传感器，各种传感器特点如何，什么要做多传感器融合？
   超声波雷达：成本很低，检测范围很小，通常只有一米左右，最开始用作倒车雷达，现在会用来做近处的补盲。
   相机：相机分辨率高，成本低，纹理信息丰富，在识别检测分割任务上优势显著。缺点是无法获得准确的距离信息，受光照影响明显。相机也包括很多种类，有为了增强远处感知能力的长焦相机，以及扩大感知范围的鱼眼相机等，实际会使用多种相机的组合。
   毫米波雷达：也是非常常用的一种传感器，具有测距功能，且在极端天气下表现良好，成本显著低于激光雷达，但是角分辨率与精度也和激光雷达差距明显。有一个说法是毫米波雷达不能检测静止的物体，这其实有一定问题。真实原因其实是由于早期的毫米波雷达无法获得高程信息，只能检测到方位角、距离和速度，可想而知它对于障碍物的感知能力是非常有限的，可能导致很大一部分静态物体都被识别成障碍物，然后一路上疯狂报警。所以工程师干脆直接将静态的回波视作噪声滤除了。现在的Radar已经发展到了4D阶段，可以简单理解成在z方向堆叠了多个通道来获得高程信息，这样获得的点云更接近激光雷达。除此之外，有个说法好像是，因为毫米波雷达波长较长，更容易发生衍射，因此有机会发现还没直接出现在视野内的障碍物，这会给下游任务留出更大空间，但不知道量产任务中时候会这样用。
   激光雷达：通过ToF准确的感知物体距离，具有非常大的检测范围与极佳的测距精度，角分辨率高（0.5°×0.5°），不受光照影响。缺点是成本太高，在极端天气下表现较差，因为激光雷达发射的光波长目前主要是905nm，不容易绕过雨雪雾粒子。并且对于一些反射率过高/过低的物体，激光雷达的识别也会出现偏差。
   GPS+IMU：定位模块，GPS更新频率低，不存在累计误差；IMU更新频率高，存在累计误差。
   

   各种传感器的特性存在互补关系，所以使用多传感器进行融合，一方面可以取长补短，提升自动驾驶系统的表现；还可以通过传感器冗余，避免某种传感器失效导致系统行为异常，提升自动驾驶系统的安全性。

2. 为什么要进行多传感器标定？
   通过设计，系统会具备一些性能指标，但是由于一些误差，实际产品与预期会存在一些偏差，标定就是要优化系统的参数来使得系统达到预期的性能。以自动驾驶为例，首先是传感器本身的性能要符合要求（内参标定），比如激光雷达的测距精度，相机的畸变情况；另外传感器之间的布置也要符合预期（外参标定），全景图像是否拼接正常，激光雷达点云和图像是否成功对齐。

3. 传感器标定的难点
   根据我自己的经验，我认为除非时量产型号可能有比较完善的自动化标定方案，对于研发中的形态各异的样机标定都需要人工参与，这样成本就会比较大；并且不同种传感器特性不同，标定方法也不同，需要工程师有完备的理论基础和丰富的工程经验；标定的结果也不太容易量化，大多数情况只能依赖下游任务的反馈；标定往往只能获得一个局部最优解，可能需要根据工程经验对各种工况分别做标定？

4. 标定精度如何验证
   一些场景下，标定精度不容易被验证，这时候只能通过观察效果定性的分析下，比如观察图像的去畸变效果、点云与图像的对齐、全景图像的拼接；在产线标定过程中，由于场景是结构化的，可以设计一些指标进行检测；部署上车之后，也有通过训练分类器的方式，对当前标定结果的可用性进行判断，实现在线自检。