二. 多传感器时间同步方案（时序闭环）--1

news2024/9/29 19:15:40

前两篇文章讲了器件选型和多传感器系统设计：

一. 器件选型心得（系统设计）--1_goldqiu的博客-CSDN博客

一. 器件选型心得（系统设计）--2_goldqiu的博客-CSDN博客

二. 多传感器时间同步方案（时序闭环）--1

这个章节开始讲多传感器的时间同步方案，即多传感器时钟闭环问题，如何让所有传感器在同一个时钟下工作？

在进行多传感器融合之前，首先要对多传感器进行时空同步，空间上的同步就是多传感器标定，时间上的同步便是时序闭环。

问题提出

我们从问题描述、误差分析、需求分析三个角度来谈论：

问题描述

每种电子设备都有各自的时钟，起始时间均不相同，而且因晶振质量的差异，频率也不同。

同步误差分析

传感器之间的时钟偏差，会导致各传感器检测到的障碍物位置发生偏差，自车速度越大，偏差越大。

比如车速为120km/h，∆t = 0.1s，∆s = v ∗ ∆t = 3.33m，能达到3m左右的误差。

需求分析

自动驾驶完整系统的误差需要控制在0.3m以内，通常需要将闭环时钟同步误差控制在微秒级别。（因为还有其他误差来源）

基于这些考虑，我们有两个选择：

网络NTP时钟同步
GNSS的PPS+GPRMC同步

而网络NTP时钟其实也是需要接入GNSS的，最终还是基于原子钟时钟源，所以本质上我们的时钟同步来源只有一个：卫星原子钟。

根据NTP的原理和协议，我们能够从NTP Server计算出和client的偏差offset，根据offset调整client时钟，可将时钟误差稳定控制在微秒级别。

但是，目前的车载传感器不一定支持NTP以太网接入：

LiDAR

支持两种时钟同步方式：

• IEEE 1588-2008(PTPv2)：以太网接口同步；

• PPS脉冲信号+NMEA消息（GPS）。

Camera

非定制相机模组不支持时钟同步，定制相机可选择支持。

Radar

非定制Radar不支持时钟同步，量产可定制。

超声波雷达

非定制超声波雷达不支持时钟同步，量产可定制。

因此，在目前的多传感器系统中，时钟无法做到微秒级同步。

而在多传感器定位和感知系统中，LiDAR和Camera的融合所占比例和重要性是最大的。所以，提高LiDAR和Camera的时序同步性能是很有必要的。

多传感器系统成像同步能力分析

由于时钟域未完全同步，所以未同步传感器的数据，时间戳只能定为计算平台接收到数据时的时间戳；这中间的误差∆t，通常在几ms到几十ms之间。

各传感器成像的时间不一致，导致成像结果之间无法有效对齐。所以多传感器系统需要尽量降低时间戳与真实成像时间之间的误差。

时间戳误差分析：

• Camera、Radar和超声波成像结果和时间戳间存在不可控误差。

• LiDAR：成像的点云中，由于已经完成时间同步，每个点的成像时间与时间戳之间无误差。

为达到尽量减少误差的目的，我们可以通过第一个方法：离线统计&在线补偿

分别在驱动中加入对 ∆t-camera、 ∆t-radar、 ∆t-us的时间戳补偿，可以达到∆t < 20𝑚s的效果。

这里有一个提高这个估计的参数的方法（一般只适用于激光雷达和相机，因为它们的成像都比较丰富）：

即选取一段有合适标志物（如广告牌）的道路场景，在激光雷达和相机外参已经标定好的前提下，在一段时间序列下对这个场景进行成像（包含广告牌等合适标志物），将∆t 作为时间域上的外参，在空间外参已知的情况下将三维点云投在二维平面上，或者将二维图像对应三维空间的点转换到三维空间上，然后两个传感器对这个标志物在二维或三维上有了成像的结果，就可以构建误差代价函数，求解的参数为∆t。理论上如果没有标定时间参数，雷达和图像在二维或三维上在一段时间序列中会错位，而标定了时间参数并补偿过去能够很好地解决这个问题。这在一些论文中也有这些问题的解决方案。

但这种离线估计，在线补偿的方式很容易出现问题，比如计算平台接收到数据的延迟时间不是很可控，有可能会变动比较大。

所以，一个比较好的方式就是硬件时间同步。

即构造一个触发装置，在指定的时刻，发送触发信号，让所有的传感器触发成像，减少成像时刻误差。该设备功能如下：

• 连接GPS信号或NTP server，确保时钟实现微秒级同步

• 设置触发逻辑（如LiDAR正前方的成像相位），同时触发LiDAR和Camera成像

• 支持多LiDAR和多Camera，暂不支持Radar和超声波雷达

优点：系统精度更高，可将系统同步精度控制在∆t< 5𝑚s；