0. 简介

为了实现精确定位，自动驾驶车辆通常依靠围绕移动平台的多传感器感知系统。校准是一个耗时的过程，机械畸变会导致外部校准误差。因此，《Lidar-Visual-Inertial Odometry with Online Extrinsic Calibration》提出了一种激光雷达-视觉-惯性里程计，结合了适应性滑动窗口机制，允许在线非线性优化和外部校准。在适应性滑动窗口机制中，进行空间-时间对齐以管理以不同频率到达的测量。在在线校准的非线性优化中，使用视觉特征、云特征和惯性测量单元（IMU）测量来估计自我运动并进行外部校准。

1. 主要贡献

本文提出了一种基于非线性优化的激光雷达-视觉-惯性系统，用于鲁棒地和准确地估计姿态并在线进行外部标定。本研究的主要贡献包括：

提出了一种适应性滑动窗口机制，用于管理来自异构传感器，包括3D激光雷达、相机和IMU的不同频率的测量。
提出了一种非线性优化公式，使用视觉特征、点云特征和IMU测量同时进行在线标定和运动估计。
进行了一系列广泛的实验，以验证所提出系统的性能。结果表明，我们的方法优于现有技术水平方法

2. 优化基于的激光雷达-视觉-惯性系统

2.1 整体系统（略看即可）

所提出系统的框架如图1所示，其中 $T^{B_{tc}}_{B_{tl}}$ 是传播变换，而 $b_a$ 和 $b_ω$ 分别是IMU加速度计和陀螺仪偏差。在测量预处理步骤中，基于Kanade-Lucas-Tomasi（KLT）算法[21]，在连续图像之间检测和跟踪视觉特征。基于曲率从点云中提取云特征，并由3D激光雷达在本地地图内跟踪，类似于LIO-SAM[8]。使用连续视觉关键帧之间的所有IMU测量计算IMU预积分项。
在这里插入图片描述
构建一个涉及所有系统状态和测量的非线性优化问题，在滑动窗口内对系统状态（运动和外参）进行优化。如果将 $W 、 B 、 C$ 和 $L$ 分别定义为世界、IMU、相机和三维激光雷达的框架，则要优化的状态变量定义为在滑动窗口范围 $N + 1$ 内的运动状态 $x^W_{B_{t_i}}(i=0,1,...,N)$ ，相机外参 $x^B_C$ ，3D激光雷达外参 $x^C_L$ 和观察到的视觉特征的逆深度 $d_j(j=1,2,...,m)$ 。状态变量的完整定义为：
在这里插入图片描述
由于其较高的频率，视觉特征可能并不总能找到匹配的云特征（如图2中虚线圆圈所示的“未找到云”）。接下来，我们将详细描述时空对准过程。

当新的云特征帧 $P^L_{tl}$ 在时间 $t_i$ 到达时，首先将其空间对准到本体坐标系，即
在这里插入图片描述
经过空间对准之后， $P^B_{tl}$ 与特定的 $x^W_{B_{t_i}}$ 、 $x^B_C$ 和 $x^C_L$ 在以下形式上进行时间对准：

其中， $R^W_{B_{t_i}}$ 和 $p^W_{B_{t_i}}$ 代表物体框架在时间 $t_i$ 的方向（由旋转矩阵描述）和位置（由3D向量描述）； $v^W_{B_{t_i}}$ 是速度向量； $b_{a,t_i}$ 和 $b_{ω,t_i}$ 是IMU加速度计和陀螺仪偏差，也在时间 $t_i$ ； $R^B_C$ 和 $p^B_C$ 包含相机和IMU之间的外在关系； $R^C_L$ 和 $p^C_L$ 是3D激光雷达和相机之间的外在关系。最后，应注意VINS-Mono的视觉回路闭合模块被直接用于消除累积的定位误差[6]。