边缘化你必须知道的一件事！(FEJ知识点总结)

news2024/9/23 11:28:38

vins和g2o边缘化的异同：(已经做到ppt里面了，简单回顾一下)

1.《视觉slam14讲》中提及的边缘化(G2O边缘化)是在计算求解过程中，先消去路标点变量，实现先求解相机位姿，然后再利用求解出来的相机位姿反过来计算路标点的过程，目的是为了加速求解，并非真的将路标点给边缘化掉。(补充：G2O是在BA之后提出的，BA就是优化路标点和相机位姿)

2.VINS的边缘化则真正需要边缘化掉滑动窗口中的最老帧和次新帧，目的是希望不再计算这一帧的位姿或者与其相关的路标点，但是希望保留该帧对窗口内其他帧的约束关系。

一个知识点：marg掉以后会使得之后的矩阵失去稀疏性的特点，也即矩阵会变得稠密起来，就是说非零元素的个数会增加。

编辑

添加图片注释，不超过 140 字（可选）

vins的边缘化策略第二点，当次新帧不是关键帧的时候直接丢弃次新帧，但是次新帧的IMU数据需要保留，这是为了保证IMU预积分的连贯性。

单目+imuj系统是4自由度不可观，yaw角+3自由度位置不可观。其中尺度因子由于加速度计的存在而可观。

编辑

添加图片注释，不超过 140 字（可选）

上面四幅图对应能量函数，上面的图告诉我们，能量函数为0的解由以前的一条曲线变成了一个点，不确定性的东西变得确定了，也即不可观的状态变量变得可观了。说明我们人为地引入了错误的信息。在不同的点线性化后，强行加起来，实际上引入了一些人为的约束，或者说引入了人为的错误观测，导致整个系统的崩溃。

编辑

添加图片注释，不超过 140 字（可选）

通过上面能量函数的例子可以说明，在marg的时候，不要在marg之后进行线性化，因为此时的状态和marg之前是不一样的。如果这时候再进行吸纳行话，会引入人为观测，导致整个优化过程崩溃。

因此，marg时，被marg的那些变量的雅可比已经不更新了，而此时留在滑动窗口里的其他变量的雅可比要用和marg时一样的线性点，就是FEJ进行计算，不要用新的线性点了。否则会导致整个问题的零空间被降维，意思即是引入了错误的人为观测约束，使得问题的零空间加入了错误的约束，因此被降维了。

编辑

添加图片注释，不超过 140 字（可选）

根据最后一句话可能FEJ也不是很必要，但是是一个考点。

在边缘化的过程中，状态变量会被不断更新，计算边缘化相关的雅可比时需要注意固定线性化点，也就是计算雅可比时求导变量的值要固定，而不是用每次迭代更新以后的x去求雅可比，这就是FEJ(First Estimate Jacobians)。同时这样被称为是系统的一致性问题。

系统的不可观的状态维数是这个矩阵零空间的维数。(之所以说零空间维数降低，就是说不可观的状态维数降低了，也即不可观变得可观了。)

编辑

添加图片注释，不超过 140 字（可选）

就是说计算雅可比矩阵的时候要选择第一次的线性点来进行计算。

编辑

添加图片注释，不超过 140 字（可选）

使用FEJ的意义：为了保证系统的一致性，对于有边缘化信息的非线性优化问题，所有优化变量的雅可比都应该使用优化迭代开始前的雅可比，在优化迭代的过程中不发生变化。就是说在进行边缘化以后，线性化使用的线性点要保持一致，使用同一个线性点来进行Taylor展开，这样才能保证系统不可观的维度。否则，便引入了人为观测误差，这样会使得系统由不可观变成可观，求解出来的结果是不对的！

关于第一估计雅可比(FEJ, First Estimate Jacobians)先进行一个简单的描述，在Marginalize的时候，求解滑动窗口估计器的迭代过程中，会不断迭代计算H矩阵和残差b，而在迭代过程中，状态变量会不断更新，计算雅可比的时候需要固定线性化点(fix the linearization point)。换言之，就是计算雅可比时候求导变量要固定，而不是用每一次迭代更新以后的状态量x去求雅可比。