高精地图_语义地图_众包地图相关论文笔记

1.20220618_LT-mapper: A Modular Framework for LiDAR-based Lifelong Mapping

2021
3d-Lidar构建long-term地图
分为
- SLAM模块（每个session的点云地图通过关键帧构建，对不同session的关键帧进行anchor node检测，基于anchor帧构建的闭环因子实现Multi-session之间offset的修正，在保证单个session pose最优的情况下，Multi-session之间的pose也是对齐的）
- 点云移除模块（检测变化的点云进行策略性的增加与删除）
- 地图管理模块
代码开源，使用GTSAM优化

请添加图片描述

2.20220623_Road Mapping and Localization using Sparse Semantic VisualFeatures

2021
文章主要实现了基于道路路标的SLAM，包括回环检测，作者来自阿里。
地面特征匹配使用匈牙利算法、电线杆等匹配使用光流法
使用B样条拟合道路线
是真的把语义信息纳入到状态变量进行一起优化的系统
工作量有点大

请添加图片描述

3.20220629_A General Framework for Lifelong Localization and Mapping in Changing Environment

2021
高仙机器人的life-long SLAM，可以看出是基于cartographer的工作
最核心的贡献是，在移除子图时使用边缘化法进行子图的移除，但是移除后会使得图模型变得稠密，于是采用 Chow-Liu Tree 进行图模型近似稀疏化。这一点应该是在life-long主题必备的。
还有一篇同时期的工作也是用的这个算法原理。

请添加图片描述

4.20220701_Geometry-based Graph Pruning for Lifelong SLAM

2021
同高仙机器人论文，使用Chow-Liu Tree 进行稀疏化
对于频繁建图的场景很实用，可以借鉴。

请添加图片描述

5.20220703_Mapping and Localization using Semantic Road Marking withCentimeter-level Accuracy in Indoor Parking Lots

2019
IMU+轮速计进行航迹推算
环视进行语义分割（选定ROI防止边缘区域畸变过大）
子图里面校正DR、回环全局优化
利用DR数据进行图像拼接、利用语义信息进行点云融合
值得学习的算法：
- 点云融合算法（避免点云过多出现问题）
- 语义ICP算法

请添加图片描述

6.20220704_Road-SLAM : Road Marking based SLAM with Lane-level Accuracy

2017
基于Graph-SLAM，只使用了Road信息
子图思想进行回环检测
可以借鉴的算法：
- 自适应IPM算法
- 自适应二值化算法
- 语义分类算法：通过形状函数集合（ESF）提取特征，然后使用随机森林进行分类
- GICP算法进行匹配

请添加图片描述

7.20220704_Monocular Localization in Urban Environments using Road Markings

2017
只有定位，没有建图，基于优化求解
地图使用的Lidar构建好的，使用单目进行定位
单目定位没有使用语义信息，使用道路边缘以及道路点的几何信息构建优化问题进行求解。
edge提取：基于随机森林的边缘提取算法
匹配： Chamfer matching 算法

请添加图片描述

8.20220704_AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

2020
AVP-SLAM 作者秦通
环视 + IMU + 轮速计
环视 IPM 处理
U-Net，对合成IPM图像的每一个像素输出一个标签，标签主要有lanes, parking lines, guide signs, speed bumps, free space, obstacles, and walls
建图（a）利用里程计进行局部建图,（b）ICP回环检测全局优化建图
定位（a）里程计定位，(b)语义ICP定位，EKF融合
主要贡献是提出方案框架
AVP-SLAM:自主代客泊车视觉定位方案探索（自动驾驶）

请添加图片描述

9.20220704_RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

2021
RoadMap 作者秦通
车端建图（众包）、云端维护（融合、更新）、压缩(轮廓提取）分发
汽车本地建图：汽车使用前视照相机、RTK-GPS、IMU 和轮式编码器等传感器进行融合建图。其中 RTK-IMU 可以用来进行车辆位姿估计，相机图片可以用来提取语义特征，将提取到的语义特征投影至世界坐标系可以建立局部的语义地图。
云端建图：汽车在本地建立的局部语义地图会上传至云端，云端服务器收集多个汽车的局部地图，通过拼接形成全局地图，然后对全局地图采用轮廓提取的方法进行压缩
用户端定位：用户可以实时获取最新的全局地图，只需要有低成本的相机、GPS、IMU 和编码器即可通过 GPS 和 IMU 进行粗定位，再结合语义信息匹配获取较为准确的位置估计
对云端数据进行一系列自动化的处理，便可以生产自动驾驶所使用的定位图层和拓扑图层,自动生成拓扑图层？
云端构图完成后，其他车辆经过该地图覆盖的区域后，便可以下载该轻量化的语义地图，进行导航和定位
定位和之前车端数据处理一样，提取前视相机的语义特征，通过和下载的语义地图比对，得到当前车辆的位姿
不用高精地图行不行？RoadMap：自动驾驶轻量化视觉众包地图
个人觉得可以以这篇文章为蓝本进行实现

请添加图片描述

10.20220704_Light-weight Localization for Vehicles using Road Markings

2013
本田
建图阶段：GPS+IMU+camera（检测 road mark）
定位阶段：通过检测的 road mark 进行地图查询定位
创新点：更高特性的特征点检测
we use MSER to find regions of interest that could potentially contain road markings
IPM后，在 ROI 中提取 FAST 角点，使用 HOG 进行角点描述，并进行角点的标注
We detect the contour of the road mark on the inverse perspective mapped (IPM) image using an active snake algorithm [8] and record the relative pixel locations of these corners within the contour.从角点点云中查找轮廓
Road Mark是模板化的

请添加图片描述

11.20220704_Submap-Based SLAM for Road Markings

2015
论文背景为一个大学生智能汽车竞赛
离线的SLAM过程
ROI提取，IPM变换（selected a 2-D difference of Gaussian (DoG) as a filter 滤波畸变）特征提取算法为参考文献2
局部建图：占栅格地图，在线构建
全局优化：
感觉这篇文章没啥太突出的亮点啊，基本上是一些策略型的方法。

请添加图片描述

12.20220705_LaneLoc: Lane Marking based Localization using Highly Accurate Maps

2013
建图：360Lidar + 手工，就是传统的建图方式
文章主要工作在于已有地图后的定位，定位 = 横向定位 + 纵向定位
建图相机朝下安装，避免了 roll pitch 的影响
解读参考

请添加图片描述

13.20220705_Lane marking aided vehicle localization

2013
采集车采集数据进行处理，具体怎么处理的没有详细展开
建图阶段：拿到lane points后：
- Douglas–Peucker’s algorithm 降采样
- 聚类
- 最小二乘拟合参数得到lane模型(Each lane can have two border lines, both of them mapped into two polylines), Q:全是小线段组成的吗？
定位阶段：横向定位，纵向定位，很魔幻没咋看懂

请添加图片描述

14.20220705_Visual Semantic Localization based on HD Map for Autonomous Vehicles in Urban Scenarios

2021
作者：华为诺亚方舟实验室
看华为的论文我似乎找到了他们写论文的固有格式：
- 1.首页 = 摘要 + Introduction（由行业大方案，引出主要贡献）+ 一张漂亮图
- 2.次页 = RELATED WORK（和本文类似的方案介绍，这里就很耐人寻味了，列出的参考文献，语句关键词都是来自与参考文献原文，简单变一下描述就是，很有可能就是来自于摘要） + 本系统框架图 + III.System overview
- 3.后面依次为IV. METHODOLOGY + V. EXPERIMENTAL EVALUATION + VI. CONCLUSIONS + REFERENCES
传感器：单目相机(提取语义特征) + IMU + 两个编码器 + GNSS
IV.METHODOLOGY

A. Semantic Features and Detection

YOLOV3实现语义分割, sign–> $s_t = (s_t^l, s_t^c, s_t^b)$ :
- $s_t^l$ : 点云类别
- $s_t^c$ :点云类别得分
- $2_t^b$ :类别boundingBox （四个顶点）
- 加上相对当前位置的高度 height 一并存入到 HDMap 中
pole–> $s_t = (s_t^l, s_t^c, s_t^b)$ :
- $s_t^l$ : 点云类别
- $s_t^c$ :点云类别得分
- $2_t^b$ :类别 two vertices (端点)
- 一并存入到 HDMap 中
road marking： sample points 存入 HDMap 中

B. Semantic Data Association with HD map

step 1 在里程计先验位姿附近进行采样得到候选位姿（预测），并根据采样位姿将地图上的特征投影到图像上

$p_i = \frac{1}{Z_i^c}KT_v^cT_v^{-1}p_i^m$ ；
$p_i$ : 地图中第 $i$ 个特征点位置
$K, T_v^c$ 为相机内外参
$Z_i^c$ 为地图中第 $i$ 个特征点在相机坐标系 $Z$ 轴的位置

step 2 执行局部一致性的粗关联，找到近似最优的采样姿态，同时消除由于大的先验姿态误差引起的不匹配。局部结构一致性：感知特征的横向位置分布 + 对应特征重投影最小化。（a）感知与重投影特征按横向位置升序排列；（b）计算每个感知特征 $s_t$ 和每个重投影特征 $r_k$ 之间的相似度:
$p\left(s_{t} \mid r_{k}\right)=p\left(s_{t}^{l} \mid r_{k}^{l}\right) p\left(s_{t}^{c} \mid s_{t}^{l}, r_{k}^{l}\right) p\left(s_{t}^{b} \mid r_{k}^{b}\right) \tag{4}$
where, $p\left(s_{t}^{l} \mid r_{k}^{l}\right)$ and $p\left(s_{t}^{c} \mid s_{t}^{l}, r_{k}^{l}\right)$ can be obtained by offline learning of perception results.点云类别与点云得分相似度好计算

For signs, the likelihood $p\left(s_{t}^{b} \mid r_{k}^{b}\right)$ consists of position and size similarity:这里就是计算 boundingBox的相似性
$\begin{aligned} p\left(s_{t}^{b} \mid r_{k}^{b}\right)=& \omega \exp \left(-\frac{1}{2}\left(\frac{x_{p}-u_{p}}{\sigma_{p}}\right)^{2}\right)+\\ &(1-\omega) \exp \left(-\frac{1}{2}\left(\frac{x_{s}-u_{s}}{\sigma_{s}}\right)^{2}\right) \end{aligned}$
,
- $ω$ 是用于加权位置相似性和大小相似性的学习超参数。
- $u_p 、 u_s 、 x_p、 x_s$ 分别表示地图特征和感知特征的位置和大小。 $σ_p, σ_s$ 可以从感知结果中离线学习。
与 signs 相似，pole 的似然 $p(s_t^b |r_k^b)$ 由位置、方向和重叠相似性组成。
如果感知特征的最大相似度得分大于阈值并且保留了局部结构，则将它们视为匹配对。对于每个采样姿势，计算cost $C$ 以根据匹配数 $N_m$ 和匹配误差 $e_{i i^{\prime}}$ 对其进行近似评估：
$C=-\frac{1}{N_{m}} \sum_{i=1}^{N_{m}} e_{i i^{\prime}}+\omega N_{m}$
$\omega$ is a hyperparameter. $e_{i i^{\prime}}$ is defined as the lateral distance between feature $i$ and $i^{\prime}$ , as shown in Fig. 3. The proposal with $\max C$ is regarded as the approximate optimal matching sampled pose and will be used in step 3 .

请添加图片描述

step 3 基于 step2 中近似最优匹配采样位姿，进行考虑匹配数、匹配相似度和局部结构相似度的最优关联方法，实现最优全局一致性匹配。通过解决以下优化问题，将其表述为多阶图匹配问题：

$\begin{aligned} \hat{\mathbf{X}}=\underset{\mathbf{X}}{\arg \max } \omega_{1} N_{m}+\omega_{2} \frac{1}{N_{m}} \sum_{i=1}^{N} \sum_{i^{\prime}=1}^{M} x_{i i^{\prime}} s_{i i^{\prime}} \\ &+\omega_{3} \frac{1}{N_{e}} \sum_{i}^{N} \sum_{i^{\prime}}^{M} \sum_{j}^{N} \sum_{j^{\prime}}^{M} x_{i i^{\prime}} x_{j j^{\prime}} s_{i j, i^{\prime} j^{\prime}} \end{aligned} \tag{7}$
S.t.
$\sum_{i=1}^{N} x_{i i^{\prime}} \leq 1, \sum_{i^{\prime}=1}^{M} x_{i i^{\prime}} \leq 1, x_{i i^{\prime}}=0 \text { or } 1$

$N$ and $M$ are the number of perceived and reprojection features,
$N_{e}$ is the number of edges between two features.
$\omega_{1}, \omega_{2}$ and $\omega_{3}$ are hyperparameters.
$x_{i i^{\prime}}$ denotes if perceived feature $i$ is matched with reprojection feature $i^{\prime}$ .
$s_{i i^{\prime}}$ represents the similarity between perceived feature $i$ and reprojection feature $i^{\prime}$ , which is computed by equation (4). $s_{i j, i^{\prime} j^{\prime}}$ represents the similarity between edge $e_{i j}$ and $e_{i^{\prime} j^{\prime}}$ :
$s_{i j, i^{\prime} j^{\prime}}=\exp \left(-\frac{1}{2}\left(\frac{e_{i j}-e_{i^{\prime} j^{\prime}}}{\sigma_{e}}\right)^{2}\right)\tag{8}$
- $e_{i j}$ and $e_{i^{\prime} j^{\prime}}$ denotes the lateral distance between feature $i$ and $j$ , and feature $i^{\prime}$ and $j^{\prime}$ , as shown in Fig. 3 .
- $\sigma_{e}$ can be learned offline. The optimization problem will be solved by general random re-weighted walk framework [39].

step 4 执行连续帧间的特征跟踪。该过程在连续帧中的特征之间建立关联。由于感知特征是静态的并保持局部结构，我们将该过程表述为类似于等式（7）的多阶图匹配问题。

step 5 执行时间平滑以得到时间一致性的数据关联。该过程在连续帧中的感知特征和地图特征之间构建最佳一致匹配。当前帧的匹配正确性可以通过滑动窗口中先前的匹配结果来验证。此外，如果当前帧中出现不匹配，则可以根据之前的匹配和跟踪来找到并纠正它。时间平滑通过对滑动窗口中每一帧的匹配 $D_{1: T}$ 和匹配置信度 $c_{t, i}$ 加权来获取地图特征 $x^{l}$ 的对应感知特征 $s_{i}$ ：

$\begin{aligned} \hat{s}_{i} &=\underset{s_{i}}{\arg \max } p\left(s_{i} \mid D_{1: T}\right) \\ &=\underset{s_{i}}{\arg \max } \frac{\sum_{t} I\left(s_{i}, D_{t}\right) c_{t, i}}{\sum_{t, j} I\left(s_{j}, D_{t}\right) c_{t, j}} \end{aligned}$

$I\left(s_{i}, D_{t}\right)$ denotes if map feature $x^{l}$ is matched with perceived feature $s_{i}$ .
The matching confidence $c_{t, i}$ is given by evaluating feature and local structure similarity:
$\begin{aligned} c_{t, i} &=\omega \exp \left(-\frac{1}{2}\left(\frac{s_{i i^{\prime}}}{\sigma_{p}}\right)^{2}\right) \\ &+(1-\omega) \exp \left(-\frac{1}{2}\left(\frac{\frac{1}{N_{m}-1} \sum_{j=1, j \neq i}^{N_{m}} s_{i j, i^{\prime} j^{\prime}}}{\sigma_{e}}\right)^{2}\right) \end{aligned}$
如果最佳感知特征的累积置信度远大于次优感知特征的置信度，则认为最佳感知特征为地图特征 $x^{l}$ 的匹配对。否则，认为地图特征 $x^{l}$ 具有不确定匹配，并且可以给出与每个感知特征的匹配概率。该过程区分确定匹配和不确定匹配，可以解决奇点引起的不匹配问题。

C. Pose Graph Optimization

等式（2）的位姿估计过程可以定义为先验概率和似然的乘积：

$\begin{aligned} \hat{\mathcal{X}} &=\underset{\mathcal{X}}{\arg \max } p(\mathcal{X} \mid \mathcal{Z}, \mathcal{L}, \hat{\mathcal{D}}) \\ &=\underset{\mathcal{X}}{\arg \max } p(\mathcal{X}) p(\mathcal{Z} \mid \mathcal{X}, \mathcal{L}, \hat{\mathcal{D}}) \end{aligned}\tag{11}$

通过高斯分布假设，先验分布 $p(\mathcal{X})$ 是通过里程计的相对运动估计得到的。我们基于里程计测量 $z_{i, i+1}^{o}$ 和匹配的特征对 $z_{i}^{l}$ 制定滑动窗口非线性最小二乘估计器，以估计最近的 $T$ 个姿势。与常用的滤波方法相比，优化方法可以处理异步和延迟测量，并在相同的计算资源下实现更高的精度 $[40]$ 。优化目标表示为：

$\begin{aligned} \hat{\mathcal{X}}=\underset{\mathcal{X}}{\arg \min } & \sum_{i} e^{o}\left(x_{i}^{p}, x_{i+1}^{p}, z_{i, i+1}^{o}\right)^{\mathrm{T}} \Omega_{i}^{o} \\ & e^{o}\left(x_{i}^{p}, x_{i+1}^{p}, z_{i, i+1}^{o}\right) \\ &+\sum_{i} e^{l}\left(x_{i}^{p}, x^{l}, z_{i}^{l}\right)^{\mathrm{T}} \Omega_{i}^{l} e^{l}\left(x_{i}^{p}, x^{l}, z_{i}^{l}\right) \\ &\left.+\sum_{i} e_{j}^{m}\left(x^{l}\right)^{\mathrm{T}} \Omega_{j}^{m} e_{j}^{m}\left(x^{l}\right)\right) \end{aligned}\tag{12}$

其中，每个误差项连同对应的信息矩阵可以看作一个因子，每个状态变量可以看作一个节点，因此定位问题可以用因子图表示，如图4所示。误差项由下式组成里程计误差 $e^{o}$ 、语义测量误差 $e^{l}$ 和地图误差 $e_{j}^{m}$ 。里程计误差定义为：

请添加图片描述

$e^{o}\left(x_{i}^{p}, x_{i+1}^{p}, z_{i, i+1}^{o}\right)=\left(x_{i+1}^{p}{ }^{\mathrm{T}} x_{i}^{p}\right) z_{i, i+1}^{o}$
Semantic measurement error factor $e^{l}$ is expressed as:
$e^{l}\left(x_{i}^{p}, x^{l}, z_{i}^{l}\right)=\left[\frac{1}{Z_{i}^{c}} K T_{v}^{c} x_{i}^{p \mathrm{~T}} x^{l}\right]_{0}-\left[z_{i}^{l}\right]_{0}$