Density-invariant Features for Distant Point Cloud Registration 论文解读

news2024/12/23 9:04:21

一、导言

二、先导知识

1、FCGF

三、相关工作

1、深度学习的点云配准

2、对抗密度变化的方法

3、对比学习

四、GCL方法

1、U型曲线假设

一、导言

该论文来自于ICCV2023，上海交通大学提出的基于组对比学习的方案，来提取密度不变的几何特征，并用于户外的LiDAR点云的点云配准，该论文是三维点云问题中第一次研究密度变化。

由于以往的基于深度学习的配准方法如Predator，在处理远距离点云时会出现严重配准错误，这是因为两个点云观测点密度存在差异。本文提出训练密度不变的特征提取器，对比学习的正样本应该是独立同分布的。使用组对比学习方法，将收集到的LiDAR点云数据组进行对齐，从而保证对齐后的特征是密度不变的。

二、先导知识

1、FCGF

FCGF来自于Feature Correspondence Graph for Fast Point Cloud Registration这篇论文，该论文用于对三维点云测量后数据消除伪样本对。FCGF中提到使用全卷积网络就算点云特征，以及提出新的度量学习损失。

FCGF中网络结构使用的是Res-Unet，并且所有的卷积操作使用的是三维的Voxel Conv而不是KPconv，但本论文的结构中并没有用类似的残差结构，只是借用了Voxel Conv。

FCGF中的损失函数考虑了四种情况：对比损失、三元组损失、最难对比损失和最难三元组损失。

（1）传统的标准对比损失

正样本尽量靠近，负样本保持α距离远。其中 $y_{ij}$ 表示是否为正样本对，是为1，不是为0， $D_{ij}$ 表示点对距离，α为负样本对最小距离，下标+表示 $max(0, )$ 。

注意：先运算+，后运算平方。使Loss尽量为0，正样本对尽量为0。

$L_{contrast}=y_{ij}D_{ij}^2+(1-y_{ij})[\alpha-D_{ij}]^2_+$

（2）FCGF中的对比损失

FCGF中改进的对比损失基于正样本距离应小于 $m_p$ ，负样本距离应大于 $m_n$ 。其中 $I_{ij}$ 与上公式 $y_{ij}$ 相同，正样本对为1，否则为0，负样本对指示为 $\bar{I}$ ，负样本对为1，否则为0。

$L_{margin}=I_{ij}[D(f_i,f_j)-m_p]^2_+,\bar{I}_{ij}[m_n-D(f_i,f_j)]^2_+$

（3）三元组损失

三元组损失中包含锚点、正样本点和随机的一个负样本点。尽量使得锚点靠近正样本点，远离负样本点，使得Loss尽量为0。

$L(f,f_+,f_-)=[m+D(f,f_+)-D(f,f_-)]^2$

（4）最难对比损失

最难对比损失中， $|P|$ 表示正样本数量， $|P_i|,|P_j|$ 均表示以i，j为球心的负样本数量， $\lambda_n$ 代表负样本权重系数。最难对比损失保证每个正样本可以受到最难的负样本的影响。

$L_C=\sum_{(i,j)\in P} \begin{Bmatrix} [D(f_i,f_j)-m_p]^2_+/|P| \qquad \qquad \qquad \quad \\ +\lambda_nI_i[m_n-min_{k \in N}D(f_i,f_k)]^2_+ /|P_i| \\ + \lambda_nI_j[m_n-min_{k \in N}D(f_j,f_k)]^2_+ /|P_j| \end{Bmatrix}$

（5）最难三元组损失

最难三元组损失相同，找到每个正样本中最难的负样本，并最小化正负样本之间的间隔。

$L_T=\frac{1}{Z}\sum_{(i,j \in P)} (I(i,k_i)[m+D(f_i,f_j)-min_{k \in N}D(f_i,f_k)]_+ +I(j,k_j)[m+D(f_i,f_j)-min_{k \in N}D(f_j,f_k)]_+)$

三、相关工作

1、深度学习的点云配准

（1）基于Patch的配准

一般会考虑在Patch嵌入基础上应用对比损失，再对局部Patch提取特征。但由于基于Patch的方法经常重复计算，且大部分Patch重叠，而计算缓慢且冗余。

（2）基于完全卷积

在FCGF中，考虑到全卷积（Voxel Conv）工作来在一次前传递过程中提取整个点云的密集特征，并将对比损失用在每一个点。

在D3Feat和Predator中更是使用Kpconv以及增加重叠注意机制，来提高效率。虽然在室内的近距离激光雷达问题中重叠和效率是最重要的，但对于远距离室外点云来说，密度方差问题才是根本问题，这也是本文的改进中心。

2、对抗密度变化的方法

（1）体素化：通过将点云转化为体素形式降低密度差异，但效果有限。

（2）采样方法：如最远点采样，通过主动丢弃部分点来贴近密度一致，但破坏原有特征描述。

（3）密度估计方法：基于距离的方法、核密度估计KDE、SDV方法，但需要足够量的采样才能对抗密度变化。

3、对比学习

对比学习一般用于视觉领域，现在也扩展到音频、文字等，由于稳定性和信息量的提高，采样更多、更困难的负样本来提高特征质量，对正样本的改进很少。本文考虑使用组对比学习，来优化三维点云配准中的密度变化问题。

四、GCL方法

GCL方法如何用在点云配准？

参考上图的左侧部分，对于原始的backbone进行多次GCL工作，更新backbone的权重，再砍右侧部分，将backbone作为推理框架（测试框架）的一部分，输入源点云和目标点云，通过ransac后处理，求得姿态估计。

GCL方法

GCL方法共有三个阶段：

首先，在输入的点云中随机采样一个中心点云组，以及周围采样多个临近点云（保证均匀分布），形成多个点云组。

然后，计算每个点云组内部的特征相似度，并最小化组内特征差异，提高特征密度不变性。

最后，最大化不同组之间的特征差异，增强特征区分度。

以往的PCL方法

PCL（Pair contrastive learning）成对对比学习，指的是以往使用点对关系来进行点云配准的工作。

1、U型曲线假设

由于传统的成对对比学习中采样存在偏差，正样本特征并不是独立分布的，而存在强相关性，所以我们考虑这个强相关性是满足什么共性。

过去的近距离点云配准工作中，正样本近距离存在强相关性，远距离存在弱相关性，不会对近距离点云造成大的影响。而远距离点云配准后，强相关性消失，更容易收到采样影响。

对于下图来说， $L_a,L_b$ 表示两个激光雷达位置，位置不变，对于共线的点 $c_1,c_2,c_3$ 分别与两个激光雷达测量点与雷达距离得到 $x,y$ ，当采样多个点 $c_i$ 时满足右图U型曲线。

那为什么容易采样到共线的点呢？

由于点云密度不一致的问题，导致对于室外场景远距离点云数据中，更容易采集到路边这种点，导致密度较大，此时再进行统计点云数据，会出现多条共线的点（被迫），所以存在U型曲线，但对于外景的理解并没有意义，所以我们通过其他的方式克服这种采样的影响，从而诞生了GCL方法。

论文参考：https://arxiv.org/abs/2307.09788

FCGF参考：FCGF

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2083816.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！