CVPR论文解读 | 点云匹配的旋转不变变压器

news2024/11/24 5:29:33

原创 | 文 BFT机器人

传统的手工特征描述符通常具有内在的旋转不变性，但是最近的深度匹配器通常通过数据增强来获得旋转不变性。

然而，由于增强旋转数量有限，无法覆盖连续SO（3）空间中所有可能的旋转，因此这些方法通常在面对罕见旋转时表现不稳定。

为了解决这个问题，本篇论文提出了RoITr方法，使用注意力机制和基于点对特征的坐标来处理姿态变化，并在刚性和非刚性基准测试中进行了广泛实验以证明其优越性。

01 该篇论文的创新点

本篇论文的创新点是提出了一种名为RoITr（Ro tation-Invariant Tr ansformer）的新方法，用于解决点云匹配任务中的姿态变化问题。

该方法使用注意力机制和基于点对特征的坐标来处理姿态变化，并在刚性和非刚性基准测试中进行了广泛实验以证明其优越性。与现有的深度匹配器相比，RoITr具有更高的鲁棒性和旋转不变性，并且在效率和准确性方面都表现出色。

图1是本篇论文中的一个概览图，它展示了RoITr的整体架构。

本文提出了一种名为RoITr的点云配准算法，它能够在姿态不确定的情况下实现高精度的点云配准。RoITr算法主要分为三个步骤：局部几何编码、全局上下文聚合和粗到细的匹配。

第一步是局部几何编码。

RoITr使用了一个名为Point Pair Feature Transformer（PPFTrans）的编码器-解码器架构，用于对点云进行局部几何编码。PPFTrans包含一个编码器和一个解码器，其中编码器由多个Attentional Abstraction Layer（AAL）和Point Pair Feature Attention Layer（PAL）组成。

AAL用于下采样和抽象化，而PAL则用于对局部几何进行编码和上下文聚合。这些层都基于本文提出的PPF Attention Mechanism（PAM），它使得RoITr具有姿态不变性。

第二步是全局上下文聚合。

RoITr使用了一个堆叠的全局Transformer网络来对整个点云进行上下文聚合。

这个网络由多个Transformer块组成，每个块都包含多头自注意力机制和前馈神经网络层。这些块可以有效地捕获点云中的全局结构信息，并将其与局部几何信息相结合。

第三步是粗到细的匹配。

RoITr使用了一种粗到细的匹配策略，该策略通过逐层下采样和上采样来实现。

首先，RoITr将输入点云分别编码为超级点P和Q，并提取它们之间的初始匹配集C0。然后，RoITr对P和Q进行逐层下采样，生成更粗糙的超级点，并提取它们之间的匹配集Ci。

接下来，RoITr对Ci进行上采样，生成更细致的超级点，并提取它们之间的匹配集Ci+1。这个过程一直持续到达到所需的匹配精度为止。

02 实验

实验主要是针对三维点云匹配和配准问题进行的。

作者提出了一种新的方法RoITr，并将其与七种现有方法进行了比较。实验使用了3DMatch和3DLoMatch数据集，并在旋转和非旋转情况下进行了评估。表格和图表展示了定量和定性结果，以及不同方法之间的比较。

表1展示了在旋转和非旋转的3DMatch和3DLoMatch数据集上的定量结果。

评估使用了5,000个点/对应关系。只有RMSE小于0.2m的点云被视为正确配准。

图2展示了在3DLoMatch数据集上的定性结果。

基准方法是GeoTrans。

图中的(b)和(c)列显示了两个点云之间的对应关系，而(d)和(e)列则展示了配准结果。绿色线表示内点，红色线表示外点。

消融实验：

在本文的Ablation Study中，作者主要对RoITr方法进行了改进和削弱，并比较了这些变化对匹配和配准性能的影响。

具体来说，作者使用Point-Transformer（PT）替换PPFTrans，并将PPF-based local coordinates嵌入到PT中，同时采用PT在PAM中使用的相对坐标。结果表明，本地坐标表示显著提高了PT在点云匹配任务中的性能，并使其具有旋转不变性。然而，相对坐标在PAM中失败了，因为作者采用了一种更有效的注意力机制。

此外，在消融实验中还比较了不同模型组件的贡献。例如，在RoITr方法中，Attention Abstraction Layer（AAL）、PPF Attention Layer（PAL）和Transition Up Layer（TUL）是构成PPFTrans（PPF Transformer）的关键组件。通过逐步去除这些组件并重新训练模型，作者发现每个组件都对最终性能有重要贡献。

总之，在Ablation Study中，作者通过逐步改变模型并比较结果来探索RoITr方法的优缺点，并确定哪些组件对于该方法的成功至关重要。