RETHINKING NETWORK DESIGN AND LOCAL GEOMETRY IN POINT CLOUD: A SIMPLE RESIDUAL MLP FRAMEWORK

现有的基于点的点云分析深度模型为了捕获3D局部几何信息，设计了复杂的局部几何特征提取器。然而，这些方法的复杂度很高，且性能提升在近几年中趋于饱和。这篇文章认为局部几何信息可能不是点云分析的关键，提出了一个简单而有效的深度残差MLP网络：PointMLP。实验结果展示了即使没有精心设计的局部几何特征提取器，使用单纯的深层MLP架构也能在一些任务上得到令人满意的性能和更好的结果。

PointMLP

推荐阅读：【NIPS 2017】PointNet++：度量空间中点集的深层次特征学习 https://binaryai.blog.csdn.net/article/details/124942017

PointNet++提出了一个用于点云分析的通用Pipeline，其局部特征提取器可以公式化为：

其中$\mathcal{A}$为汇聚(aggregation)函数(PointNet++为max-pooling)，$\Phi (\cdot )$表示局部特征提取函数(PointNet++为MLP)；$f_{i,j}$为第$i$个点的第$j$个近邻点的特征。

PointMLP与现有的方法一样，延用了PointNet++的Pipeline。但与现有的许多方法（使用卷积、图或自注意机制设计局部特征提取器$\Phi (\cdot )$。）不同，PointMLP没有使用复杂的局部几何特征提取器。

如图2所示，PointMLP每个阶段包括残差点模块（Residual Point (ResP) Block）和几何仿射模块（Geometric Affine Module）。残差点模块通过简单的前馈残差MLP来学习点云的特征。轻量级的几何仿射模块用于对局部点进行标准化,以进一步提高模型鲁棒性和性能。

通过堆叠图2中的模块，可以构建深层次的点云分析深度网络。

残差点模块

PointMLP中的的核心操作可以表述为：

其中${\Phi }_{pre}(\cdot )$和${\Phi }_{pos}(\cdot )$为残差点模块：$\mathrm{MLP}(x)+x$（$\mathrm{MLP}(x)$由全连接层、归一化层和激活层组合(重复两次)），${\Phi }_{pre}(\cdot )$用于学习局部区域的共享参数；${\Phi }_{pos}(\cdot )$用于提取汇聚的特征；与PointNet++一样，$\mathcal{A}$为max-pooling。

几何仿射模块

令 { f i . j } j = 1 , . . . , k ∈ R k × d \{f_{i.j}\}_{j=1,...,k}\in \mathbb{R}^{k\times d} {fi.j​}j=1,...,k​∈Rk×d为$f_i$的$k$个局部邻点的特征组合。每个邻点特征$f_{i,j}$为$d$维向量。几何仿射模块通过以下公式标准化局部相邻点的特征：

其中$\alpha \in {\mathbb{R}}^d$和$\beta \in {\mathbb{R}}^d$为可学习的参数，$\odot$为逐元素乘积。$ϵ=1e^{-5}$是为了数值稳定性。$\sigma$是一个标量，描述了所有局部分组和通道的特征偏差。

精简版模型：PointMLP-elite

PointMLP：

PointMLP-elite：

精简版的PointMLP(PointMLP-elite)主要做了以下调整:

1. 减少了残差点模块的数量；

2. 减少嵌入特征；

3. ${\Phi }_{pre}(\cdot )$和${\Phi }_{pos}(\cdot )$采用瓶颈（Bottleneck）结构：首先将特征通道数量减少$r$倍，然后再将通道数量增加$r$倍。

实验结果

SHAPE CLASSIFICATION ON MODELNET40

SHAPE CLASSIFICATION ON SCANOBJECTNN

PART SEGMENTATION

消融实验

Network Depth

Geometric Affine Module

Component ablation
study.

Loss landscape