01

背景

从激光雷达等设备中获取的点云往往有所缺失（反光、遮挡等），这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。

点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。

02

03

简介

文章提出一种基于深度学习的点云分形网络PF-Net。PF-Net采用了一些自己的思路和方法来改善现有的问题：

1.以不完整点云作为输入，仅输出缺失部分点云，可保留物体点云的空间结构，对物体的局部特性感知更好；

2.提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；

3.提出了点云金字塔解码器（Point Pyramid Decoder）用于生成点云，利用多阶段补全损失加粗样式 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。

4.利用 GAN*结构的鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）。

04

PF-Net网络结构

4.1 MRE（多分辨率编码器）

对输入点云做迭代最远点采样(FPS)，获得更小尺度且更具有轮廓特征的降采样点云,如图所示。

MLP（CMLP）主要采用MPL（多层感知机）的处理方式。不同的是，分别对最后四层网络（output_dim=128,256,512,1024）的输出做maxpooling。

再将这四层pooling后的输出拼接(concat)形成Latent Vector F (dim=1920x1)，如图4。该方式能更充分的利用高层和底层特征。

拼接三个不同尺度点云的CMLP输出，获得Final Latent Map M（dim=1920x3）将M通过多层感知机MLP从（1920x3）变换成（1920x1），获得Final Feature Vector V。

4.2 PPD（点云金字塔解码器）

PPD 的主要思想是监督每一阶段的点云，提升关键点的生成质量，在关键点的基础上不断生成新的点云。

借鉴图像处理中经典的SIFT算法，采用特征金字塔加粗样式的方式，对编码出的特征，进行多尺度的解码，生成不同尺度的点云。

现有方法大都利用最后一个输出层的结果来做预测，导致只保留了全局特征而丢失了局部特征。为了更好地保留细节，网络中设计多层的特征解码，使不同粒度的特征更好地保留。

将上一步获得的Final Feature Vector V通过三个FC（全连接）层，产生三个不同尺度的点云特征。

以此为例，经过一系列操作（linear, reshape, convolution）生成与采样后的Ground Truth点云数相同的生成点云，用于后续Loss部分的构建。

4.3 损失函数（包含GAN鉴别器）

损失函数由两部分组成：Multi-stage Completion Loss 和 Adversarial Loss

1.Multi-stage Completion Loss(Lcom):

该损失衡量输出点云与真值之间的差别。

引入计算两个点云间的距离公式（公式1）其中，S1可以表示生成的点云，S2可以表示Ground Truth，对于S1中的每个点，找到其与S2中距离最近的点，计算欧氏距离后求和取平均，作为距离公式的第一部分；第二部分相似，对于S2中的每个点，找到其与S1中距离最近的点，计算欧氏距离后求和取平均。

在PDD解码器中，生成了三个不同尺度的点云，将三个对应的值取不同权重相加，作为总体损失的一部分（公式2）

2.Adversarial Loss(Ladv):

该损失优化MRE和PPD，使输出看起来更加真实。

GAN鉴别器：GAN鉴别器是一个分类器，其结构与CMLP类似：对一个多层MLP[64−64−128−256]的最后三层的输出进行maxpool得到feature vector f_i, i= 1, 2, 3.将f_i连接得到F，F通过全连接层 [256,128,16,1]以及Sigmoid函数得带最终的预测值。

假设GAN 鉴别器的输出为D(), 其输入为残缺部分点云的预测值y’或对应真值y。

3.Joint Loss

将以上两部分的Loss以不同权重相加，获得完整的Loss Function。