斯坦福大学提出在类别层级对多零件多关节三维拼装新方法

来源：投稿作者：橡皮
编辑：学姐

paper：https://arxiv.org/pdf/2303.06163.pdf

背景：

形状装配通过排列一组简单或基本的零件几何图形来组成复杂的形状几何图形。许多重要的任务和应用都依赖于形状装配算法。

计算机辅助设计建模要求设计者重新定位和对齐一组零件几何图形，以创建复杂的设计。精确和稳健的形状装配算法对于开发家具装配或CAD建模的自主系统至关重要。

这些先前的工作采用了从零件建模形状的整体几何视角。它们制作的形状具有很高的美学价值。然而，这种纯粹的几何视角对零件的旋转和反射对称性是不可知的，因此会产生倒置、翻转和旋转的零件姿态预测。这些有噪声的预测可能导致关节不匹配或关节之间的不匹配，使其难以直接用于自主装配或功能形状建模。在多部件多关节装配设置中存在许多挑战：1）大的匹配搜索空间，2）非连续优化，以及3）误差复合。

在由两部分组成的装配设置中，关节的配对是明确的，因此可以通过连续的姿势优化直接实现所需的装配。然而，我们的多部分多关节任务需要在非常大的匹配空间中求解二部分联合配对。此外，我们的任务需要交错的离散和连续优化。联合配对是离散解空间中的组合问题，而姿态估计是在连续解空间中。

主要贡献：

针对类别级多零件三维形状装配问题，考虑了接头的概念。引入了一个联合注释零件数据集以及一组评估指标来检查性能。

提出了一种新的层次图网络，该网络同时优化整体形状结构和关节对齐精度。

进行了广泛的实验，以证明方法在整体形状结构和关节对准精度这两个任务目标上优于先前的工作。

方法介绍：

在本文中，目标是解决多部件多关节形状装配的任务。该任务模拟了真实世界的家具装配设置，其中多个造型零件通过接触接头以不同的方式连接，以形成复杂的造型几何结构。如图所示，我们得到了（a）多个形状的零件，其中每个零件都包含多个接头。

对于我们的设置，使用桩孔接头对来表示允许的连接，类似于螺栓和螺母，其中只允许在相同接触几何形状的公件和母件之间进行匹配。我们的目标是（b）将所有销钉接头与孔接头正确连接，（c）将这些零件拼接在一起，（d）形成所需形状。

方法概览：

我们的多级图网络由两个主要的GNN模块组成：零件图模块和联合图模块。零件图模块负责预测每个零件的姿态，以构建所需的形状结构。联合图模块有助于校正零件姿势，以连接匹配的关节。联合图消息传递（b）包含四个消息传递层：

方法细节1：问题设置与概述

问题设置：多零件多关节形状装配任务定义如下：给定 1）一组3D零件点云

和2）每个零件都应该包含多个销钉和/或孔接头

，我们旨在预测一组6-DoF零件姿态

对于所有输入零件P，以满足双边目标：1）变换零件

其形成期望的3D形状，2）所有关节匹配，并且匹配的桩 $J^P$ 和孔 $J^h$ 彼此靠近。

概述：我们的多部件多关节形状装配任务有几个挑战1）从非常大的匹配搜索空间（O(M2)）中找到一组一对一的栓孔匹配，2）预测所有部件的姿态，使它们同时实现连接所有匹配的关节和形成所需形状结构的两个目标，3）局部关节匹配或姿态预测误差可以容易地传播到整个形状并导致退化。

为了应对第一个挑战，我们引入了形状先验启发式算法来减少匹配搜索空间。受先前工作的启发，我们使用零件几何信息通过零件图提出初始粗略形状结构。然后，我们的关节图与粗略的形状结构一起工作，以找到初始的桩孔匹配。我们通过让两个层次的图表示学习专注于两个目标中的每一个来解决第二个挑战。关节图模块匹配关节。零件图构造形状。

然后，我们使用层次特征聚合将关节级和零件级信息相结合，以预测符合这两个目标的零件姿态。我们通过在两种表示之间交替来逐渐细化零件姿势，以实现两个期望的目标。