隐式表达的更进一步：基于NeRF的形状可编辑方法

news2024/9/21 12:36:32

来源：投稿作者：橡皮
编辑：学姐

[paper]：https://arxiv.org/pdf/2303.09554

[code]：https://ktertikas.github.io/part_nerf

主要贡献：

设计了 PartNeRF，这是一种新颖的部件感知生成模型，实现为自动解码器架构。模型支持部件级别的控制，这有助于对生成实例的形状和外观进行各种编辑操作。这些操作包括对象部分的刚性和非刚性变换、来自不同对象的部分混合、删除/添加部分以及编辑对象特定部分的外观。

在考虑将对象分解为多个部件的现有生成管道中，我们的工作是第一个不需要明确的 3D 监督信号并且可以对生成对象的形状和纹理进行编辑操作的工作。

在 ShapeNet 数据集上的各种类别评估 PartNeRF，证明它可以生成比假设有 3D 监督信号的方法以及依赖 NeRF 的方法保真度更高的纹理形状。此外，展示了以前无法实现的各种编辑操作。

背景：

生成逼真且可编辑的 3D 内容是计算机视觉和图形学领域一个长期存在的问题，最近由于 AR/VR、机器人技术和游戏应用中对 3D 对象的需求增加而受到更多关注。

然而，手动创建 3D 模型是一项费力的工作，需要经验丰富的艺术家和产品设计师的技术技能。另一方面，编辑 3D 形状通常涉及重新调整现有 3D 模型的用途，方法是手动更改网格的面和顶点并修改其各自的 UV 贴图。

形状编辑涉及对对象不同部分的形状和外观进行局部更改。因此，对将对象分解成多个部分有一个基本的了解有助于控制要编辑的内容。

但现有的方法存在着以下问题:

(1)生成对抗网络 (GAN) 已成为合成逼真图像的强大工具，它们忠实地恢复了几何形状和外观，但不允许更改对象的特定部分。

(2)受神经隐式渲染技术快速发展的启发，最近的作品提议将它们与 GAN 结合，以实现多视图一致的高质量生成。尽管它们在新颖的视图合成方面表现出色，但它们的编辑能力有限。

(3)通过将形状分解成多个部分，其他作品可以促进结构感知形状操作。然而，它们在训练过程中需要 3D 监督，并且只能在无纹理的形状上进行操作。

方法介绍：

零件感知可控 3D 形状生成和编辑：在没有明确的 3D 监督信号情况下解决了部件感知 3D 形状生成和编辑的任务。先前的部件感知生成模型在训练时假设有3D 监督信号，且只允许改变物体的形状。在这项工作中，提出了PartNeRF，这是一种生成模型，能够编辑生成形状的形状和外观纹理，这些形状被参数化为局部定义的NeRF的集合。

方法概览：

生成模型实现为一个自动解码器架构，如下图，其中包括三个主要组件：

方法细节1：神经辐射场

方法细节2：将部件视为神经辐射场

我们使用M个部件表示一个 3D 对象，其中每个部分都被参数化为NeRF。请注意，假设所有对象的部分数量都是固定的，即生成的对象不能有可变数量的部分。为了学习每个NeRF的潜在空间，我们将其设置为两个部件特定的可学习潜在代码：一个用于形状，一个用于纹理， $z_m^s$ ， $z_m^t$ 。这些代码是从每个对象特定的可学习嵌入中获得的。将形状与纹理分离，允许修改一个属性而不影响另一个。