今天给大家介绍一种名为BAG（Body-Aligned 3D Wearable Asset Generation）的新方法，可以自动生成可穿戴的3D资产，如服装和配饰，以适应特定的人体模型。BAG方法通过构建一个多视图图像扩散模型，生成与人体对齐的3D资产，并通过物理模拟解决资产与身体之间的穿透问题，最终实现了高质量的3D资产生成。
相关链接
-
论文：http://arxiv.org/abs/2501.16177v1
-
主页：https://bag-3d.github.io/
论文介绍
虽然最近的进展在一般3D形状生成模型方面取得了显着进展，但利用这些方法自动生成可穿戴3D资产的挑战仍未被探索。为此，我们提出了BAG，一种与身体对齐的资产生成方法，用于输出3D可穿戴资产，可以在给定的3D人体上自动穿戴。这是通过使用人体形状和姿态信息来控制3D生成过程来实现的。具体而言，我们首先建立了一个通用的单图像到一致的多视图图像扩散模型，并在大型Objaverse数据集上进行训练，以实现多样性和泛化性。然后，我们训练一个控制网来引导多视图生成器生成与身体对齐的多视图图像。控制信号利用目标人体的多视图2D投影，其中像素值表示规范化空间中人体表面的XYZ坐标。身体条件多视图扩散生成与身体对齐的多视图图像，然后将其馈送到本地3D扩散模型中以生成资产的3D形状。最后，利用多视角轮廓监督恢复相似变换，并利用物理模拟器解决资产-身体穿透问题，将3D资产精确贴合到目标人体上。实验结果表明，该方法在图像快速跟踪能力、形状多样性和形状质量方面优于现有方法。
方法
方法概述。 给定输入图像和目标体，我们使用身体条件图像生成来产生身体对齐的一致性四视图正射影图。然后将四视图图像馈送到本地3D扩散模型中以获得资产形状。相似之处生成资产的转换（Sim3）通过基于轮廓的投影优化来估计。最后，在求解body-asset之后通过渗透，将sim3转换的资产安装到人体上。
规范的主体空间（左），以及与主体对齐的3D资产示例数据集(右)。体表面的颜色是通过缩放得到的将规范化的XYZ值设置为[0-255]的范围。
渗透处理。 尽管应用了Sim(3)变换，但资产和身体之间的穿透仍然存在，如初始对齐所示。为了解决这个问题，采用了代理网格， 它保留了视觉网格的基本几何形状，并作为一个布料模拟代表。最后的对齐展示了模拟后资产和身体的无穿透状态。
获取输入体和图像对的四种方法。a)SMPLX拟合。b) Sketch-Based建模。c)虚拟试戴。d)手动图像组装。
方法
定性资产形状生成结果。
体对准多视图生成的消融研究。
我们的和消融的结盟策略的定性比较。如图所示，生成的多视图图像与呈现的图像对齐(b)，生成的3D资产不能有效地保证与输入图像对齐(c)。这种差异源于在多视图到3d扩散模型中使用的不同技术和归一化策略。通过采用Sim(3)优化，三维网格对齐人体(d)，尽管一些穿透仍然存在。我们的穿透处理方法，如(e)所示，实现了资产的无穿透状态还有身体。
四种设置的结果图库：(a)使用拟合的SMPLX进行单视图重建；(b)基于图像的虚拟试戴；(c)组装现有二维资产；(d)基于草图的建模。每个图像之后是重建的资产网格。我们的方法证明了有效生产的熟练程度身体对齐的资产形状，并忠实地捕获高保真的几何细节从输入。
