Stability AI 联合 UIUC 提出一种简单而有效的单视图 3D 重建方法 SPAR3D，这是一款最先进的 3D 重建器，可以从单视图图像重建高质量的 3D 网格。SPAR3D 的重建速度很快，只需 0.7 秒，并支持交互式用户编辑。
相关链接
-
论文：http://arxiv.org/abs/2501.04689v1
-
主页：https://spar3d.github.io
-
代码：https://github.com/Stability-AI/stable-point-aware-3d
论文介绍
我们研究单图像 3D 物体重建问题。最近的研究分为两个方向：基于回归的建模和生成建模。回归方法可以有效地推断可见表面，但在处理遮挡区域时会遇到困难。生成方法通过建模分布可以更好地处理不确定区域，但计算成本高，并且生成通常与可见表面不一致。在本文中，我们提出了 SPAR3D，这是一种新颖的两阶段方法，旨在兼顾两个方向的优点。
SPAR3D 的第一阶段使用轻量级点扩散模型生成稀疏 3D 点云，该模型具有快速的采样速度。第二阶段使用采样点云和输入图像来创建高度详细的网格。我们的两阶段设计能够对不适定的单图像 3D 任务进行概率建模，同时保持高计算效率和出色的输出保真度。使用点云作为中间表示进一步允许交互式用户编辑。经过在不同数据集上的评估，SPAR3D 表现出比以前最先进的方法更优异的性能，推理速度为 0.7 秒。
方法
SPAR3D 概述。 根据输入图像，SPAR3D 首先利用点扩散模型生成稀疏点云。然后，三平面变换器使用采样点云和图像特征来生成高分辨率三平面特征。然后查询三平面特征以重建图像中对象的几何形状、纹理和照明。
可微分渲染器概述。 我们从三平面估计几何、反照率、照明和法线贴图，并从图像中估计金属/粗糙度值。我们将这些值栅格化并插值作为着色器的输入（此处为简单起见省略）。我们的着色器使用 Disney BRDF并执行蒙特卡洛积分。我们进一步执行可见性测试以改进阴影建模。最后，我们将渲染图像与 GT 图像进行比较，并尽量减少渲染损失。
阴影建模。 我们通过沿采样光线行进在屏幕空间中执行可见性测试。如果光线上的任何点的光线深度比深度图更远，我们将整个光线视为阴影。
结果
定性比较
更多结果
结论
SPAR3D是一种简单而有效的单视图 3D 重建方法。模型的核心是基于点采样的两阶段设计。首先通过点扩散生成稀疏点云，然后从点云和图像重建高度详细的网格。这种设计能够充分利用基于回归和生成建模的优势。根据标准基准和野外图像进行评估，SPAR3D 的表现明显优于之前最先进的方法，推理速度快。
