摘要

在2021年，作者提出了MVSNeRF，一种新的神经渲染方法，在视图合成中可以有效地重建神经辐射场。与之前对神经辐射场的研究不同，我们考虑了对密集捕获的图像进行每场景优化，我们提出了一种通用的深度神经网络，它可以通过快速网络推理，仅从附近的三个输入视图中重建辐射场。我们的方法利用平面扫描代价体（广泛应用于多视图立体视觉）进行几何感知场景推理，并将其与基于物理的体积渲染相结合，用于神经辐射场重建。我们在DTU数据集中的真实物体上训练我们的网络，并在三个不同的数据集上进行测试，以评估其有效性和通用性。我们的方法可以泛化跨场景（甚至是室内场景，完全不同于我们物体的训练场景），并仅使用三个输入图像生成真实的视图合成结果，显著优于同时发布的可推广的辐射场重建论文。此外，如果捕获密集的图像，我们估计的辐射场表示可以很容易地进行微调；这导致每个场景可以快速的重建，具有更高的渲染质量和更少的优化时间。

1 引言

新视角合成是计算机视觉和图形学中一个长期存在的问题。近年来，神经渲染方法显著地推进了这一领域的进展。神经辐射场（ Neural Radiance Fields，NeRF）及其后续的工作已经可以产生逼真的新视图合成结果。然而，这些先前工作的一个显著缺点是它们需要一个很长的每一个场景的优化过程来获得高质量的辐射场，这相当昂贵并高度限制了实用性。

我们的目标是让神经场景重建和渲染更加实用。我们提出了MVSNeRF，一种新的方法，可以很好地推广到仅从几个（只有三个）非结构化的多视图输入图像中跨场景重建一个辐射场的任务。由于具有很强的通用性，我们避免了繁琐的每个场景优化，并可以通过快速的网络推理直接在新的视角上回归真实的图像。如果在短时间内（5-15 min）进一步优化更多图像，我们重建的辐射场甚至可以在数小时的优化下优于NeRFs（见图1）。

我们利用了最近在基于学习的多视点立体视觉（MVS）上的成功。对于三维重建任务，这项工作可以通过对代价体使用用三维卷积来训练可推广的神经网络。我们通过将附近的输入视图（由2DCNN推断）的二维图像特征变换到参考视图的结果中的扫描平面上，在输入参考视图上构建一个代价体。与其它MVS方法只对代价体进行深度推断不同，我们的网络对场景几何和外观进行推理，并输出一个神经辐射场（见图2），从而实现视图合成。

具体来说，利用3D CNN，我们重建（从代价体）一个神经场景编码体，该体积由每个体素的神经特征组成，编码关于局部场景几何和外观的信息。然后，我们利用多层感知器（MLP），利用编码体内的三次插值神经特征，解码任意连续位置的体积密度和辐射。本质上，编码体是辐射场的局部神经表示；一旦估计，这个体积可以直接使用（去掉3D CNN），通过可微分射线行进行最终渲染。我们的方法结合了基于学习的MVS和神经渲染。与现有的MVS方法相比，我们实现了可微神经渲染，允许在不需要三维监督的情况下进行训练和推理时间优化，以进一步提高质量。与现有的神经渲染工作相比，我们的MVS架构可以很自然地推理相应的交叉视图，促进泛化到不可见的测试场景，也可以导致更好的神经场景重建和渲染。因此，我们的方法可以显著优于最近的发布的可推广的NeRF工作，它主要考虑二维图像特征，而没有显式的几何感知的三维结构(见表1和图4）。


我们证明，仅使用3张输入图像，我们从DTU数据集训练出来的网络在测试DTU场景时合成逼真的图像，甚至可以在其它分布不同的场景数据集上产生合理的结果。此外，我们估计的三图像辐射场（神经编码体）可以更容易地在新的测试场景上进一步优化，以改进更多被拍摄图像的神经重建，获得了逼真的结果，甚至与每个场景的过拟合NeRF相当，我们的优化时间比NeRF少（见图1）。这些实验表明，当只有少数图像捕获时，我们的技术可以作为一个强有力的重建器，可以重建一个辐射场用于真实的视图合成。或者作为一个强初始化器，当获得密集图像时，可以显著促进每个场景的辐射场优化。我们的方法向现实的神经渲染实际化迈出了重要的一步。