3D 生成重建035-DiffRF直接生成nerf

0 论文工作

本文提出了一种基于渲染引导的三维辐射场扩散新方法DiffRF，用于高质量的三维辐射场合成。现有的方法通常难以生成具有细致纹理和几何细节的三维模型，并且容易出现噪声和伪影。DiffRF通过将扩散过程与体渲染相结合，利用渲染图像作为指导，有效地解决了这些问题。具体来说，DiffRF首先通过一个预训练的扩散模型生成辐射场的初始表示，然后利用渲染图像作为监督信息，通过迭代的扩散过程对辐射场进行细化，最终生成高质量的三维辐射场。 该方法利用体渲染的特性，可以有效地减少噪声，并提高生成模型的稳定性。实验结果表明，DiffRF在多个数据集上均取得了最先进的结果，在视觉质量和定量指标上都显著优于现有方法。
一个小的nerf扩散模型，几张图像生成一个粗糙的nerf，放入到扩散模型中降噪。
paper
相关论文
nerfdiff

1 论文方法

DiffRF 旨在解决现有三维辐射场生成方法中存在的噪声、伪影以及细节缺失等问题。它利用渲染图像作为扩散过程的指导，通过迭代细化辐射场表示来生成高质量的三维模型。 DiffRF 的核心思想是将扩散模型与体渲染过程相结合，利用体渲染的特性来减少噪声，并提高生成模型的稳定性。 该方法首先使用预训练的扩散模型生成辐射场的初始表示，然后在迭代过程中，通过最小化渲染图像与目标图像之间的差异来逐步细化辐射场。 这种渲染引导的扩散过程能够有效地生成具有丰富细节和高质量纹理的三维模型。
渲染引导的扩散过程: 这是 DiffRF 最主要的创新点。它将渲染图像作为扩散过程的指导信息，利用渲染图像与目标图像之间的差异来驱动扩散过程，从而有效地控制生成过程，减少噪声，并提高生成质量。 以往的方法通常直接从噪声中生成辐射场，容易出现不稳定和伪影。
体渲染的有效利用: DiffRF 充分利用了体渲染的特性，通过体渲染将三维辐射场转换为二维图像，并利用渲染图像与目标图像的差异来指导扩散过程。体渲染过程本身就具有去噪和平滑的作用，有利于生成高质量的图像。
预训练扩散模型的有效利用: DiffRF 利用预训练的扩散模型生成辐射场的初始表示，为后续的扩散过程提供了一个良好的起点，提高了生成效率和稳定性。

2 实验结果