3d视觉笔记 | 神经辐射场NeRF（Neural Radiance Fields）

news2024/9/23 5:35:05

NeRF概念

NeRF（Neural Radiance Fields，神经辐射场）是一种用于3D场景重建和图像渲染的深度学习方法。它由Ben Mildenhall等人在2020年的论文《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》中首次提出。NeRF通过学习场景的连续体积密度和颜色分布，能够从任意视角准确地渲染出高质量的3D场景图像。

工作原理

1. 3D场景重建：NeRF通过分析一组从不同视角拍摄的2D图片，学习场景的连续体积密度和颜色分布。这一步骤不是生成一个传统意义上的3D模型文件，而是训练一个深度学习模型，这个模型能够根据输入的3D位置（x, y, z）和观察方向（θ, φ）来预测该位置的颜色（RGB值）和体积密度（σ）。这样，NeRF模型实际上学习到了整个场景的3D表示。

2. 图像渲染（特定视角）：一旦3D场景被重建，就可以通过设置特定的摄像机参数（如位置、朝向和视角等）来从任意视角渲染2D图像。渲染过程模拟了光线从摄像机通过场景到达观察者眼睛的路径，通过计算沿这些路径的多个点的颜色和密度，然后综合这些信息来生成最终的像素颜色，从而形成完整的2D图像。

训练过程

NeRF的训练过程需要一组从不同视角拍摄的场景图片（多视角2d）图片作为输入。通过优化网络以最小化渲染图像和实际图像之间的差异，NeRF模型学习到的是整个场景的3D表示。这个过程需要大量的计算资源，因为它涉及到对每个训练图像的大量光线进行采样和渲染。

优点

这种方法的一个显著优点是能够从已有的2D图片中重建出高度逼真的3D场景，并且能够从场景中任意视角生成高质量的2D图像，这对于计算机视觉、增强现实（AR）、虚拟现实（VR）以及电影和游戏制作等领域具有重要的应用价值。

训练特定视角设置：`transforms.json`

`transforms.json` 文件在训练 NeRF（Neural Radiance Fields）模型时很重要。这个文件包含了用于训练的每个图像的摄像机参数，包括摄像机的位置、朝向（通常以四元数或旋转矩阵表示）、以及其他可能的元数据（如焦距、图像尺寸等）。这些信息对于NeRF模型来说至关重要，因为它们使得模型能够理解每个训练图像是从场景中的哪个视角拍摄的，从而学习场景的3D结构和外观。

在这个示例中，每个“frame”条目包含了一个图像的路径（`file_path`）、摄像机的旋转（`rotation`，这里使用四元数表示）、摄像机的平移（`translation`）、以及摄像机的视角（`camera_angle_x` 和 `camera_angle_y`）。这些参数共同定义了摄像机在3D空间中的位置和朝向，对于NeRF模型来说，这些信息是必需的，以便正确地从多个视角重建场景。

通过调整 `transforms.json` 改变输出图像

理论上，通过调整 `transforms.json` 文件中的内容，特别是摄像机的位置（`translation`）和朝向（`rotation`），你可以改变NeRF模型渲染输出图像的视角。这意味着，如果你想要从一个新的视角渲染场景，你可以手动修改或添加一个帧的信息，设置为你想要的摄像机位置和朝向，然后使用NeRF模型进行渲染。

然而，需要注意的是，`transforms.json` 文件主要用于训练过程中定义训练图像的摄像机参数。在训练完成后，如果要渲染新视角的图像，通常是通过在渲染过程中指定新的摄像机参数来实现，而不是直接修改 `transforms.json` 文件。修改 `transforms.json` 并重新训练模型更多地用于调整训练数据集，而不是用于控制渲染输出的视角。

NeRF模型

instant-ngp

Instant Neural Graphics Primitive，这是一个由NVIDIA研究团队开发的框架，旨在大幅提高神经辐射场（NeRF）的训练和渲染速度。Instant-ngp通过使用一种高效的数据结构（如哈希表）来存储和检索神经网络的参数，实现了对NeRF的快速训练和高效渲染。

Instant-ngp的关键特点包括：