【文献解析】3D高斯抛雪球是个什么玩意

news2024/11/20 18:30:57

论文地址：https://arxiv.org/abs/2308.04079

项目：3D Gaussian Splatting for Real-Time Radiance Field Rendering

代码：git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

一、文章概述

1.1问题导向

辐射场：辐射场是三维空间中光分布的表示，它捕捉光如何与环境中的表面和材料相互作用。
显式辐射场：相反，显式辐射场直接表示离散空间结构中的光分布，
隐式辐射场：隐式辐射场表示场景中的光分布，而不明确定义场景的几何体。

显式表达方法（点、网格、体素）的连续性质有助于优化，但渲染所需的随机采样成本高昂，并且可能会导致噪声。隐式表达（NeRF）耗费计算资源巨大，运行速度慢。3D GS 表示从隐式辐射场到显式辐射场的转变。它通过利用3D高斯作为灵活高效的表示，利用了这两种方法的优势。

1.2 目标

提出一个实时且能够高质量渲染场景的方法，通过结合离散和连续表示方法的优势，不仅克服了传统方法在噪声和渲染质量方面的限制，而且极大地提高了渲染速度。

1.3 摘要

辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而，要获得高视觉质量，仍然需要训练和渲染成本高昂的神经网络，而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染，目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素，使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量，并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。首先，从摄像机标定过程中产生的稀疏点开始，我们用3D高斯线表示场景，它保留了场景优化中连续体积辐射场的理想性质，同时避免了在空空间中不必要的计算；其次，我们对3D高斯线进行交错优化/密度控制，特别是优化了各向异性协方差，以获得准确的场景表示；第三，我们开发了一种支持各向异性飞溅的快速可见性感知渲染算法，既加快了训练速度，又允许实时渲染。我们在几个已建立的数据集上演示了最先进的视觉质量和实时渲染。