3D 生成重建024-LGM第一个开源的3D生成大模型

0 论文工作

这篇论文介绍了一种名为LGM（大型多视角高斯模型）的新方法，用于从单视角图像或文本提示生成高分辨率的三维内容。该方法的核心思想是双重的：1）三维表示: 使用多视角高斯特征作为一种高效且强大的三维表示，这些特征可以融合在一起进行可微渲染；2）三维主干网络: 使用一个非对称U-Net作为高吞吐量的主干网络，处理多视角图像。LGM能够在5秒内从单视角图像或文本生成高分辨率的三维高斯分布，并在各种具有挑战性的图像上展示了最先进的结果。
这个工作是通过unet网络预测一个3DGS特征，特征融合成3DGS，用新视图上渲染的损失监督这个过程。
这个方法在我的认识中应该是最早开源的。
paper
github

1 论文方法

这篇论文提出了LGM（Large Multi-View Gaussian Model），一个用于生成高分辨率三维内容的新模型。它能够在5秒内从单视图图像或文本提示生成高质量的三维模型。
LGM 旨在克服现有前馈式三维生成模型在分辨率和效率方面的限制。它采用了一种基于多视图高斯特征表示的新颖方法，结合高效的非对称U-Net架构，直接从输入的单视图图像或文本生成三维模型。 具体来说，LGM 通过一个 U-Net 网络处理多视图图像（这些图像可以来自现成的多视图扩散模型），将图像特征融合成一系列三维高斯分布，这些高斯分布密集地表示三维场景。最终，通过可微分渲染技术，LGM 生成高质量的三维模型，并能转化为多边形网格用于后续应用。 模型的训练过程使用了图像重建损失函数进行端到端训练，无需依赖三维形状的先验知识。
高效的三维高斯分布表示: LGM 使用三维高斯分布来表示三维场景，这比传统的体素或神经辐射场 (NeRF) 表示方法更有效率，尤其是在高分辨率下。高斯分布的简洁性使得模型能够在较低的计算成本下生成高质量的三维模型。
高效的非对称U-Net架构: LGM 使用一个非对称的 U-Net 作为主干网络，能够高效地处理多视图图像特征，并有效地融合多视图信息。非对称的设计提高了模型的吞吐量，加快了生成速度。
多视图融合: LGM 有效地融合了来自多个视角的信息，从而能够生成更完整、更准确的三维模型，即使是从单视图图像出发也能取得良好的效果。
端到端训练，无需三维数据标注: LGM 使用图像重建损失函数进行端到端训练，无需额外标注的三维数据，降低了数据获取和标注的成本，提高了模型的可扩展性。
高分辨率生成: LGM 能够生成高达512分辨率的三维模型，显著提升了三维模型的细节和质量，优于许多现有方法。

2 实验效果