InFusion 以其图像条件模型超越了当前的方法,提供精确的深度修复并支持纹理定制和对象插入等高级应用程序。
github项目页面: Infusion
Github 仓库:GitHub - ali-vilab/Infusion: Official implementations for paper: InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior
夸克网盘「InFusion 3D 高斯深度图像修复」项目文件和论文原文下载链接:
夸克网盘分享
3D 高斯最近作为新颖视图合成的有效表示而出现。这项工作研究了InFusion的可编辑性,特别关注修复任务,旨在通过额外的点来补充不完整的 3D 高斯集,以实现视觉和谐的渲染。
与 2D 修复相比,3D 高斯修复的关键是找出引入点的渲染相关属性,其优化很大程度上受益于它们的初始 3D 位置。为此,我们建议使用图像条件深度补全模型来指导点初始化,该模型学习根据观察到的图像直接恢复深度图。
这样的设计使我们的模型能够以与原始深度对齐的比例填充深度值,并且还可以利用大规模扩散先验的强大概括性。得益于InFusion更准确的深度补全,我们的方法(称为 InFusion)在各种复杂场景下以更好的保真度和效率超越了现有的替代方案。我们通过几个实际应用进一步证明了 InFusion 的有效性,例如使用用户特定的纹理进行修复或新颖的对象插入。