每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/ 。
研究人员来自苏黎世联邦理工学院(ETH Zurich)和谷歌苏黎世(Google Zurich)的合作努力,已经成功创造了名为InseRF的新技术。该方法基于用户提供的文本描述和参考视角中的2D边界框,能够在3D场景中生成新对象。随着在3D生成建模中采用文本到图像扩散模型的强大先验,3D场景编辑领域已经发生了深刻的变革。尽管现有方法在通过风格和外观变化或移除现有对象方面效果显著,但在生成新对象方面仍面临挑战。研究人员在本项研究中解决了这一问题。他们特别提出,将3D对象插入定位于场景的参考视图中的2D对象插入。然后,将这种2D编辑提升为3D,采用单视角对象重建方法。重建的对象随后被插入到场景中,并受到单眼深度估计方法先验的指导。研究人员在各种3D场景上对其方法进行了评估,并对提出的组件进行了深入分析。他们在几个3D场景中进行的生成式对象插入实验显示,与现有方法相比,他们的方法更为有效。InseRF能够在不需要显式3D信息作为输入的情况下,进行可控制和与3D一致的对象插入。
InseRF: 文字驱动的神经3D场景中的生成对象插入
去看看Github: https://mohamad-shahbazi.github.io/inserf/