3D 生成重建010-SyncDreamer从单视图生成一致性的多视图

---

0论文工作

在zero123中，首先探索了给2d图像扩散模型注3d空间感知能力。可以将原图输入模型，通过相机位置的相对偏移生成对应的新视图。
这篇论文就是在zero123的基础上进行调整根据输入图像生成多视图。在LucidDreamer等论文中，在文用sds对nerf等表示进行优化时，对于每个单独的降噪过程，他的原始需要降噪的输入都是独立存在。这不光给全局的优化造成额外的开销，而且会使得视图之间存在不一致性，为了保证整体的优化就会过度平均失去细节。
简单来说就是每次生成的视图之间时没有相关性的。
这篇论文从图像生成多视图。就提出了一种思路去缓解这个问题。这个论文的思路就是在zero123的基础上为unet的扩展分枝中增加了一个视图之间关联性的注意力层。让每次生成的图像都获得彼此之间的关系。

1论文方法

论文的工作主要体现在下图的上半部分，对于随机初始化的n个噪声，反映射成一个3d volume，然后用CNN进行处理得到新的空间特征体然后差值产生一个能体现视图之间关联性的新的噪声。这个噪声会在通过不同注意力机制融合方式去提示网络视图之间的关联性。
下半部分的zero123就是之前在zero123中提到的非常经典的工作，在3d生成和多视图生成中都是一个很好的baseline。

2 效果