中文标题:基于连续深度多平面和神经辐射场的新视角合成
本文只介绍与NeRF原文不同的部分
创新点
- 对单一图像进行密集三维重建,完成新视角合成与深度估计的工作。
- 从单个图像生成连续和遮挡绘制的三维重建。
- MINE借鉴NeRF可以生成连续的深度图像。
解决的问题
- 单目三维重建所导致的几何信息严重不足
提出的方法
平面神经辐射场的表示
- 在场景中取不同深度的平面 z ∈ [ z n , z f ] z \in [z_n,z_f] z∈[zn,zf],每一个平面包含RGB值 c z c_z cz以及 σ z \sigma_z σz
- 用 ζ ( ⋅ ) \zeta(\cdot) ζ(⋅)表示从相机坐标系到世界坐标系的变换。
从源(相关)图像 I ^ s r c \hat I_{src} I^src渲染
- 输入 I s r c 与 d i = 1 / z i I_{src} 与 d_i = 1/z_i Isrc与di=1/zi,输出 ( c z i , σ z i ) (c_{z_i} ,\sigma_{z_i}) (czi,σzi),然后使用经典的体渲染公式可以得到:
这里是 i → i + 1 i \rightarrow i + 1 i→i+1的距离。
- 我们的网络在训练过程中暴露于中的每个深度值,从而学习一个连续的 ( c z i , σ z i ) (c_{z_i} ,\sigma_{z_i}) (czi,σzi)
渲染新的目标 I ^ t g t \hat I_{tgt} I^tgt
用相机旋转 R ∈ R 3 × 3 R\in R^{3×3} R∈R3×3和平移 t ∈ R 3 t\in R^3 t∈R3渲染成一个新的视图,通过三个步骤实现:
- 实施单应变化 W ( ⋅ ) W(\cdot) W(⋅)建立源坐标与目标坐标系之间的关系
- n = [ 0 , 0 , 1 ] T n =[0,0,1]^T n=[0,0,1]T是平行于源坐标系的平面方向向量
-
体渲染需要体密度 σ \sigma σ以及每个点沿射线之间的距离:
-
最后,可以通过体渲染渲染出新视角。
体积渲染依赖于每个位置的密度 σ \sigma σ,以及沿着光线的每个点之间的距离。因此,我们可以计算:
参考文献
[1] Li J, Feng Z, She Q, et al. Mine: Towards continuous depth mpi with nerf for novel view synthesis[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12578-12588.
[2] Richard Tucker and Noah Snavely. Single-view view synthesis with multiplane images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.