中文标题：从一或少量图像中构建神经辐射场
提出问题
- NeRF效果虽然惊艳，但是其需要大量环绕图像以及长时间的训练。
创新点
- 与原始的NeRF网络不使用任何图像特征不同，pixelNeRF将与每个像素对齐的空间图像特征作为输入。
- 也可以集合更多输入相关场景特征。
具体实现
图像约束神经辐射场
- 为了克服NeRF不能在场景间分享Knowledge的缺陷，文章提出适应图像空间特征的NeRF。
- 提出的模型包括两部分：一个全卷积图像编码器以及一个NeRF的MLP网络。
单图Pixel-NeRF
-
首先对输入图像提取特征 W = E ( I ) W=E(I) W=E(I).
-
然后将射线x投影回输入图像平面 π ( x ) \pi(x) π(x), 然后通过插值查找对应特征 W ( π ( x ) ) W(\pi(x)) W(π(x))。
-
最后将对应特征一起送入MLP。
-
如果查询视图方向与输入视图方向相似，则模型可以更直接地依赖于输入；如果它不同，则模型必须利用学习到的先验。
合并多个视图
- 多个视角为场景提供了额外的信息，能够解决单视角下的几何歧义。文章提出的框架可以扩展到任意数量的输入图像。
- 我们将一个视图方向为d的查询点x转换为每个输入视图i的坐标系：
-
ψ
\psi
ψ 是平均池化操作。
f
=
f
1
∘
f
2
f = f_1 \circ f_2
f=f1∘f2。
参考文献
[1] Yu A, Ye V, Tancik M, et al. pixelnerf: Neural radiance fields from one or few images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4578-4587.
