中文标题：使用几何约束增强小样本神经辐射场
提出的问题
- NeRF尽管简介有效，但是往往不能收敛到正确的几何结构。
- 这个问题在小样本学习中尤为明显，往往在没有足够训练数据的情况下，很难使得MLP网络学习到正确的几何的隐表示，表现为深度数据的混乱和失真。
创新点
- 提出了一种基于几何约束和隐式深度监督的NeRF的数据增强方法。
具体方法
几何感知数据增强
- 首先在训练集中6维自由度姿态P加任意噪声：
- 然后渲染在位姿P’下图像 C ′ ^ ( r ) \hat{C'}(r) C′^(r)，然而并没有其真实标签。所以我们扭曲（warp） C ′ ^ ( r ) \hat{C'}(r) C′^(r) 从 P’ 到 P并且监督扭曲的图像C:
平滑的L1损失
- L1损失函数对离群点更不敏感。
自适应噪声
- 使用 δ \delta δ标准差表示施加在相机姿态上的噪声（在P’与P之间）。
- 如果P’与P太远，扭曲不可靠（相关性太低）。但如果太小，数据增强效果又会减弱。
- 在整个训练过程中使用相同的噪声大小并不是最优的。
提出的方法
-
基于一个关于 L c 与 L a L_c 与 L_a Lc与La损失函数之间的差异的启发式规则。 L c L_c Lc时NeRF的重建损失。
-
理想情况是保持增强样本的损失略高于训练样本的损失。
-
首先设置初始化 δ 0 \delta_0 δ0,当 L a L_a La 小于\大于 L_c超过a,则 乘/除 γ ( γ > 1 ) \gamma(\gamma > 1) γ(γ>1)
-
L ˉ \={L} Lˉ是最近100步的平均损失。公式9旨在保证 2 L ˉ a 2\={L}_a 2Lˉa在 L ˉ c + m \={L}_c + m Lˉc+m和 L ˉ c + 2 m \={L}_c + 2m Lˉc+2m之间。
算法步骤
参考文献
[1] Chen D, Liu Y, Huang L, et al. GeoAug: Data Augmentation for Few-Shot NeRF with Geometry Constraints[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XVII. Cham: Springer Nature Switzerland, 2022: 322-337.
