三维重建以及神经渲染中的学习

公众号AI知识物语

本文内容为参加过去一次暑期课程学习时的笔记，浅浅记录下。

自由视点合成中的表征学习

目标：给定单一场景多个图片以及相机位子，生成新视角下的图像
挑战：恢复三维场景结构，建模非漫反射表面
问题：采用何种场景表示？

三维可控图形生成中的表征学习

点云

mesh网格

radiance field

优点是无需预先重建，内存需求不随分辨率改变

缺点是合成速度慢

KiloNerf：Speeding up Neural Radiance Fields with Thousands of Tiny MLPs ICCV2021

KiloNerf：加速NeRF渲染

问题：Nerf渲染慢，一个图片需要MLP百万次前馈操作
解决方案：使用多个极小的MLP来替换深层的MLP，每个小MLP以及栅格方式组合在一起，互相不share，并且每个MLP只负责的一小块部分-----能够加速的同时保持速度不变

网络结构