ResFields： 一种即插即用的MLP增容工具

目录

概述

RESFIELDS 理论简介

实验（部分）

2D VIDEO APPROXIMATION1

TEMPORAL NEURAL RADIANCE FIELDS (NERF）

消融实验

环境配置

概述

论文名称： RESFIELDS: RESIDUAL NEURAL FIELDS FOR SPATIOTEMPORAL SIGNALS

作者单位：ETH Zurich; Microsoft; ROCS, University Hospital Balgrist, University of Zurich

投稿期刊：仍在arxiv preprint

本导读使用读者： 如果希望用比较小的改动，来减少当前MLP的体量，又不损失效果，可以尝试一下本文的方法

项目主页：ResFields: Residual Neural Fields for Spatiotemporal Signals (markomih.github.io)

解决问题： MLP的容量问题。

解决方式： 设计了一个时间残余层，命名为ResFields。文章全面分析了ResFields的性质，并提出了一种矩阵分解的技术来减少训练参数的体量。

优势： 可以与现有的技术无缝集成，并不影响现有技术的效果。

MLP在诸多任务中都取得了成功，尤其是近年的神经辐射场，对三维重建领域的研究者影响较大。MLP自身倾向于学习低频函数，进而会导致结果呈现细节不足的表现，针对该问题，往往采用位置编码等技术或特殊的激活函数对其进行缓解。尽管如此，在处理大型的时空信号时，仍难以达到令人满意的效果。

一种简单的、直观的增加MLP容量的方式是粗暴增加神经元数量。但是，这种做法不可避免地会使得推理与优化变慢，且会使得GPU成本更高。再有方法是对MLP权重进行meta-learn，但是这种方法也会导致训练速度变慢，且效果有限。

目前为止，最流行的提高模型容量的方式是分割时空信号场，并且对分离后的场进行优化，但是，这种方法会影响全局推理和泛化。

因此，这篇文章提出了一个技巧，通过使用time-dependent层来替代一个或几个MLP层。

time-dependent层的权重被建模为可训练的残差参数