Abandoning the Bayer-Filter to See in the Dark 论文阅读笔记

news2024/12/24 21:13:00

在这里插入图片描述

这是CVPR2022的一篇暗图增强的文章，TCL AI Lab与福州大学，韩国延世大学，安徽大学的合作论文
网络以黑暗环境下拍摄的color raw为输入，用一个de-bayer-filter module恢复无拜尔滤波器的raw data（文章认为拜尔滤波器使得光子数量被滤去许多，无拜尔滤波器的摄像机拍摄得到的raw data虽然没有颜色信息，但是亮度信息更饱满），然后两者一起送进双支路暗图增强模块产生sRGB的图片，总体来说有点像是一个优化的ISP过程，输入暗图的raw data，输出亮图的sRGB 图片
文章采集了数据集，然后有监督地用L1损失去训练这个流程。数据集有两个，一个是Mono-Colored Raw Paired (MCR) Dataset，用成对的相机（其中一个有拜尔滤波器一个没有）拍摄得到成对的raw data（位置借助平台滑动来对齐，同时后期也做了alignment），这个数据集是用来训练第一个模块的。第二个是从SID生成的模拟数据，用长曝光的long exposure raw data转成RGB，然后再转成灰度图，作为模拟的无拜尔滤波器 raw data（我觉得很怪，为什么用灰度图模拟raw data，损失不是很严重吗）。不过看实验，两个数据集应该是分开训练和测试的，所以有两个实验结果。
总之，SID模拟数据集的那部分很怪，其他的，这个拜尔滤波器导致亮度损失的思路还是可以的。