Abstract
1、提出一个模拟 ISP 处理的模型(模型是怎么构建的?)
2、在 RAW、sRGB 域都能生成图像对,都能做去噪。(它说在真是图像基准数据集上有 SOTA 效果,不会是 DND 吧)
3、参数量是之前的RAW去噪最佳方法(用的什么方法?)参数的 1/5
1、Introduction
(要长脑子了)
高层视觉问题:图像分类、目标检测、目标分割
底层视觉问题:图像去噪、超分、去模糊
本文工作是什么?
想在 raw 图上叠加噪声
raw 噪声和信号相关,去马赛克后和空间色彩相关,ISP走完噪声可能不再满足高斯分布
Unprocessing 的不足:需要目标相机设备的先验信息(CCM颜色校正矩阵、白平衡增益)——这就意味着需要一个事先调好的ISP欸!泛化性不足,不推荐使用。
看看白平衡增益的代码,这个用了什么参数
本模型厉害的是:不需要相机参数先验,实现sRGB和raw的转换
本文贡献
1、建立 CycleISP 模型,可实现 sRGB 和 RAW 的变换(听起来取代了 ISP 流程)
2、真实图像噪声合成器,可获得图像对
3、双重注意力机制CNN,在CycleISP、合成图像噪声、去噪中都有应用
4、在 DND、SIDD 数据集上 SOTA ,网络参数大大减少,只有 2.6M
2、RelatedWork
pass now
3、CycleISP
看懂网络结构设计思路(暂缓,等论文复现需要了解实现细节再看
多个 branch:RGB2RAW、RAW2RGB、RAW2RGB 中有颜色校正网络、叠加噪声模块(ON/OFF)
训练方式:RGB2RAW、RAW2RGB分开训练,然后联合微调
这是前文提到的双重注意力机制 CNN
3.1 RGB2RAW
4、Synthetic Realistic Noise Data Generation
叠加人为生成的噪声:add shot、read noise——移植了 Unprocessing 代码
如何对模型进行微调:用 SIDD 的数据,叠加真实噪声
5、Denoising Architecture
pass
6、Experiments
暂缓