Lightweight Pyramid Networks for Image Deraining
- 前置知识
- 高斯-拉普拉斯金字塔
- 图像中的高频信息和低频信息
- 为什么高斯-拉普拉斯金字塔可以实现去雨？
- 可能性分析
- 网络结构
- 整体结构：
- 子网结构：
- 递归块结构：
后续补充代码
前置知识
这篇论文中的模型以高斯-拉普拉斯金字塔为基础，实现轻量级的图像去雨。
高斯-拉普拉斯金字塔
通过对A1下采样得到A2，在对A2上采样得到A1’，由于下采样会造成像素损失，使得 A1 != A1’ ，因此 L1 = A1 - A1‘。
图像中的高频信息和低频信息
低频信息：
低频信息主要是图像中的主体部分，具有颜色变化缓慢的特点，比如下图：
高频信息
高频信息主要是图片中灰度发生剧烈变化的区域，多位于物体边缘等细节部位，比如下图：
为什么高斯-拉普拉斯金字塔可以实现去雨？
可能性分析
因为雨痕对背景产生的遮挡导致背景信息发生变化，因此雨痕可以视为一种高频信息。在进行下采样时，卷积核会用周围的信息去填补雨痕处的信息；但是上采样恢复时，并不能恢复出雨痕（上采样可以近似理解为插值） 此时，用原始图像减去下采样后又上采样恢复的图像，可以得到图片中的雨痕信息（也会有别的纹理细节信息）（称为细节信息）。
可以训练网络学习从有雨图像的细节信息，去学习生成无雨图像的细节信息使用模型的方法？ 从而引导图像去雨。
网络结构
将图片不断下采样，并获取细节图，训练网络根据有雨细节图恢复无雨细节图的能力。
整体结构：
子网结构：
特征提取函数
递归块结构：
递归块函数
