一种用于用于图像超分辨率的高效退化模型
- 摘要
- 引言
- 退化模型设计
- 图像降质模型简化版
- 3.1. 模糊
- 3.2. 下采样
- 3.3. 噪声
- 3.4. 随机排序
- 实验结果
- 结论
- 参考文献
摘要
为了增加数原始图像的退化丰富度，提高超分辨率网络的泛化能力，本文介绍了一种更加复杂但实用的退化模型，该模型包含随机排列的模糊、下采样和噪声退化等过程。
- 模糊通过两个卷积操作来近似，分别使用各向同性和各向异性的高斯核；
- 下采样则从最近邻、双线性以及双三次插值中随机选择；
- 噪声则通过添加不同水平的高斯噪声、采用不同质量因子的JPEG压缩以及通过反向-正向相机图像信号处理（ISP）管道模型和RAW图像噪声模型生成经过处理的相机传感器噪声等方式合成。
实验结果表明，新的退化模型能够显著提高深度超分辨器的实际应用能力，从而为现实世界中的SISR问题提供了一种强大的替代解决方案。
源码链接：BSRGAN
引言
单幅图像超分辨率（SISR）旨在从低分辨率（LR）图像重建出自然且细节丰富的高分辨率（HR）图像，近年来由于其高度的应用价值而引起了广泛的关注。随着深度学习技术的发展，各种基于深度学习的SISR方法已经取得了显著的进步。然而，这些方法的效果很大程度上取决于它们所假设的退化模型是否能够准确地反映真实世界的图像退化情况。
退化模型设计
图像降质模型简化版
3.1. 模糊
- 使用各向同性和各向异性高斯核进行模糊处理。
- 核尺寸随机选择自 {7×7, 9×9, …, 21×21}。
- 各向同性高斯核宽度随机选择自 [0.1, 2.4] 或 [0.1, 2.8]，取决于尺度因子。
- 各向异性高斯核的旋转角度随机选择自 [0, π]，轴长随机选择自 [0.5, 6] 或 [0.5, 8]。
3.2. 下采样
- 使用最近邻插值、双线性和双三次下采样方法。
- 采用先下采样再上采样的方法 (尺度因子随机选择)。
3.3. 噪声
- 高斯噪声 (
N_G): 添加通道独立或灰度AWGN噪声。 - JPEG压缩噪声 (
N_{JPEG}): 质量因子随机选择自 [30, 95]。 - 相机传感器噪声 (
N_S): 通过逆ISP管道处理，添加原始图像噪声，再通过正向ISP管道重建。
3.4. 随机排序
- 对模糊、下采样和噪声处理的操作进行随机排序。
- 这种随机化可以扩展降质空间，更好地模拟真实场景。
实验结果
为了验证新退化模型的有效性，使用了深度盲ESRGAN模型进行训练，并在合成数据和真实数据上进行了测试。实验结果显示，使用新退化模型训练的模型在处理多样化的退化时表现出更好的性能。
结论
本研究提出了一种更为复杂的退化模型，通过模拟真实世界中的多种退化过程并采用随机顺序策略，显著提高了深度学习超分辨率模型在处理实际图像时的表现。这项工作为未来的SISR研究提供了有价值的参考和启发。
参考文献
- Kai Zhang, Jingyun Liang, Luc Van Gool, Radu Timofte. Designing a Practical Degradation Model for Deep Blind Image Super-Resolution. ICCV 2021.
