01

摘要

提出了一种单幅图像超分辨率（SR）的深度学习方法。该方法通过深度卷积神经网络（CNN）学习低分辨率图像到高分辨率图像的端到端映射，输入是低分辨率图像，输出是高分辨率图像。

该方法通过联合优化所有层实现了更好的性能，使得其在恢复质量方面表现卓越，同时具有轻量级的结构，适用于快速在线应用。研究还探讨了不同的网络结构和参数设置，以及平衡性能和速度之间的关系。另外，方法还扩展了网络，能够同时处理三个颜色通道，并在整体重建质量上表现更出色。

02

介绍

此论文通过在非线性映射层中引入更大的滤波器尺寸来改进SRCNN，并通过增加非线性映射层来探索更深层次的结构。其次，扩展SRCNN以同时处理三个颜色通道(在YCbCr或RGB颜色空间中)。

实验表明，与单通道网络相比，该网络的性能可以得到改善。最后，在初始结果的基础上增加了大量新的分析和直观的解释。作者们还将原始实验从Set5和Set14测试图像扩展到BSD200（200张测试图像）

此研究的主要贡献包括以下三个方面：

1)提出了一种全卷积神经网络用于图像超分辨率。该网络直接学习低分辨率和高分辨率图像之间的端到端映射，几乎无需额外的预处理或后处理即可进行优化。

2)建立了基于深度学习的超分辨率方法与传统的基于稀疏编码的方法之间的关系，为网络结构的设计提供了指导。

3)证明了深度学习在经典的超分辨率计算机视觉问题中的实用性，能够实现优秀的质量和速度。

03

04

用于超分辨率的卷积神经网络

4.1 Formulation

在处理单个低分辨率图像时，我们采用双三次插值将其调整到所需尺寸，这是唯一的预处理步骤。我们将插值后的图像记为Y。我们的目标是从Y中恢复出与真实高分辨率图像x尽可能相似的图像F(Y)。尽管插值后的图像Y与x大小相同，我们仍称之为“低分辨率”图像。我们希望学习一个映射F，它由以下三个操作组成：

斑块提取和表示：从低分辨率图像Y中提取（重叠）补丁，并将每个补丁表示为高维向量。这些向量由一组特征映射组成，映射的数量等于向量的维数。

非线性映射：将每个高维向量进行非线性映射，得到另一个高维向量。这些映射向量在概念上代表高分辨率补丁。

重建：将上述高分辨率补丁表示聚合，生成最终的高分辨率图像。这个图像预计与真实高分辨率图像X相似。如下图所示

4.2 Relationship to Sparse-Coding-Based Methods

基于稀疏编码的方法可以看作是一种卷积神经网络，但在构建卷积神经网络时需要优化更多操作。

在基于稀疏编码的方法中，首先从输入图像中提取低分辨率补丁f1，然后通过稀疏编码求解器将其投影到低分辨率字典上，相当于应用n1个线性过滤器；稀疏编码求解器迭代处理n1个系数，输出n2个系数，这些系数表示高分辨率斑块的特征；稀疏编码求解器在下图的中间部分表示为非线性映射算子，但从卷积神经网络的角度来看，它是基于稀疏编码的方法；ReLU可以等效地视为第二个操作的一部分，而第一个操作变为纯线性卷积；基于稀疏编码的方法中的稀疏编码求解器是迭代的，而我们的非线性算子是完全前馈的，更有效；上述系数经过稀疏编码投影到高分辨率字典，然后进行重建和平均，相当于在特征映射上的线性卷积。