Image Super-Resolution Using Deep Convolutional Networks-SRCNN

news2024/11/27 9:07:47

Some words：这里是一些阅读文章的笔记，这篇文章是第一篇将深度学习应用于超分领域的文章，具有较为重要的意义。

（一）Abstract：

我们提出一个对于单图像超分的深度学习方法，端到端地学习高低分辨率图像，我们也可知道传统的稀疏编码也可以作为一个深度卷积网络。与传统的方法相对独立的组件相比，我们的方法是端到端，并且处理了图像的三个通道，并且在线使用实现了不错的速度。我们也尝试在速度和参数之间得到一个权衡。

（二）Introduction：

单图像的超分是一个欠定的逆问题，本身具有多解。以往的方法一般是基于示例的，即从现有的样本来去学习。基于稀疏编码的是一个较为典型的基于实例学习的例子。

在这篇文章，主要提出了一个卷积的网络，整个网络的pipleline除了一些简单的预先预后处理，基本上整个学习都是通过网络来获得。->END-TO-END

该网络与传统方法的几点区别：1.不需要patch空间学习字典或者流形，这些通过隐藏层来进行学习；2.块的抽取和聚合也表示为卷积层，参与优化；3.设计较为简单，但是相较于先进的方法取得了很好的表现；4.有着适中的卷积核和层，相较于别的方法有着不错的速度；5.实验的结果也展示了效果可能会因数据集的大和多样以及模型的大和深来得到提高；6.这个网络可以处理3通道的图像。

如下图，可以看到SRCNN的性能，在第一个epoch就能得到明显的提高；

2.1 Contributions：

1.提出一个全卷积的神经网络，端到端学习，除了优化，只有很少的预先预后处理；

2.在深度学习网络和传统的超分网络中建立一个联系；

3.证实了深度学习在计算机视觉实现了不错的表现和速度；

（三）Related Work：

3.1 Image Super-Resolution

这部分主要分析了传统的超分方法，以及大多数方法并非在三个通道上计算，一般在灰度或者单通道的图像上

3.2 Convolutional Neural Networks

这部分主要是讲了CNN 影响较大并且已经广泛应用于各个领域，它的成功得益于GPU、ReLu、较大的数据集...

3.3 Deep Learning for Image Restoration

这部分主要是讲前人在超分领域应用深度学习技术，但是相比之下，SRCNN是端到端并且实用等优点更甚。

（四）CONVOLUTIONAL NEURAL NETWORKS FOR SUPER-RESOLUTION

4.1 Formulation

3个过程：Patch抽取和表示、非线性映射和表示，均可以表示为卷积的形式，形成一个卷积网络；（文中详细介绍三个过程）

4.2 Relationship to Sparse-Coding-Based Methods

我们可以将基于稀疏编码的超分表示为卷积，如上图

4.3 Training

MSE 作为损失函数与，PSNR 作为评价指标，使用随机梯度下降...

（五）EXPERIMENTS

我们首先研究了使用不同的数据集对模型性能的影响。接下来，我们将检查通过我们的方法学习到的过滤器。然后，我们探索了网络的不同架构设计，并研究了超分辨率性能与深度、滤波器数量和滤波器大小等因素之间的关系。随后，我们将我们的方法与最近的技术现状进行了定量和定性的比较。在[42]之后，在第4.1- 4.4节中，只对亮度通道（YCbCr颜色空间中的Y通道）应用超分辨率，因此在第一/最后一层使用c = 1，并在Y通道上评估性能（如PSNR和SSIM）。最后，我们将网络扩展到处理彩色图像，并评估其在不同通道上的性能。