Remote Sensing Image Super-Resolution via Multiscale Enhancement Network
（基于多尺度增强网络的遥感图像超分辨率）
近年来，遥感图像因其特殊的价值而引起了人们的广泛关注。然而，卫星遥感图像通常是低分辨率的，因此遥感图像与普通数字图像相比难以推断高频细节，这意味着它们不能满足某些下游任务的需要。我们提出了一个多尺度增强网络（MEN），它使用遥感图像的多尺度特征，以提高网络的重建能力。具体地，网络提取LR遥感图像的粗糙特征使用卷积层。然后，这些特征被馈送到该网络提出的多尺度增强模块（MEM），该模块使用具有多个卷积核大小的卷积层的组合来细化多尺度特征的提取，最后，由重建模块生成最终的重建图像。
INTRODUCTION
图像超分辨率（SR）是计算机视觉中提高图像和视频分辨率的重要技术。遥感图像可以从外层空间观测地球物体，并为监测地球表面提供丰富的信息。近年来，遥感图像在环境监测、资源勘查、土地覆盖分类等领域得到了广泛的应用。但由于硬件和环境因素的影响，获取的遥感图像质量和分辨率较低。因此，如何提高遥感图像的分辨率和图像质量成为了大量研究者的研究热点。
最近，由于卷积神经网络（CNN）的快速发展，基于深度学习的SR方法逐渐进入主流。Shi等人构造了亚像素CNN，并将亚像素卷积引入图像上采样，改善了图像重建效果。Lei等人设计了一种新的多分支结构，通过提取遥感图像的局部和全局特征来增强重建网络的重建性能。Jiang等人采用了密集残差重建方法来增强遥感图像特征的重建能力。Xu等人提出了一种基于深度内存网络的SR方法，通过局部和全局内存连接来增强网络的重构性能。Dong等人设计了一个多感官注意力重建网络，该网络使用多感官学习和多级信息来重建图像。Lu等人提出了一种SR重构网络，该网络利用遥感图像的多尺度特性，有效地重构了遥感图像的高频信息。虽然上述遥感图像网络提供了更好的重建结果，但通过加深SR重建的网络往往引入了特征信息的冗余。此外，由于遥感图像退化和内容多样性等复杂因素，遥感图像的多尺度信息提取是遥感图像SR的关键细节信息。
为了解决遥感图像重建中的上述问题，我们提出了一种新的多尺度增强网络（MEN）的遥感图像重建。具体而言，该网络通过卷积层提取LR遥感图像粗特征。然后，这些特征被输入到该网络中提出的多尺度增强模块（MEM）中，该模块使用具有多个卷积核大小的卷积层的组合，并细化遥感图像的多尺度特征的提取。然后利用残差跳变实现特征的有效融合，使MEN能够最大限度地有效提取遥感图像的多尺度细节信息。
总之，我们的贡献概述如下
1)我们设计了一种新的遥感重建网络MEN，它不仅可以自适应地检测遥感图像的特征，而且可以实现遥感图像的多尺度特征的有效融合。相关实验证明了MEN重构网络的优越性，主客观对比可以优于其他最先进的SR方法。
2)我们采用了一种新的MEM在SR重建网络，主要是由不同尺度的卷积层，使重建网络可以更好地提取遥感图像的多尺度细节。模块中的concat层可以减少冗余特征，提高特征信息的利用率。
PROPOSED METHOD
Network Architecture
我们的MEN最终目标是开发一个映射函数F，可以重建SR遥感图像
I
S
R
I^{SR}
ISR从输入图像
I
L
R
I^{LR}
ILR。在我们的研究中，原始的高分辨率（HR）遥感图像IHR被用来创建低分辨率（LR）遥感图像
I
L
R
I^{LR}
ILR通过双三次运算。讨论了
I
L
R
I^{LR}
ILR ∈
R
H
×
W
×
C
R^{H×W×C}
RH×W×C和
I
H
R
I^{HR}
IHR，
I
S
R
I^{SR}
ISR∈
R
r
H
×
r
W
×
C
R^{rH×rW×C}
RrH×rW×C，其中C表示图像的通道数，r表示放大倍数的大小。
学习
I
L
R
I^{LR}
ILR和
I
H
R
I^{HR}
IHR之间的端到端映射函数F是本研究的最终目标。训练数据集被指定为{
I
L
R
I^{LR}
ILRi，
I
H
R
I^{HR}
IHRi }Ni=1，并且解决了以下问题：
近年来，均方误差和l2函数在图像重建优化中变得流行。
尽管事实上，这些技术可以实现高的客观评价指标，遥感图像重建使用这样的损失函数经常产生过于平滑的纹理。我们发现，这些损失函数对遥感重建性能的改善是微妙的。最后，我们的MEN网络使用l1函数，以避免引入专门的培训技能，并减少网络计算。因此，我们将
I
S
R
I^{SR}
ISR定义为
所提出的方法的结构如图1所示。为了稳定梯度爆炸等网络训练，我们使用残差跳跃连接进行网络的特征融合。该模型以未经处理的LR遥感图像为输入，通过残差跳变连接将其采样到HR空间，输出重建后的HR遥感图像。
Multiscale Enhancement Module
我们重新评估的基本卷积块的特征提取遥感图像在单图像SR任务，这是由最近的多尺度特征学习的动机。所提出的MEM由三个子网络组成，具有各种尺度的卷积核，与许多MSRN风格块不同。所开发的方法使得共享已提取的特征数据，使用各种卷积核，以获得多尺度信息成为可能。根据图1中，左下图描绘了特定的MEM结构，右下图显示了卷积核的三个不同尺度的子网络。
我们首先将输入到MEM的遥感图像的粗糙特征定义为X，因此MEM的整个过程可以用公式表示为
对于这个模块，我们使用局部残差学习策略来提高重建性能，同时确保降低计算成本。
在每个MEM模块中的融合特征被非线性化之后，通过残差连接添加特征，然后发送到下一个MEM模块。最后，加入粗糙遥感图像特征X，实现不同尺度特征的交互。
