【MFEN：轻量级多尺度特征提取：SR网络】

MFEN: Lightweight multi-scale feature extraction super-resolution network in embedded system

（MFEN：嵌入式轻量级多尺度特征提取超分辨率网络）

深度卷积神经网络（CNN）在超分辨率（SR）方面取得了显著的成绩。然而，基于深度神经网络的方法由于计算量大、内存消耗大，很难应用于嵌入式便携设备。针对上述问题，通过构造多尺度特征提取块（multi-scale feature extraction blocks (MFEB)），提出了一种有效的轻量级多尺度特征提取超分辨率网络（multi-scale feature extraction super-resolution network (MFEN)），逐步获取多尺度和层次信息。此外，我们还提出了一种有效的渐进特征融合（progressive feature fusion (PFF)）策略来聚合多尺度信息特征。在基准数据集上的定性和定量评价结果表明，该方法的性能优于大多数现有方法.此外，MFEN算法的计算复杂度和运行时间显著降低，为嵌入式设备的实时图像处理技术提供了便利。

介绍

单幅图像超分辨率（SISR）是指从原始的低分辨率（LR）图像重建出相应的高分辨率（HR）图像。它是病态的，因为相同的LR图像对应于多个HR图像。超分辨率技术在嵌入式系统、监控、医疗诊断等领域具有重要的应用价值，是一个值得深入研究的领域。
近年来，深度卷积神经网络（CNN）方法在SR重构中取得了显著的效果，这些方法证实了深度卷积神经网络具有更好的重构性能。因此，各种SR网络试图建立更深的网络以获得更好的重建图像。尽管大多数深度SR网络取得了突出的性能，但由于其计算量巨大和过程复杂而无法用于实际应用。因此，发展轻量级网络是非常必的。
在已有的轻量级CNN研究中，LapSRN将拉普拉斯金字塔结构引入到超分辨率网络中。MemNet建立了一个端到端的持久内存模型。采用跳连接的方式来降低整个网络的权重。CARN采用递归级联机制来集成不同层的功能。它可以通过共享参数使网络更有效。IDN引入了一种信息提取机制网络，利用多个堆叠的信息提取块直接从原始LR图像重建HR图像。虽然这些方法可以减少SR网络的参数，但在计算复杂度和模型性能上仍有改进的空间。
为了改进现有的模型，我们设计了一个高效的轻量级SR网络。受人工压缩和设计模型思想的启发，提出了一种轻量级多尺度特征提取网络（MFEN）。不同于以往大多数SR网络采用固定尺度提取图像特征，本文设计了一个多尺度特征提取模块（MFEB）来获取多尺度信息。具体而言，该块从不同比例提取包含更详细信息的特征。然而，多尺度特征提取的操作通常会增加参数和计算复杂度。此外，如图1所示，我们发现同一层的特征具有很大的相似性。在所有通道的卷积运算中存在冗余。将提取出的浅层特征分为三部分进行不同尺度的操作，设计出更加轻量化的模型。结果，我们从不同的输入通道获得了三个特征类别。有必要考虑一种合适的融合策略来控制信息流。
在这里插入图片描述

贡献

1）为了实现快速的图像超分辨率，我们设计了一种轻量级的多尺度特征提取块（MFEB）网络MFEN。在每个MFEB中，所有特征通道被分成三部分，分别送入具有不同核函数的卷积层，以获得多尺度信息。该网络能在有效保留图像特征的同时重建出更好的HR图像。
2）为了有效地融合不同尺度下的特征，提出了一种渐进式特征融合（PFF）策略.相同的规模特点是逐步集成利用级联和通道洗牌层。该策略可以有效地混合不同信道间的信息。
3）为了更加轻量级，我们还在MFEN的基础上提出了一个更简单的网络MFEN_S。在该网络中，MFEB中的分裂操作的数目减少到3，而网络宽度保持不变。实验结果表明，这种简单的网络也能获得性能提升。

方法

随着网络的不断深入，大多数方法忽略了网络对多尺度信息的适应性。在该网络中，我们设计了一种基于多尺度特征提取的轻量级网络，以更好地利用多尺度信息。首先，利用通道分裂将特征图分成三个分支，得到不同尺度的特征信息。然后，我们应用多层卷积层来获得层次特征。最后，提出了PFF策略来聚合多尺度、多层次的特征，最大限度地提高了提取特征的利用率。与现有的网络相比，我们设计的网络减少了便携式设备和实时图像处理中的参数和运行时间。

Basic network structure

请添加图片描述

大多数神经网络选择通过叠加具有固定卷积核大小的卷积层来加深网络层，以获得更有说服力的信息。由于多尺度特征和层次特征对HR重建工作同样重要，我们提出了一种多尺度特征提取网络。在本节中，我们详细描述了所设计的结构。如图2所示，我们的MFEN包含三个组件：浅层特征提取、堆叠的多尺度特征提取块(MFEB)和重建模块。
具体地，将输入LR图像𝐼_𝐿𝑅发送到3 × 3卷积层以获得浅特征：
请添加图片描述
其中𝐹_{𝑠𝑎𝑙𝑙𝑜𝑤}表示浅层特征，𝐹₀(·)是特征提取函数。我们设计了一个具有堆叠的M个MFEB的多尺度特征提取模块。前一个块的输出被发送到下一个块。通过这种方式，特征被依次转移，其可以被公式化为：请添加图片描述
其中𝐹_𝐵是第M个模块的输出。𝐵_𝑘(·)表示第k个MFEB函数(k = 1，2，…，M)。最后𝐹_𝐵，将其发送到最后一个重建模块。在上采样之后，获得最终SR图像𝐼_𝑆𝑅：在这里插入图片描述
我们利用L1损耗函数来优化网络。LR和对应的地面实况（ground truth (GT)）图像被分别划分为N个块。损失函数可表示为：

Multi-scale feature extraction block

在多尺度上表示特征有助于重构局部信息和上下文信息。以往的网络大多同时提取所有特征，使得重建过程中信息丢失。考虑到利用多尺度提取可以在去除特征单一性的同时获得丰富的层次特征，提出了多尺度特征提取算法MFEB。MFEB的特殊性在于提取操作是在不同的特征通道中独立进行的。如图3所示，我们提出的MFEB执行四个渐进通道分割操作以获得多尺度信息，同时减少参数和计算。MFEN_S中有三次。每一步将输入特征按一定比例分为三个提取部分：低尺度、中尺度、高尺度的信息提取渠道。在验证实验中获得该分流比𝛼。
给定浅层特征提取模块的输出𝐹_{𝑠𝑎𝑙𝑙𝑜𝑤}，其被发送到第一分裂操作。这个过程可以描述为：在这里插入图片描述
最后，将得到的多尺度聚合特征送入1 × 1卷积层，保证块的输入和输出通道一致。最后，使用注意机制层，可以更好地抑制无用信息，以获得更好的结果：

其中A(⋅)表示挤压和激励（SE）块。𝐹_{𝑓𝑢𝑠𝑖𝑜𝑛} 分别𝐹_𝐵表示多尺度特征融合的结果和最终块的输出。

Feature fusion strategy

标准的特征融合方法直接将不同尺度的特征进行融合，称为直接特征融合(DFF)。一般来说，它往往导致充分信息的丢失和无效信息的重叠。同时，我们还考虑了组特征融合（GFF）方法，将相同尺度的特征作为同一组进行融合。该融合方法比DFF方法具有更好的融合效果。通过GFF，我们得到了三种不同的融合特征，这三种特征都不利于重建单幅图像。提出一种渐进特征融合（PFF）方法来有效地融合层次和多尺度特征。具体地，在第二分割操作之后，融合从第一分割和第二分割获得的相同比例的特征。然后，将结果与从第三分离获得的特征融合。以此类推，得到最终的融合特征。对于给定的不同尺度的提取特征𝐹_𝐿𝑛、𝐹_𝑀𝑛和𝐹_𝐻𝑛，融合过程可以在数学上写为：
在这里插入图片描述
其中𝐹_{𝐿𝑜𝑢𝑡}𝐹_{𝑀𝑜𝑢𝑡}，𝐹_{𝐻𝑜𝑢𝑡}分别表示不同尺度下的级联和信道混洗后的融合特征。下标t是MFEB中的第t次卷积运算（t = 2，3，…，T）。
最后的融合运算公式为：

其中𝐹_𝐵是最终融合结果，我们在MFEN中设置T等于4，在MFEN_S中设置T等于3。实验结果表明，PFF能够充分利用提取的特征信息。图4显示了不同的特异性融合策略。请添加图片描述