Attention与轻量级ResNet融合，低资源消耗下实现效率和性能完美平衡

news2024/11/26 20:43:21

注意力机制通过让模型关注图像关键区域提升了识别精度，而轻量级残差网络通过减少参数和计算量，实现了在低资源消耗下的优秀性能。

结合注意力机制与轻量级残差网络，既能让模型能够更高效地关注输入数据中的关键信息，提升模型处理复杂模式的能力，还通过减少参数和计算复杂度，保持了模型的轻量级特性，达到在有限资源下同时保持高效率和高性能的目标。

目前，这种结合方法在多个任务中都表现出了显著的优势，这给我们提供了新的思路。为达到更好的性能和效率平衡，研究者们正在不断探索新的创新方案，我这次整理了9个最新的，已开源的代码附上了。

论文原文以及开源代码需要的同学看文末

方法：作者提出了一种新颖的网络架构，这种架构融合了轻量级残差和注意力机制，目的是解决现有图像去噪方法中由于网络深度过大而导致的计算负担问题。

创新点：

方法：本文提出了一种轻量级多尺度残差注意信息提取网络（MRA-IDN）用于处理遥感图像的超分辨率。该网络采用高频和低频分离重建策略来提取图像的高频和低频成分，并设计了新颖的多尺度残差注意信息提取组（MRA-IDG）模块来提取丰富的区域特征和高频信息。

创新点：

设计了一种高低频分离重建策略，通过双线性插值方法重建低频信息，通过卷积神经网络重建高频信息。这种策略既能提高高频信息的重建细节，又能保持模型参数较低，从而实现轻量级的远程感知图像超分辨率重建。
设计了一种新颖的多尺度残差注意力信息提取组（MRA-IDG），由多个残差卷积子块和高频通道感知注意力子块组成。这种结构能够提取不同感知域和高频信息的丰富区域特征，同时减少网络参数的数量，提高网络的表达能力。

方法：论文提出了一种新颖的具有高效Transformer的残差网络（RNET），用于轻量级单图像超分辨率。RNET在性能和模型参数之间取得了良好的平衡。具体而言，作者采用局部残差连接结构作为深度特征提取模块的骨干网络。

创新点：

提出了一种轻量级的Transformer网络（RNET）用于单图像超分辨率任务。RNET通过采用本地残差连接结构作为骨干网络，实现了性能和模型参数的良好平衡。
提出了一种局部特征提取模块，利用BSConv和两个高效的注意力模块，在超分辨率任务中展示了其有效性。通过使用BSConv替代传统的卷积操作，有效减少了计算负载。引入了高效的Transformer模块，增强了网络聚合上下文特征的能力，从而在恢复的图像中获得更丰富的纹理细节。

方法：本文提出了一种轻量级的船舶辐射噪声分类网络模型，称为LW-SEResNet10。通过模型设计，实现了分类模型的高准确性和高效率。该模型基于ResNet，通过减少残差单元的数量来实现轻量化。采用注意机制和ReLU6激活函数作为技术手段，用于抑制模型过拟合以提高模型的分类性能。

创新点：

提出了轻量级的Squeeze and Excitation残差网络模型LW-SEResNet10，旨在抑制过拟合并实现高精度和高效率的分类模型。
使用3D动态MFCC作为模型输入，通过一系列的特征提取步骤得到MFCC特征，优化了整体的分类系统。
通过使用深度卷积生成对抗网络(DCGAN)扩充训练集，解决了数据不足的问题，提高了分类效果。同时，通过结构设计、低秩分解和知识蒸馏等方法，研究了模型的计算效率和复杂度之间的权衡，提出了轻量级网络设计的方法。