多尺度注意力机制突破性成果！低成本、高性能兼备

news2025/2/24 8:27:25

与传统的注意力机制相比，多尺度注意力机制引入了多个尺度的注意力权重，让模型能够更好地理解和处理复杂数据。

这种机制通过在不同尺度上捕捉输入数据的特征，让模型同时关注局部细节和全局结构，以提高对细节和上下文信息的理解，达到提升模型的表达能力、泛化性、鲁棒性和定位精度，优化资源使用效率的效果。

比如发表于TMM2023的MSDA模块，同时考虑了浅层自注意机制的局部性和稀疏性，可以有效地聚合语义多尺度信息，仅用70%更少的FLOPs就媲美现有SOTA。

为方便各位理解和运用，今天分享17种多尺度注意力创新方案，原文和开源代码都有。论文可参考创新点做了简单提炼，具体工作细节可阅读原文。

论文原文以及开源代码需要的同学看文末

EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction

方法：论文研究了高分辨率密集预测的高效架构设计。我们引入了一个轻量级的多尺度注意力模块，通过轻量级和硬件高效的操作实现了全局感受野和多尺度学习，从而在各种硬件设备上显著加速而不损失性能。

创新点：

通过引入轻量级多尺度注意力模块，实现了全局感受野和多尺度学习，提供了在各种硬件设备上显著加速高分辨率密集预测模型的能力。
首次成功将ReLU线性注意力应用于高分辨率密集预测，实现了全局感受野，并通过轻量级操作提高了效率。

Efficient Multi-Scale Attention Module with Cross-Spatial Learning

方法：论文提出了一种将其结合到卷积神经网络中的方法。研究发现，通过避免一些形式的降维，可以使CNN同时具有良好的泛化能力和计算资源效率。作者提出的EMA模块具有灵活且轻量级的特点，可以方便地应用于不同的计算机视觉任务，并取得最佳性能。此外，EMA还可以堆叠到其他深度CNN结构中，显著提高特征表示能力。

创新点：

提出了一种新的多尺度注意力机制（EMA模块），通过将部分通道维度重新排列到批处理维度中，避免了维度缩减，从而增强了特征表示能力。
EMA模块采用平行子网络块的方式，能够有效捕捉跨维度交互和建立维度间的依赖关系。
在多个计算机视觉任务中，将EMA模块集成到标准网络架构中，如ResNet50/101和MobileNetV2，能够显著提升性能和效率。

LENet: Lightweight And Efficient LiDAR Semantic Segmentation Using Multi-Scale Convolution Attention

方法：本文提出了一种轻量级和高效的基于LiDAR的语义分割网络LENet，利用投影方法进行语义分割。作者开发了一种新颖的多尺度卷积注意力模块（MSCA）来替换编码器中的ResNet块，并通过使用不同的卷积核大小，MSCA能够捕捉关键信息。通过对SemanticKITTI验证集上的多个消融实验的结果进行比较，我们的LENet方法相比基准方法提高了4.8%的准确性，并减少了25%的参数。

创新点：

提出了一种新颖的多尺度卷积注意力模块（MSCA），用于替代编码器中的ResNet块。MSCA通过使用不同的卷积核大小来捕捉关键信息，从而提高了网络的性能和准确性。
提出了一种轻量级的解码器结构，使用了IAC模块。IAC模块包含上采样特征图的双线性插值和3×3卷积，以及对来自编码器和先前IAC的信息进行融合的点卷积。
在网络中使用辅助分割头进一步提高网络的准确性。辅助分割头与主要损失函数一起计算加权损失，并且不同维度的特征图具有不同的表达能力，因此每个损失函数都有相应的权重。

Multi-scale Attention Network for Single Image Super-Resolution

方法：本文提出了一种多尺度注意力网络（MAN），用于多复杂度下的超分辨率。MAN采用变压器风格的块以更好地建模表示。为了在各种区域之间有效灵活地建立长距离关联，作者开发了多尺度大内核注意力（MLKA），它结合了大内核分解和多尺度机制。此外，作者提出了一个简化的前馈网络（GSAU），它集成了门机制和空间注意力，以激活局部信息并减少模型复杂性。

创新点：

提出了多尺度注意力块（MAB）。与许多RCAN风格的块相比，所提出的块将MetaFormer风格的功能性纳入其中，以实现有希望的特征提取结果。
提出了多尺度大内核注意力（MLKA）。通过MLKA，我们修改了大内核注意力，采用多尺度和门控机制，以在不同粒度级别获得丰富的注意力图，从而聚合全局和局部信息，避免潜在的块状伪影。
整合了门控机制和空间注意力，提出了简化的前馈网络（GSAU），以激活局部信息并降低模型复杂性。