深度学习论文: Efficient Modulation for Vision Networks
Efficient Modulation for Vision Networks
PDF:https://arxiv.org/pdf/2403.19963
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

本文提出高效调制，一种新颖的高效视觉网络设计。重新审视调制机制，通过卷积上下文建模和特征投影层处理输入，融合特征时采用逐元素乘法与MLP块。实验表明，调制机制适合高效网络，通过高效调制（EfficientMod）块定制设计，成为网络的基本构建块。该设计在精度与效率间实现良好权衡，刷新高效网络性能。结合基本自注意力块，性能进一步提升且效率不变。实验验证EfficientMod性能卓越，参数更少情况下，相比EfficientFormerV2-s2，准确率提升0.6%（top-1），GPU速度快25%；与MobileViTv2-1.0相比，在相同GPU延迟下，性能高出2.9%。此外，在下游任务中表现显著，ADE20K基准测试中mIoU指标高出EfficientFormerV2-s 3.6%。

2 EfficientMod

2-1 Modulation Mechanism

最近的研究显示，纯卷积网络在性能上可与自注意力机制相媲美。FocalNet和VAN因其高计算效率和易实现性而受到关注，性能优于ViT模型。这些方法通常使用大核心卷积进行上下文建模，并通过逐元素乘法调整特征投影，随后是MLP块，这被称为调制机制，它结合了卷积的效率和自注意力的动态性。

调制机制 Modulation Mechanism 可以表示为：

其中 VAN采用卷积注意力设计，通过全连接层将输入特征投影到新空间，然后通过两个分支处理：一个提取上下文信息，另一个保持映射不变。通过逐元素乘法融合特征，再通过线性投影。即

FocalNets引入了Focal调制，通过并行分支设计，一个分支聚合上下文信息，另一个分支进行线性投影，然后融合特征。即

然而，调制机制在计算资源受限时存在推理速度慢的问题，主要原因包括冗余操作和上下文建模分支中的碎片化操作，这增加了延迟。

为了解决这些问题，提出了高效调制（Efficient Modulation），它作为高效模型的基础构建块，针对移动网络的效率需求进行优化。简化了调制设计，将MLP和调制块中的全连接层融合，同时简化了上下文建模分支，使用单一的大内核深度卷积来平衡效率和大感受野。这种设计在保持调制机制优势的同时，提高了网络的效率。

与Transformer块相比，高效调制块的计算复杂度与图像尺寸成线性关系，强调大规模局部特征交互，而Transformer则与标记数量的立方相关，直接计算全局交互。与MBConv块相比，高效调制块使用更少的通道进行深度卷积，并融入了动态特性。

2-2 Network Architecture

EfficientMod采用了分阶段的架构，每个阶段包含多个EfficientMod模块，并通过残差连接进行连接。为了降低特征维度，使用重叠的图像块嵌入进行下采样，逐步将特征尺寸减少。每个模块在处理前会先进行层归一化，然后输入到EfficientMod进行进一步处理。模型还采用了随机深度和层缩放技术来增强鲁棒性。

EfficientMod模块与自注意力机制是互补的，可以结合使用形成混合设计。在最后两个阶段引入原始的注意力模块，同时根据EfficientMod模块的参数调整宽度和深度，以确保公平比较。设计了三种不同规模的混合结构，参数量从4M到13M不等，分别命名为EfficientMod-xxs、EfficientMod-xs和EfficientMod-s。

3 Experiments