当CNN遇上Mamba，高性能与高效率通通拿下！

news2024/9/22 19:28:44

传统视觉模型在处理大规模或高分辨率图像时存在一定限制，为解决这个问题，研究者们就最近依旧火热的Mamba，提出了Mamba结合CNN的策略。

这种结合可以让Mamba在处理长序列数据时既能够捕捉到序列中的时间依赖关系，又能够利用CNN的局部特征提取能力来加速处理过程，实现计算效率与模型性能的双赢，因此被广泛应用于各大领域。

比如在医学图像分割领域的应用中，Weak-Mamba-UNet等网络架构通过结合两者优势，有效地解决了医学图像中复杂的结构和模式识别问题，准确率高达99.63%。

另外还有HC-Mamba、InsectMamba等，都是最新提出的效果nice的结合成果。为帮助大家快速了解并掌握前沿，我挑选并整理了2024新发表的9篇Mamba+CNN高质量工作，可参考的创新点都提炼好了，开源代码已附。

论文原文+开源代码需要的同学看文末

HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

方法：论文提出了新型医学图像分割模型HC-Mamba。HC-Mamba基于Mamba结合了多种为医学图像优化的卷积技术，包括扩张卷积和深度可分离卷积。这些技术的结合使得HC-Mamba能够在保持高性能的同时，以更低的计算成本处理大规模医学图像数据。

HC-Mamba模型在医学图像分割任务中表现出色，实验结果显示其具有高准确率(94.84%)、mIoU(80.72%)和DSC(89.26%)的有效性，证明了其在医学图像分割领域的有效性和实用性。

创新点：

提出了一种用于医学图像分割的混合卷积 Mamba 模型（HC Mamba），它结合了多种针对医学图像优化的卷积方法，以提高模型的感受野并减少模型的参数。
引入了 HC-Mamba 模型中的扩张卷积技术，让模型能够在不增加计算成本的情况下捕捉更广泛的上下文信息，通过扩展卷积核的感知域来增强模型对不同尺度图像结构的感知能力。

InsectMamba: Insect Pest Classification with State Space Model

方法：论文介绍了一个名为InsectMamba的新型方法，它结合了SSMs、CNNs、多头自注意力机制以及MLPs。InsectMamba通过在Mix-SSM块中整合这些不同的视觉编码策略，来提取更全面的视觉特征，用于昆虫害虫分类任务。论文还提出了一个选择性模块，用于自适应地聚合不同编码策略中的特征，增强模型识别害虫特征的能力。

创新点：

首次尝试将基于SSM的模型应用于昆虫害虫分类，提出了InsectMamba模型。
提出了一种选择性聚合模块，可以自适应地组合来自不同编码策略的视觉特征，从而使模型能够选择用于分类的相关特征。
实验结果显示，InsectMamba在准确率、精确度、召回率和F1分数等评价指标上均优于现有模型，特别是在农业害虫数据集上达到了91%的准确率。

Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

方法：论文介绍了一个名为Weak-Mamba-UNet的新型弱监督学习框架，它结合了CNN、ViT以及最新的视觉Mamba架构，用于基于涂鸦（scribble-based）注释的医学图像分割。其在公开可用的MRI心脏分割数据集上表现出色，Dice系数达到0.9171，准确率达到0.9963。

创新点：

Weak-Mamba-UNet是一种创新的弱监督学习框架，通过结合CNN、ViT和VMamba的特征学习能力，显著降低了注释所需的成本和资源。
该框架采用多视角交叉监督学习方法，增强了不同网络架构的适应性，使它们能够相互受益。

Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention

方法：论文介绍了一个名为LMa-UNet的新型网络结构，用于2D和3D医学图像分割。LMa-UNet利用了Mamba进行长距离依赖建模，并且结合了大窗口的优势，以实现局部空间建模和全局建模的高效性。论文中还设计了一种新颖的分层和双向Mamba块（LM块），以进一步增强Mamba在全局和邻域空间建模能力。