传统视觉模型在处理大规模或高分辨率图像时存在一定限制。然而Mamba与CNN相结合,在处理序列数据和图像数据时有着显著的优势,并且能够有效提升模型计算效率和准确率。
这种结合可以让Mamba在处理长序列数据时既能够捕捉到序列中的时间依赖关系,又能够利用CNN的局部特征提取能力来加速处理过程。此外Mamba还避免了Transformer的二次计算复杂性,与CNN的结合在计算上更加高效,实现计算效率与模型性能的双赢。
作为24年AI顶会的新密码,Mamba+CNN的研究热度高涨,是非常有前景的研究方向!
为了让大家更好的掌握这个创新思路,然后运用到自己的文章中,我为大家整理了Mamba+CNN的研究论文!需要的同学扫码领取!
需要的同学添加公众号【沃的顶会】 回复 曼巴CNN 即可全部领取
CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation
文章解析
本文提出了CM-UNet,一种结合CNN与Mamba架构的混合UNet模型,用于遥感图像的高效语义分割。
CM-UNet通过CNN编码器提取多尺度特征,利用基于CSMamba的解码器集成全局信息,并通过多尺度注意力聚合和多输出监督进一步提升分割性能,在多个数据集上展现了优越性。
创新点
1.混合架构:结合CNN和Mamba的优势,提出CM-UNet框架,有效集成局部和全局信息进行遥感图像语义分割。
2.CSMamba块:创新性地引入通道和空间注意力到Mamba块中,提升特征交互和全局局部信息融合能力。
3.MSAA模块:设计多尺度注意力聚合模块,细化CNN编码器的输出特征,增强解码器性能。
需要的同学添加公众号【沃的顶会】 回复 曼巴CNN 即可全部领取
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
文章解析
本文提出了一种名为U-Mamba的新型网络架构,旨在解决生物医学图像分割中的长距离依赖性问题。
U-Mamba结合了卷积神经网络(CNN)和状态空间序列模型(SSM)的优势,构建了一个混合架构,能够高效地捕获图像的局部精细特征和长距离上下文信息。
创新点
1.混合CNN-SSM架构:U-Mamba创新性地结合了CNN的局部特征提取能力和SSM的长距离依赖建模能力,构建了一个既能捕捉精细特征又能理解全局上下文的分割网络。
2.自配置能力:U-Mamba具备自我配置的能力,能够无缝适应不同的数据集,增强了其在多种生物医学分割任务中的可扩展性和灵活性。
3.线性复杂度:与基于Transformer的架构相比,U-Mamba在特征尺寸上实现了线性缩放,避免了二次复杂度的问题,提高了计算效率。
需要的同学添加公众号【沃的顶会】 回复 曼巴CNN 即可全部领取
LKM-UNet: Large Kernel Vision Mamba UNet for Medical Image Segmentation
文章解析
本文提出了一种新的医疗图像分割模型——LKM-UNet,该模型基于Mamba架构,并引入了大型核(Kernel)以提升长距离依赖建模能力。
LKM-UNet特别针对2D和3D医疗图像分割任务设计,通过在大规模状态空间模型(SSM)中引入大型核,显著提高了模型的感受野,从而能够捕获更丰富的全局和局部特征信息。
创新点
1.大型核Mamba设计:LKM-UNet采用大型核Mamba块(LM块),通过分配大型窗口(或核)给SSM层,实现了大的感受野,从而增强了模型的空间建模能力。
2.双向Mamba结构:设计了一种双向Mamba结构,通过同时进行前向和后向扫描,提高了位置感知序列建模能力,减少了输入顺序对权重的影响。
3.层次化Mamba设计:提出了包含像素级SSM(PiM)和块级SSM(PaM)的层次化Mamba设计,分别处理局部邻域像素信息和长距离依赖关系。
需要的同学添加公众号【沃的顶会】 回复 曼巴CNN 即可全部领取