2024王炸组合！基于Mamba的遥感图像处理引爆顶会！

news2024/11/23 16:40:40

对比传统方法，基于Mamba的遥感图像处理在计算效率和分析精度方面遥遥领先，Mamba+遥感也成为了论文研究的新方向。

具体来说，在融合高分辨率的空间图像和低分辨率的光谱图像获取综合信息方面，Mamba可以提升性能，同时保持数据处理的效率。在降维、去噪、特征提取和大规模数据集处理等方面，Mamba通过优化计算资源使用，提高遥感数据分析的准确性和速度。

以北京航空航天大学发布RSMamba为例：

RSMamba是一种用于遥感图像分类的高效状态空间模型，它基于Mamba，并引入了动态多路径激活机制以提升性能，能够有效地捕捉遥感图像中的全局依赖关系，具有广泛的应用潜力。

RSMamba模型在不同版本下展现了优异的性能，在UC Merced数据集上，RSMamba-H（巨大版）达到了95.47%的准确率。

本文分享2024最新11种Mamba+遥感创新方案，代码已开源，论文可参考创新点做了简单分析，具体工作细节可阅读原文。

论文原文以及开源代码需要的同学看文末

Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model

方法：论文介绍了Samba，这是一种新颖的语义分割框架，构建在Mamba之上，专门用于高分辨率遥感图像的分割，标志着Mamba首次在该领域中的应用。

创新点：

提出了Samba架构，首次将Mamba架构引入到遥感图像分割中。Samba架构利用了Mamba的编码器-解码器结构，通过Samba块作为编码器来高效提取多层次的语义信息，并通过UperNet作为解码器进行逐步上采样以产生分割结果。
Samba在常用的遥感数据集上实现了卓越的性能，成为Mamba架构在这一特定应用中性能的新基准。
由于Mamba架构在处理长序列方面表现优异，因此在多通道数据（如高光谱数据）的语义分割中应用Mamba架构是有价值的探索方向之一。

RS-Mamba for Large Remote Sensing Image Dense Prediction

方法：论文提出了一种基于状态空间模型的Remote Sensing Mamba（RSM）方法。该方法利用SSM的全局建模能力和线性复杂度，可以处理大尺寸VHR遥感图像，提取全局上下文信息。同时，引入全方向选择性扫描模块OSSM，可以从多个方向提取大尺寸空间特征，有效完成密集预测任务。

创新点：

RSM用于处理极高分辨率（VHR）遥感图像中的密集预测任务。
RSM利用具有线性复杂度的状态空间模型（SSM）来处理大型VHR遥感图像，无需进行图像块分割。
RSM整合了全方向选择性扫描模块（OSSM），以从多个方向提取VHR遥感图像中的大型空间特征。
RSM在语义分割和变化检测任务中实现了最先进的性能，超越了基于CNN的模型和基于Transformer的模型。

Pan-Mamba: Effective pan-sharpening with State Space Model

方法：论文引入了一种新颖的全色锐化网络Pan Mamba，通过借鉴状态空间模型的思想。该网络包含了Mamba块、通道交换Mamba块和跨模态Mamba块，实现了高效的全局特征提取和跨模态信息交换。

创新点：

首次尝试将Mamba模型引入到全色增强领域，并提出了一种新颖的全色增强网络。这种方法有助于有效的远程信息建模和跨模态信息交互。
定制了通道交换Mamba块和跨模态Mamba块，实现了跨模态信息的有效交换和融合。

RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation

方法：论文介绍了一种新的遥感图像语义分割网络RS3Mamba，用于解决卷积神经网络（CNNs）和Transformer在遥感图像语义分割中存在的一些问题。CNNs在长距离建模能力不足，而Transformer的计算复杂度较高。该研究利用Visual State Space（VSS）模型构建了一个辅助分支，通过Collaborative Completion Module（CCM）增强并融合来自双编码器的特征。

创新点：

引入VSS辅助分支：通过使用VSS块构建辅助分支，RS3Mamba将全局信息引入到基于卷积的主分支中，从而提供额外的全局感知信息。
引入协同补全模块（CCM）：考虑到主分支和辅助分支的不同特点，作者引入了CCM模块来增强和融合双编码器的特征。CCM模块能够从全局和局部的角度分别增强特征，然后通过逐元素相加进行融合。