遥感领域新方向!Mamba+RS论文汇总!

news2025/1/12 8:53:58

本文总结了将Mamba应用至遥感领域的相关论文(14篇),涉及到的论文见文末链接,具体如下:

文章目录

    • 1. 遥感图像处理
    • 2. 多/高光谱图像分类
    • 3. 变化检测/语义分割
    • 4. 遥感图像融合/超分辨率

1. 遥感图像处理

  • 论文题目:Pan-Mamba: Effective pan-sharpening with State Space Model
  • 论文链接:https://arxiv.org/pdf/2402.12192

**【主要内容】:**将mamba应用到Pan-sharpening中提出Pan-Mamba,提出了两个核心模块:

  • Channel Swapping Mamba Block:通过部分全色和多光谱通道的交换启动轻量级的跨模态交互
  • Cross modality Mamba Block:通过利用固有的跨模态关系增强信息表示能力

  • 论文题目:HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising
  • 论文链接:https://arxiv.org/pdf/2404.09697

【主要内容】:将Mamba应用到高光谱成像(HSI)去噪中提出了HSIDMamba(HSDM),主要模块如上图所示:模块关系如下:

Spectral Attention ⊆ Bidirectional State Space Module ⊆ Hyper Continuous Scan Block

  • Spectral Attention:见图中©,由平均池化、二维卷积等组成的注意力模块
  • Bidirectional State Space Module:见图中(b),由DWConvSS2D等模块组成
  • Hyper Continuous Scan Block:将上面两个模块结合残差连接和transformer结构组成。

2. 多/高光谱图像分类

  • 论文题目:RSMamba: Remote Sensing Image Classification with State Space Model
  • 论文链接:https://arxiv.org/pdf/2403.19654

【主要内容】:将Mamba直接应用到遥感图像分类任务上,由于Mamba模型处理1D数据,而遥感图像往往至少2D,因此提出了一种动态多路径激活机制(Multi-Path SSM Encoder)来增强 Mamba 对非因果数据的建模能力。

  • **Multi-Path SSM Encoder:**总体上来看先用卷积提取遥感图像特征,flatten后加入position encoding。(有点类似于vit中的patch embedding

  • 论文题目:SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.08489

【主要内容】:将Mamba应用至高光谱图像分类中提出SpectralMamba。包括三个核心模块:

  • **Piece-wise Sequential Scanning(PSS):**沿光谱维度的分段顺序扫描(与空间维度相区分)
  • **Gated Spatial-Spectral Merging(GSSM):**用门控机制,把空间维度和光谱维度特征融合
  • **Efficient Selective State Space Modeling:**状态空间模型

根据Fig3具体流程如下:

  • 先把高光谱影像分块,得到patch wise input后通过卷积、残差连接等模块把空间维度的特征融合(图像分类,消除空间维度)
  • 经过PSS模块丰富通道信息,进而通过GSSM模块和S6模块融合特征
  • 最终通过一个MLP进行图像分类

  • 论文题目:Spectral-Spatial Mamba for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.18401

【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba(两个S分别表示Spectral和Spatial)。根据上图结构可知主要流程如下:

  • (1)把输入影像在Spectral和Spatial两个维度上分块,同时加上position encoding(类似于VIT中对图像进行patch embedding,针对的维度不同)
  • (2)将上述特征分别通过两个Mamba Block,利用Addition、Copy、Activation以及Linear Layer等操作进行特征融合。
  • (3)求平均后接一个Linear Classifier(例如MLP)

其中关键在于(1)分块和(2)特征融合


  • 论文题目:S2Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.18213

【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba。由图中Main Framework可知,主要有三个模块:

  • PCS(Patch Cross Scanning Mechanism):通道扫描、生成patch embedding,得到空间维度特征
  • BSS(Bi-directional Spectral Scanning Mechanism):生成路径,匹配光谱,得到光谱维度特征
  • SMG(Spatial-spectral Mixture Gate):利用门控机制融合两种特征

3. 变化检测/语义分割

  • 论文题目:ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.03425

【主要内容】:将Mamba用于遥感图像变化检测,提出ChangeMamba,为三个变化检测任务提供了丰富的编码器和解码器。模型架构图有点类似于Swin Transformer的4个Stage,充分贯彻多尺度特征融合,工作量饱满,建议阅读原文。


  • 论文题目:RSCaMa: Remote Sensing Image Change Captioning with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.18895

【主要内容】:将Mamba用于遥感图像变化检测,提出RSCaMa。模型通过多个CaMa层实现了高效的联合空间-时间建模,其中CaMa层中包含SD-SSM和TT-SSM。利用Mamba状态空间模型的全局感知场和线性复杂度对空间、时间特征交叉建模

  • SD-SSM:Spatial Difference-aware:空间维度上建模
  • TT-SSM:Temporal-Traversing:时间维度上建模

  • 论文题目:Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.01705

【主要内容】:将Mamba应用至高分辨率遥感图像分割领域,提出Samba。由图可知主要创新在于Samba Block

  • Samba Block:由一个MLP和一个Mamba Block,并各自采用残差连接组成。
  • Mamba Block:由SSM和Conv、Linear等模块组成。

  • 论文题目:RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation
  • 论文链接:https://arxiv.org/pdf/2404.02457

【主要内容】:将Mamba用于遥感图像变化检测,提出RS3Mamba。由图可知模型采用一个Main Encoder和一个Auxiliary Encoder,Decoder采用UNetformer中的解码器。主要创新点在于Auxiliary Encoder中的VSS block和Main Encoder中的CCM

  • VSS block:常规的Linear、LayerNorm以及SS2D(2D-selective-scan)
  • CCM:用Window-based attention提取全局注意力特征,用卷积提取局部注意力特征,然后将两者融合。

  • 论文题目:RS-Mamba for Large Remote Sensing Image Dense Prediction
  • 论文链接:https://arxiv.org/pdf/2404.02668

【主要内容】:将Mamba应用至遥感图像分割和变化检测中,提出RSM-SS和RSM-CD。由图可知主要为包含OSSM的OSS Block

  • OSSM:将图像分块后按照8个方向排序,分别送入SSM Block提取特征然后融合
  • OSS Block:OSSM 联合 DW卷积、Linear等模块一起组成OSS Block

4. 遥感图像融合/超分辨率

  • 论文题目:FusionMamba: Efficient Image Fusion with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.07932

【主要内容】:将Mamba应用于遥感图像融合中,提出U形结构的 spatial U-Netspectral U-Net。由图可知,其中主要用到的模块是Mamba Block和FusionMamba Block

  • Mamba Block:并联多个SSM处理特征,同样经过一个残差连接融合特征
  • FusionMamba Block:两个并行的多FSSM处理特征,其中FSSM是将SSM扩展适应双输入。

  • 论文题目:A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion
  • 论文链接:https://arxiv.org/pdf/2404.09293

【主要内容】:图像融合任务定制和改进了视觉Mamba网络。由图可知主要是LEVM模块(Local-Enhanced vision Mamba),具体如下

  • a):用local window将影像分块,每一个块内采用VMamba模块,同时块间共享信息
  • b):常规SS2D、Linear、FFN等模块组成VMamba
  • c):将window内的局部信息和window间融合的全局信息串联+残差连接,构成LEVM block
  • d):将低、高分辨率影像分别通过多个LEVM Layer处理,结构类似于Unet

  • 论文题目:Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution
  • 论文链接:https://arxiv.org/pdf/2405.04964

【主要内容】:将Mamba应用至遥感图像(RSI)超分辨率(SR)中提出FMSR(频率辅助Mamba框架)。主要提出FMB模块,其中包含VSSM、HGM、FSM三个重要部分

  • VSSM:Vision State Space Module,基于SSM搭建的视觉SSM模块
  • HGM:Hybrid Gate Module,基于Attention,Linear,Conv等搭建的门控模块
  • FSM:Frequency Selection Module,基于2D快速傅里叶变换搭建的模块

近期将Mamba应用至遥感领域中的工作很多,做一点小结:

  • 遥感图像离不开多尺度,高光谱离不开通道维度上的特征处理
  • 把二维图像以某种形式转为一维序列让SSM来处理,很多工作都在扫描方式上进行了改进
  • 感觉Swin Transformer的窗口思路和Unet的结构在搭模型的时候要使用
  • 变化检测更多是2个时相,如果是多个时相的变化检测会不会可以更好的变换序列特征

论文pdf链接:https://pan.baidu.com/s/1rFn6pxTC5srOzmpeznyDag
提取码:o6aw

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1959558.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AWD神器—watchbird后台rce挖掘

简介 在传统的AWD攻防中,Waf扮演着重要的角色,Watchbird作为一款专门为AWD而生的PHP防火墙,具有部署简单,功能强大等特点,一出世便受到了广大CTFer的喜爱,目前在GitHub上已有600多star。本篇则详细介绍如果…

传输层UDP协议

传输层UDP协议 1. 再谈端口号2. UDP协议1.1 UDP协议字段1.2 将报头和数据进行分离 3. UDP的特点 1. 再谈端口号 端口号(Port)标识了一个主机上进行通信的不同的应用程序; 在 TCP/IP 协议中, 用 “源 IP”, “源端口号”, “目的 IP”, “目的端口号”, “协议号” 这样一个五元…

AI大模型评测方法总结!

大语言模型评测对应用和后续发展至关重要,其评测范式包括经典和新型两种。经典评测范式涵盖自然语言理解和生成任务,本文介绍了流行的经典评测基准及新型评测范式下的代表性基准和实例,并总结了现有评测的不足。随后,文章提出了全…

不入耳耳机和入耳耳机哪个好?四款不入耳蓝牙耳机推荐指南

那当然是不入耳耳机好啦,那先讲讲入耳和不入耳的区别: 佩戴舒适度: 入耳蓝牙耳机是直接插入耳道,所以同时也会堵塞耳道长期积攒耳垢、造成耳道不适。 不入耳蓝牙耳机则通常设计为耳挂式或耳廓式,挂在耳朵外部能保持…

antd pro实现后台管理系统的建立(一)

一、初始化项目 1、全局安装pro-cli初始化脚手架 # 使用 npm或者cnpm或tyarn npm i ant-design/pro-cli -g这里建议使用npm或者tyarn,cnpm和npm部分不兼容,创建项目时会报部分依赖缺失的问题 2、创建项目pro create myapp pro create myappsimple 是基…

本地部署 Llama 3.1:Ollama、OpenWeb UI 和 Spring AI 的综合指南

、 本文介绍如何使用 Ollama 在本地部署 Llama 3.1:8B 模型,并通过 OpenWeb UI 和 Spring AI 来增强模型交互体验和简化 API 的调用过程。 Ollama Ollama 是一个开源的大语言模型服务工具,旨在简化大模型的本地部署和运行过程。用户只需要输入一行命令&…

学习008-02-04-03 Group List View Data(组列表查看数据)

Group List View Data(组列表查看数据) This lesson explains how to group the Employee List View data by department and position. 本课介绍如何按部门和职位对员工列表视图数据进行分组。 Note Before you proceed, take a moment to review the …

从零开始使用YOLOv8——环境配置与极简指令(CLI)操作:1篇文章解决—直接使用:模型部署 and 自建数据集:训练微调

目录 一、Yolov8源码下载 二、虚拟环境创建与必要包的安装 1.虚拟环境 2.Pytorch安装 3.Ultralytics安装 3.环境测试 三、简单命令行指令(CLI)使用 1.模型配置(关键指令)——cfg (1)选择任务场景——ta…

收藏丨企业官网一般选择什么类型的SSL证书比较好?

企业官网在选择SSL证书时,应综合考虑网站的安全性需求、用户信任度、成本效益以及管理便捷性等因素。一般来说,企业官网比较适合选择以下几种类型的SSL证书: 1. 企业型SSL证书(Organization Validated, OV) 特点&…

初识MyBati s

J D B C 编 程 和 O R M 模 型 加 载 驱 动 导 入 J D B C 连 接 数 据 库 的 j a r 包 , 利 用 C L A S S . f o r N a m e 加 载 驱 动 ; 获 取 连 接 利 用 D r i v e r M a n a g e r 获 取 C o n n e c t i o n , 然 后 创 建 S t a t e…

生成式人工智能的第一课,揭开她那神奇的面纱

一、人工智能(Artificial Intelligence) 从1940年代开始,科学家们在数学推理的基础上发明了可编程数字计算机,这一突破激发了他们对创建“电子大脑”的探索热情,为后续的人工智能发展奠定了坚实的基础。1956年&#x…

2024西安铁一中集训DAY23 ---- 模拟赛(类括号匹配dp + baka‘s trick 优化双指针 + 组合数学/高斯消元 + 图上性质题)

文章目录 前言时间安排及成绩题解A. 稻田灌溉(类括号匹配dp)B. 最长模区间(bakas trick 优化双指针)C. 三只小猪和狼(组合数学,高斯消元)D. 黑色连通块 前言 感觉是开始集训以来最难的一场了&a…

睿考网:中级会计师和注册会计师哪个难?

中级会计师和注册会计师两个资格证书对比下来,后者具有更高的挑战性,主要原因有以下几点: 1. 考试科目和内容: 注册会计师考试包含专业阶段与综合阶段,共涉及六个科目,考察的内容覆盖范围更广泛&#xff…

最新Yiso智云搜索引擎系统源码/开源PHP源码/修复版

源码简介: 最新Yiso智云搜索引擎系统源码/开源PHP源码/修复版。Yiso 是一个性能非常好的搜索引擎,不仅免费开源,还能当作收录网址的平台来用呢!只需要输入关键词,就能轻松找到相关的搜索结果内容。 1、Yiso 用的是自…

脚本: 监控Oracle数据库中正在运行的SQL(Oracle DBA的工作利器)

英文原文网址:[Script: Monitoring Running SQL in Oracle Database in Real Time] (https://byte-way.com/2024/07/24/script-monitoring-running-sql-in-oracle-database-in-real-time/) 以下SQL查询活动会话及其正在执行的SQL语句的信息,并提供有关其…

生成式AI 未来发展的两大要素:数据和开发者

这一年来,生成式 AI 领域的发展可谓日新月异。大语言模型 (LLM) 已经从学术研究圈的新宠,变成了开发者、产品经理、IT 决策者、高管等所有人都密切关注和亲身参与的重要课题。 一年间,这类问题在新闻报道、技术大会、开发者闲聊、同事讨论、…

【Dash】Hello World

一、最简单的 Dash Building and launching an app with Dash can be done with just 5 lines of code. Open a Python IDE on your computer, create an app.py file with the code below and install Dash if you havent done so already. To launch the app, type into yo…

DBeaver如何连接本地的mysql服务

要使用 DBeaver 连接本地的 MySQL 服务,可以按照以下步骤进行设置: 1. 下载和安装 DBeaver 首先确保已经下载并安装了 DBeaver。你可以从官方网站 DBeaver 官网 下载适用于 macOS 的安装包,并按照提示安装。 2. 打开 DBeaver 并添加新的数…

Python编程的思维导图

创建一个Python编程的思维导图是一个很好的方式来组织和理解Python编程的核心概念、语法、库和应用领域。下面是一个简化的Python编程思维导图的概要,可以根据需要进行扩展或修改: Python编程 ├── 基础概念 │ ├── 变量与数据类型 │ │…

基于 YOLO V10 Fine-Tuning 训练自定义的目标检测模型

一、YOLO V10 在本专栏的前面几篇文章中,我们使用 ultralytics 公司开源发布的 YOLO-V8 模型,分别 Fine-Tuning 实验了 目标检测、关键点检测、分类 任务,实验后发现效果都非常的不错,但它已经不是最强的了。最新的 YOLO-V10 已经…