SAM遥感图像处理开源新SOTA！在GPU上实现40倍加速，不损准确性

news2024/10/6 20:36:00

在遥感图像处理领域，通过SAM捕捉复杂图像特征和细微差异，可以实现高精度的图像分割，提升遥感数据的处理效率。这种高度的准确性让SAM+遥感展现出了比传统方法更优越的性能。

不仅如此，这种策略灵活普适的特性还能拓展遥感技术的应用领域，因此具有很大的创新潜力。对论文er来说，是个发论文的前沿好方向。最近发布于CVPRW24的SAM-Road模型证明了这点。

SAM-Road 模型发挥了SAM模型的能力，结合了语义分割和图神经网络，在城市数据集上的处理速度比现有最先进的方法快 40 倍。

除SAM-Road外，还有一些很值得学习的SAM+遥感最新成果，我从中挑选了9篇，简单提炼了可参考的创新点，希望可以给同学们提供论文灵感。

论文原文以及开源代码需要的同学看文末

Segment Anything Model for Road Network Graph Extraction

方法：研究提出了SAM-Road模型，该模型结合了分割和图形方法的优势，能够高效准确地生成大规模道路网络图，并在城市规模和SpaceNet基准测试中取得了与现有方法相当的准确性。SAM-Road模型不仅具有较高的准确性，而且在GPU推理速度上也比现有方法快得多，具有很高的实际应用价值和研究意义。

创新点：

提出了SAM-Road模型，将Segment Anything Model (SAM) 应用于从卫星图像中提取大规模、矢量化的道路网络图。
将图形几何预测任务转化为密集语义分割任务，利用SAM的优势进行预测。
设计了基于Transformer的轻量级图神经网络，利用SAM的图像嵌入来估计顶点之间的边存在概率。

SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints

方法：本文介绍了一种用于遥感图像语义分割的简单而灵活的框架，通过充分利用SAM的原始输出与通用遥感图像语义分割模型相结合。该框架通过利用两个损失函数——对象一致性损失和边界保护损失，以及SAM的原始输出，实现了不同网络结构的基本语义分割任务的改进。

创新点：

提出了一种简单而通用的框架，旨在充分利用SAM的原始输出与通用的遥感图像语义分割模型相结合。该框架通过利用两个损失函数（对象一致性损失和边界保持损失）的辅助优化策略，改进了基本的语义分割任务，并且不需要额外的模块。
引入了对象一致性损失，该损失函数可以直接利用SGO的信息，而无需语义信息，以达到精确语义分割结果的目的。这是首次将对象和边界约束引入语义分割任务中，直接利用SAM的原始输出而无需额外的类别提示。

RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model

方法：本研究提出了RSPrompter方法，通过学习生成与语义类别相关的提示，使SAM能够在遥感图像中产生语义明确的分割结果。RSPrompter方法包括一个轻量级的多尺度特征增强器和一个基于锚点的提示生成器。多尺度特征增强器从SAM的ViT骨干网络提取特征，并生成多尺度的特征图。基于锚点的提示生成器利用锚点区域建议网络（RPN）生成候选目标框，并通过语义头、定位头和提示头生成适用于SAM的提示嵌入。

创新点：

RSPrompter是一种学习提示的方法，用于远程感知图像的实例分割。
RSPrompter结合了SAM模型，通过生成语义相关的提示嵌入来增强SAM模型的实例分割能力。
RSPrompter分为基于锚点和基于查询的两种实现方式，它们都能有效地提高实例分割的性能。

GeoSAM: Fine-tuning SAM with Sparse and Dense Visual Prompting for Automated Segmentation of Mobility Infrastructure

方法：本文介绍了一种针对地理图像的自动化移动基础设施分割方法GeoSAM。该方法采用SAM模型作为基础模型，并通过精细调整和提示来对SAM进行改进，以适用于地理图像的分割任务。研究通过自动生成稀疏和密集提示的自动化流程，提高了SAM在移动基础设施分割任务上的准确性和效率。

创新点：

首次将基础模型SAM应用于移动基础设施细分，解决了使用地理图像进行多类别细分的问题，无需人工干预，克服了零样本SAM的局限性。
开发了SAM在地理图像中的微调和提示，通过利用稀疏和密集提示从领域特定知识中增强SAM的能力。
设计和实施了一个新颖的自动化流程，用于从零样本学习生成密集提示和从预训练的CNN编码器生成稀疏提示，以提高SAM在性能低下的移动基础设施细分任务上的效果和效率。