遥感图像中的变化检测是以有效的方式识别观测变化的最重要的技术选择之一。CD具有广泛的应用,如土地利用调查、城市规划、环境监测和灾害测绘。然而,频繁出现的类不平衡问题给变化检测应用带来了巨大的挑战。为了解决这个问题,我们开发了一种新的全局感知连体网络(GAS-Net),旨在通过结合场景和前景之间的关系来生成全局感知特征,以进行有效的变化检测。所提出的GAS-Net由全局注意力模块(GAM)和前景感知模块(FAM)组成,它们既学习上下文关系,又增强了场景和前景之间的共生关系学习。实验结果证明了所提出的GAS-Net的有效性和稳健性,在两个广泛使用的公共数据集,即Levir CD和Lebedev CD数据集上分别获得了91.21%和95.84%的F1分数。源代码位于https://github.com/xiaoxiangAQ/GAS-Net.
论文面对的问题
频繁发生的类不平衡问题给变化检测应用带来了巨大的挑战
变化和未改变区域之间的类别不平衡问题在训练过程中具有剧烈变化的梯度,有时会导致训练中断和模型表现不佳。
传统方法手工设计的特征的适应性差极大地限制了模型的性能。
如何利用高分辨率图像中的丰富信息并有效地提取特征仍然是一个挑战。
针对性提出的方法
提出了一种全局感知的连体网络(GAS-Net)用于遥感图像的CD任务。拟议的GAS-Net由关于全球关注和前景意识的全球意识模块组成。全局注意力模块 (GAM) 使用自注意力机制从上下文关系中显式地模拟有效信息。前景感知模块(FAM)通过全局感知来学习场景与前景之间的共生关系,以关联前景相关上下文,从而增强前景特征并减少误报。所提出的两个模块依托暹罗结构,相辅相成,进一步缓解了变化和不变的不平衡问题。
FAM结构
开发了一种新型的GAS-Net,以提高高分辨率遥感图像的CD性能。该网络通过利用全局注意力和前景意识的上下文关系来解决变化和不变的不平衡问题。
提出了GAS-Net中的全局注意力和前景意识模块。GAM考虑上下文关系,而FAM学习场景和前景之间的共生关系,以进一步增强前景特征。
增强前景感知,变化检测网络可以关联前景相关上下文,并将网络的焦点引导到前景区域,从而缓解不平衡问题。
BCE 损失对每个类别中的像素采用相等的权重,这限制了类不平衡分布的 CD 任务的性能。因此,加权 BCE 损失为已更改和未更改的像素分配具有不同权重。
为了优化所提出的GAS-Net,将加权BCE损失和Dice损失与权重参数相结合
在实际应用中,我们鼓励在处理不同的训练数据集和研究区域时深入探索最佳参数设置。我们也承认,我们的 FAM 结构可能不是前景增强的唯一途径,我们鼓励深入探索前景意识学习的不同架构。
Ruiqian Zhang面对频繁发生的类不平衡问题给变化检测应用带来了巨大的挑战。为了解决这个问题,开发了一种新型的全局感知连体网络(GAS-Net),旨在通过结合场景和前景之间的关系来生成全局感知特征,以实现高效的变化检测。所提出的GAS-Net由全局注意力模块(GAM)和前景感知模块(FAM)组成,既可以学习上下文关系,又可以增强场景和前景之间的共生关系学习。