遥感影像变化检测新方法：MLDANets

news2024/12/29 10:40:16

来源：投稿作者：xin

编辑：学姐

论文标题：
Multilevel Deformable Attention-Aggregated Networks for Change Detection in Bitemporal Remote Sensing Imagery

Motivation

本文指出:

（1）当前基于自注意力（Self-attention, SA）的变化检测方法只处理了单一特征层级的长期依赖，而忽略了跨多个特征级别的上下文依赖关系。所以模型不能充分的利用多尺度上下文信息而限制模型性能;

（2）此外提取全局依赖信息通常会有很高的计算复杂度。为了缓解上述问题，论文提出了多级可变形注意聚合网络(MLDANets)。

Method:

MLDANets的框架如下图所示，下面从特征提取、特征变换、多层变化感知变形注意力（MCDA Model）、解码器几方面进行介绍。

特征提取：在特征提取阶段，使用共享权重的VGG-16作为backbone提取多时相遥感图像特征，提取出各个层级对应的特征分别为，然后将对应层级的特征在channel维度拼接起来，得到合并后的双时相特征。

特征变换：在获取到拼接后的双时相特征后，为了将其输入到MCDA模块对特征进行了变换。首先使用1*1 的conv将多层次的双时相特征的通道变换到同一维度，然后将其摊平得到变换后的特征。操作过程如公式（1）所示：

接着，将得到不同尺度的变换特征进行堆叠，得到包含不同层次信息的双时相超特征（bitemporal deep feature hyperse-quence，BDFH）。

MCDA Model:

MCDA模块将 $\beta$ 作为输入，对特征进行参考系内归一化、位置编码、可变形采样、以及注意力特征聚合操作。下面将介绍具体操作。

坐标系内特征归一化： 为了规范多层特征中像素的位置，论文使用笛卡尔坐标系和参考点建立了参考系。参考系将二维图像空间划分为各个网格，然后使用公式（2）的方法进行归一化，确定图像中第z个像素的位置。

位置编码： 为了将空间信息注入到BDFH中并且确保每个查询特征（Query）都有唯一的一个位置向量，故对BDFH使用正弦函数、余弦函数进行了空间编码，其计算公式如下：

可变形采样： 受到可变形卷积启发，引入可变形采样策略，使得使MCDA模块根据每个查询元素的参考位置，逐步聚焦于一组包含信息特征的特定关键空间采样位置。给定查询元素，通过线性映射 $F_{\theta{P}}$ 学习采样偏移量 $\Delta{p_z}$ 。接着通过 $p_z+\Delta{p_z}$ 便可得到最终的采样位置。将BDFH $\rho$ 通过线性变换 $F_{\theta{V}}$ 得到投影特征值V，接着利用类似于可变形卷积双线性差值的方式计算采样特征值。