【混合网络】

A Novel Adaptive Hybrid Fusion Network for Multiresolution Remote Sensing Images Classificatio

（一种新的自适应混合融合网络在多分辨率遥感图像分类中的应用）

随着对地观测技术的快速发展，全色（PAN）和多光谱（MS）图像的获取也越来越容易。PAN和MS图像的多分辨率分类作为MS图像分析的一项基本任务已成为研究热点。该领域的主要挑战是如何有效地处理数据和提取特征以提高分类精度。设计了一种新的自适应混合融合网络（AHF-Net）用于多分辨率遥感图像分类。它包括两个部分：数据融合和特征融合。在数据融合部分，提出了一种自适应加权亮度-色调-饱和度（adaptive weighted intensity-hue-saturation (AWIHS)）的融合策略，从信息共享的角度，通过自适应地添加彼此的唯一信息来减小MS和PAN图像之间的差异。在特征融合部分，从特征的二阶相关性出发，提出了一种基于相关性的注意力特征融合（correlation-based attention feature fusion (CAFF)）模型。该算法根据输入特征通道的重要性自适应地确定融合系数，提高了融合特征的区分度。在AWIHS和CAFF的基础上，受特征金字塔思想的启发，将多级特征融合和双分支残差网络相结合，作为AHF-Net的骨干网络。AHF-Net通过将AWIHS和CAFF模块与骨干网络相结合，可以有效地提高多分辨率遥感影像的分类精度。

介绍

近年来，随着对地观测技术的不断发展，遥感影像的性能和质量都有了很大的提高。但以目前的技术水平，还不可能同时获得高光谱信息和高空间分辨率的遥感图像。几年前，QuickBird、Worldview、Pleiades、Spot 5 HRG、DEMIMOS-2、IKONOS、Landsat 7 ETM+、Landsat 8 OLI等星载被动对地观测系统，可以联合获取同一场景的两幅图像，即：具有高空间分辨率但低光谱分辨率的全色（PAN）图像和具有高光谱分辨率但低空间分辨率的多光谱（MS）图像。这两种图像之间的内在关系为PAN和MS图像的多分辨率分类奠定了基础。与单纯的MS图像分类相比，PAN和MS图像多分辨率分类的目标是利用它们的内在一致性提取和融合特征，在减少它们外部差异的基础上对MS图像进行准确分类。PAN和MS多分辨率分类算法可大致分为两类：一种是先进行数据融合，然后对全色锐化的MS图像进行分类；另一种是分别提取MS和PAN的特征，然后进行特征融合进行分类。

1）前一种算法（先融合后分类）是从融合后的PAN和MS图像中提取特征，然后进行融合分类。近年来，人们提出了许多优秀的全色锐化算法。它们大致可分为四类：组件替换（CS）（包括：强度-色调-饱和度（IHS）变换、Gram-Schmidt（GS）、主成分分析（PCA））;多分辨率分析（MRA）;变分优化（VO）;和深度学习。Shackelford和Davis使用颜色归一化方法对MS图像进行全色锐化，然后使用模糊逻辑方法对全色锐化的MS图像进行分类。Su等人使用纹理和局部空间统计信息对全色锐化MS图像进行分类。Shingare等人评估了多种全色锐化方法，并使用决策树算法进行全色锐化MS图像分类。以上算法均具有较好的性能，为多分辨率分类的发展提供了有益的启示。然而，它们的分类性能严重依赖于全色锐化算法。

2）后一种算法（分类前特征融合）分别从PAN和MS图像中提取特征，然后融合特征进行分类。Moser和Serpico提出了一种新的基于马尔可夫随机场的上下文方法，用于PAN和MS图像的多分辨率分类。Moser等人使用类似的方法对PAN和MS图像进行多分辨率分类。在统一的贝叶斯框架下，Mao等人从PAN图像生成语义片段，并使用MS图像将聚类标签分配给片段以进行分类。Zhang等人构建了输入数据的中间层表示，然后使用支持向量机（SVM）进行图像分类。虽然这些算法也分别提取了PAN和MS图像的特征，但它们没有很好地考虑PAN和MS数据之间的显著外部差异。

近年来，DL已广泛应用于遥感领域。这些方法由于其优异的性能逐渐成为主流。受其启发，研究人员取得了以下研究成果：Liu等人提出了一种双分支分类网络，分别使用SAE和DCNN提取MS图像和PAN图像的特征，然后使用一个全连通网络融合级联的特征进行最终分类。Zhao等人提出了一种两阶段分类算法。首先，对MS图像进行超像素分割，并利用多个CNNs提取超像素不同部分的特征，完成分类。然后，利用PAN图像的信息对分类结果进行微调。双分支网络的提出为PAN和MS图像的多分辨率分类提供了新的启示。Bergado等人提出了一种用于VHR卫星图像分类的多分辨率卷积网络，称为Fusenet，它通过卷积和上采样将波段融合和分类结合到端到端网络中。基于Fusenet，Bergado等人进一步提出了一种称为Reusenet的用于VHR图像分类的网络，该网络通过ReuseNet的递归架构将不同分辨率图像的融合和正则化结合到端到端网络中。Zhu等人分别使用空间注意力模块和通道注意力模块提取PAN和MS图像的特征，然后融合提取的特征进行分类。上述网络和算法丰富了多分辨率分类技术，提高了多分辨率分类的精度，对进一步挖掘和利用PAN和MS数据具有启发意义。虽然DL方法在这一领域的应用取得了令人瞩目的成绩，但一些容易被忽视的问题值得我们注意：
i)对于差异显著的数据，IHS全色锐化算法通常会造成频谱失真，不能很好地融合数据的特征信息。此外，IHS全色锐化算法为了获得更好的融合效果，通常会引入一些超参数，降低了算法的普适性和通用性。
ii)对于待融合的特征，当前在特征融合策略（如元素相加或特征连接）中使用的特征的权重系数是相同的。它们相对简单粗糙，没有考虑到实际遥感地形对两种输入通道有不同的偏好。这通常会导致输出特征不能很好地继承输入特征的判别特性。
iii)对于基于数据融合的框架，特征提取是人工进行的，不能很好地提取数据中的高层语义信息。在基于特征的融合框架中，对于具有两种不同属性的数据没有差异约简过程。它们独立地提取PAN和MS的特征，即使它们是同一场景的地形；提取的特征可能不在同一个特征空间，增加了特征融合的难度和网络训练的负担。

在此基础上，我们提出了一种新的自适应混合融合网络（AHF-Net）用于多分辨率遥感图像分类。

贡献

1）提出了一种自适应加权IHS（AWIHS）数据融合策略来减小数据差异。利用线性因子调整谱带间的比值，可以减轻IHS算法的频谱失真。从互补信息的角度出发，将MS图像的唯一信息添加到PAN图像中，从而减少数据之间的差异。此外，AWIHS算法不含超参数，具有较好的普适性和推广性。
2）提出了一种基于相关性的网络注意特征融合（CAFF）模型。该模块将特征相关性作为特征冗余度的度量，并生成相应的掩模来增强或抑制融合特征的通道。通过这种方式，CAFF模块可以通过测量融合特征的通道的重要性来自适应地调整融合系数，从而提高融合特征的区分度。
3）提出了一种数据融合和特征融合相结合的双路径混合分类框架。该框架不仅可以通过分支网络提取特征，而且可以通过数据融合和两个分支特征的相互作用来缩小特征空间的差异。这种交互可以使特征融合更加有效和可靠，从而提高分类性能。

方法

AWIHS Data Fusion Strategy

在PAN和MS图像的获取过程中，传感器和大气介质是不同的。经过几何校正和辐射校正后，两幅图像之间的外部差异是巨大的。MS和PAN图像之间的关系为：本质特征是相同的，但外观特征是不同的。这种差异通常导致提取的特征不能反映两幅图像的内部一致性。如果将原始MS图像和PAN图像直接用作网络的输入，则网络的权重不能共享。网络提取的特征很可能处于不同的特征空间，导致特征融合效果不理想。因此，应缩小PAN和MS影像之间的差异，以减轻后续网络集成和分类的负担。
对于使用DL对MS图像和PAN图像进行分类的算法，它们在将图像输入到网络之前没有考虑减小MS和PAN数据之间的数据差异。为此，提出了一种数据融合策略，以缩小两者之间的差异。我们称之为AWIHS图像融合算法。AWIHS的基本流程如图1（b）所示。AWIHS将MS和PAN图像作为输入。它可以分为两个部分：MS_fusion和PAN_fusion的获取。请添加图片描述

1) Acquisition of the MS_fusion Image:

对于MS图像，为了更好地与PAN图像交互，我们将其上采样到PAN图像的大小并获得上采样图像：M_up。上采样方法是双三次插值算法。与最近邻插值和二次插值相比，该上采样方法使用了更多的邻域信息。
我们通过优化以下公式计算线性因子αi：
在这里插入图片描述
然后，我们根据（2）计算I_c。我们从共享信息的角度来考虑I_c。由于（PAN−I_c）>0，我们推断I_c的信息应该包含在PAN图像中。由于0<αi<1，我们推断Ic的信息也应该包含在MS图像中。在此基础上，I_c可以看作是MS和PAN图像的共享信息。PAN图像与I_c之间的差异可以被视为PAN图像的唯一信息。

为了获得PAN和MS图像的边缘信息，我们使用了边缘检测算子W_PAN和W $M^I$ _up提取各自的边缘。边缘检测算子的计算如下式所示：
在这里插入图片描述

其中，▽PAN和▽ $M^i$ _up分别是PAN图像和MS图像第i个通道的梯度。λ = $10^{−9}$ 是一个参数，指示梯度应该有多大，并控制图像的平滑度，而ε = $10^{−10}$ 是一个小值，强制非零分母。由于PAN图像中出现的边缘可能不会出现在每个MS波段中，因此不适合将相同数量的细节注入不同波段。我们认为αi可以反映各MS谱带与PAN图像的差异程度。因此，为了使MS_fusion各波段的空间细节分布更加合理，我们不再单独使用W_PAN，而是分别使用（1 −αi）和αi作为W_PAN和W $M^i$ _up的权重。
为了减少频谱失真，注入到每个频带中的信息需要保持与MS原始频带类似的频谱比。我们认为αi也能反映质谱不同谱带间的差异程度。因此，αi也可以作为自适应权值来调整各谱段的信息注入比例。

基于以上分析，我们设计如下融合系数g_MS：
在这里插入图片描述
2) Acquisition of PANfusion Image:
为了减少他们之间的差异，我们从信息共享的角度出发。对于PAN_fusion，I_c也被认为是MS和PAN图像的共享信息。MS图像与I_c之间的差异可以被视为MS图像的唯一信息。由于αi能反映各MS谱带与PAN图像的差异程度，
在这里插入图片描述
当αi等于1/4时，上述公式退化为以下方程：

另一方面，AWIHS算法从信息共享的角度出发，将PAN和MS图像的共享信息分离，并将它们的唯一信息添加到彼此中。通过这种方式，我们的AWIHS可以自适应地减小PAN和MS之间的差异。

CAFF Module

本文采用AWIHS算法后，缩小了PAN和MS数据之间的差异，增强了内部联系。考虑到特征之间的内在一致性，提出了CAFF块，块的详细信息如下。CAFF的整个流程如图2所示。假设待融合的特征为f1，f2 ∈ $R^{H×W×C}$ ，其中H和W为空间高度和宽度，C为通道数。
请添加图片描述

1) Calculate the Correlation Matrix C:
对于输入的两个三维特征f1，f2 ∈ $R^{H×W×C}$ ，我们将其整形为 $f^r$ ₁， $f^r$ ₂ ∈ $R^{n×C}$ ，其中n = H×W。然后计算两两信道的相关性，得到一个协方差矩阵C ∈ $R^{C×C}$ 。计算过程如下式所示：在这里插入图片描述
所得到的协方差矩阵具有清楚的物理意义，即C_i,j表示f1的第i个信道与f2的第j个信道之间的相关性。矩阵C中包含的信息可以帮助我们分析f1和f2之间的统计相关性。通过分析特征之间的统计依赖关系，可以帮助我们探索有效的特征融合方法。
2) Calculate Feature Fusion Mask α and β:
我们分别对C的行和列求和，得到两个列向量row_sum，col_sum ∈ $R^{C×1}$ 。 $row^i$ _sum（ $col^i$ _sum）的值表示 $f^i$ ₁（ $f^i$ ₂）和f₂（f₁）之间的相关程度。
累积和向量的结果可分为三种类型:
在这里插入图片描述

对于 $row^i$ _sum，如果row_sum >0，则意味着 $f^i$ ₁与f₂具有很高的相关性，这表明 $f^i$ ₁中的信息可以与f₂中的许多通道的信息相似。因此， $f^i$ ₁包含的信息是相对冗余的。在一般的特征融合方法中，融合特征的冗余信息会被自动增强，这会降低特征的可区分性，导致后续分类的准确率下降。因此，在后续的融合中需要抑制冗余信息。
如果 $row^i$ _sum>0意味着通道与f₂具有低相关性。因此它所包含的信息是相对独立的。基于前面的分析，在后续的融合中还需要加强。
如果 $row^i$ _sum=0意味着信道是中性的。在这种情况下，融合过程退化为传统的元素式加法。结论与col_sum 相同。
在注意力模型中，特征掩模可以有效地加强或抑制特征通道。类似地，我们基于上述特征相关性分析来生成特征掩模。所生成的掩码可以根据相关性来抑制或加强待融合的通道。将row_sum，col_sum 转换为[0，1]的等式如下：在这里插入图片描述
与Sigmoid函数不同，它是一种负反馈映射，即输入越大，映射值越小，反之亦然。掩模将抑制具有高冗余的特征通道，并增强具有高独立性的特征通道。因此，我们选择使用该函数来生成用于特征融合的权重（α和β）
在这里插入图片描述 3) Obtain the Fusion Feature f₃:
我们通过以下等式得到融合特征f₃：
通过α和β，我们可以基于f₁、f₂的相对冗余度进行有效的融合。

同一场景的PAN和MS图像内部一致但外部不同。同时，它们也存在着遥感图像中常见的地形尺度不均衡的问题。因此，我们提出了AWIHS策略和CAFF模块，以帮助减少数据差异并进行有效的多层次特征融合。通过AWIHS策略，PAN和MS之间的差异显著减小。从相关性的角度出发，我们认为特征的冗余部分属于共享的背景信息。CAFF模块可以增强特征的唯一性信息，抑制冗余信息，有效缓解特征融合过程中特征区分度降低的问题。由于融合是基于输入特征的二阶相关性，CAFF模块也能很好地继承输入特征的依赖关系。因此，我们的AHF-Net可以提高融合特征的区分度。

Construction of the AHF-Net

如图3所示，整个网络可以分为三个部分，其中图3（a）是AWIHS数据融合策略，图3（b）是用于提取特征的骨干网络，图3（c）是用于融合多级特征的融合网络。具体如下：
请添加图片描述
1) Data Fusion:
AWIHS算法用于减小PAN和MS图像之间的差异。该模块以原始MS和PAN图像为输入，经过AWIHS数据融合算法后输出融合图像MS_fusion和PAN_fusion。

2) Feature Extraction:
如图3（b）所示，两个分支的输入分别为MS和PAN patches，输出分别为f₃₁和f₃₂。两个分支的前两个Reslayers具有不同的下标，这表示它们的参数不共享。相比之下，第三个Reslayer的参数是共享的。我们认为浅层特征是图像的具体细节和表示信息的表达。即使在AWIHS数据融合后，图像细节的差异仍然存在。因此，我们使用没有共享参数的ResNet 块。随着网络的不断深入，提取的深层特征是一种高级语义特征。这些特征应该反映图像的本质一致性，因此我们使用具有共享参数的ResNet块。

3) Feature Fusion and Classification：
由于成像距离较远，不同类型的地形在PAN和MS影像上存在较大的尺度差异。这种固有特性会降低图像分类的准确性。由于深层网络逐层提取特征，因此这些特征具有固有的金字塔形状。其中，浅层特征具有丰富的纹理信息，而深层特征具有丰富的语义信息。 将这些不同级别的特征结合起来可以帮助我们提高分类的准确性。
不同层次特征融合的一般方法是逐元素添加或特征连接。在两种融合方法中，各特征通道的权值相同、所有特征通道的重要性是相同的。然而，在实际情况中，不同层次的特征对于最终的分类任务具有不同的重要性。基于此，我们将CAFF模块集成到FPN 中。根据特征通道之间的相关性来抑制或增强相应的通道。突出显示有利于分类的特征通道，提高分类精度。
多级融合网络的结构如图3（c）所示。在构造多层特征融合网络之前，首先利用CAFF对两个分支的特征进行融合。由于浅层特征是图像的具体细节和表示信息的表达，因此我们使用f₂₁和f₂₂作为第一级特征进行融合。融合特征f2可以表示如下：
请添加图片描述

其中α和β是融合系数。然后将融合后的特征（f2，f3）与f4组合形成一个三级特征金字塔网络。在融合之前，我们使用1 × 1卷积将f2和f3的通道数与f4的通道数相加。同时，我们使用上采样将f4的大小增加到f3，将f5的大小增加到f2。最后，利用CAFF对不同层次的特征分别进行融合。融合后的特征经过一个平均池层和多个全连通层后，最终估计出patches对的类概率。本文采用交叉熵误差作为最终损失函数，定义如下：请添加图片描述