Multiresolution Analysis Pansharpening Based on Variation Factor for Multispectral and Panchromatic Images From Different Times

（基于变化因子的多光谱和全色图像多分辨率分析）
大多数泛锐化方法是将同一区域上同时获取的原始低分辨率多光谱(MS)图像和高分辨率全色(PAN)图像融合在一起。多分辨率分析(MRA)由于具有良好的鲁棒性，已成为泛锐化方法的重要类别之一。然而，当只能提供不同时间的MS和PAN图像时，由于无法有效分析不同时间MS和PAN图像之间的多时间偏差，现有MRA方法的融合结果往往不理想。针对这一问题，提出了基于变化因子的MS和PAN图像的MRA泛锐化方法。首先建立了基于双尺度回归模型的MRA泛锐化方法，然后引入变异因子，利用乘数交替方向法(ADMM)有效分析多时差，得到最终融合结果。在合成数据集和真实数据集上的实验表明，与传统的pansharpening方法以及最先进的MRA方法相比，该方法的性能有显著提高。目视比较表明，变化因子引入改进了地物多时相失调补偿，推进了不同时间获取的MS和PAN图像的泛锐化应用。

INTRODUCTION

多光谱遥感数据融合是指遥感图像数据的空间配准，包括多时相配准、质谱配准、多传感器配准、多平台配准和多分辨率配准。从同一区域获取图像，然后采用一定的算法将每张图像的优点有机结合，生成新的数据。多源遥感数据技术包括分辨率增强、特征提取、去云、分类、超分辨率和多时相数据融合。将MS和PAN图像进行融合，即pansharpening，可以得到高分辨率的锐化数据。随着高分辨率图像提高商业产品的可用性，卫星遥感系统对泛锐化数据的需求不断增长。此外，pansharpening在遥感图像的变化检测、目标识别、土地覆盖分类、视觉图像分析和场景解译等处理过程中是一个重要的前期步骤。另一种常见的融合技术，即时空融合，是一种将精细空间分辨率数据与粗时间分辨率数据(如Landsat)、精细时间分辨率数据与粗空间分辨率数据(如MODIS)混合形成时间序列图像的技术。然而，时空融合通常需要两个粗/细图像对来分别估计每一类的时间变化率，并假设在一段时间内的变化率是稳定的。从这个意义上说，泛锐化可以更准确地看作是一种空间光谱融合技术，而经典时空融合可以看作是一种多时间融合技术，两种融合技术具有不同的目的和应用对象。
总的来说，pansharpening方法可以分为四大类:1)component substitution (CS);2)查看;3)变分优化(VO) ;4)深度学习(DL)。在CS方法中，通过MS像素的光谱变换从PAN图像中提取要注入插值MS波段的几何细节。这一类包括强度色调饱和度、主成分分析、Gram-Schmidt和上下文自适应Gram-Schmidt (C-GSA)。当高分辨率PAN图像和低分辨率MS图像之间存在很强的相关性时，基于cs的方法可以很好地工作，但它们无法解释光谱不匹配引起的局部差异。因此，融合后的图像会产生明显的光谱畸变。VO方法依赖于优化问题的解，包括总变分、稀疏表示、贝叶斯方法和降秩(RR)等方法。然而，VO方法的时间复杂度很高，难以实现实时性。在过去的十年中，基于DL的方法引起了越来越多的关注，包括卷积神经网络，泛锐化神经网络，通过包含几个非线性辐射指数图来增强输入的泛锐化神经网络，以及基于变压器的泛锐化。虽然基于DL的方法可以获得很好的性能，但它们通常需要大量标记的训练数据。为了解决这一问题，Xu等人最近提出了基于谱和纹理损失约束生成对抗网络的迭代网络无监督学习方法，该方法不需要带标签的数据集进行训练。此外，Qu等提出了基于自注意机制的无监督学习方法，Liu等提出了时空注意融合方法。然而，它仍然不适用于不同卫星和时间的MS和PAN图像的融合，其作为pansharpening问题解决方案的可行性有待于充分的测试和验证。
基于MRA的方法保留了原始质谱数据集的光谱信息，而不考虑获取PAN的日期或仪器，因此已成为主流的泛锐化方法之一。MRA类别包括加性小波亮度比例(AWLP)]和形态滤波器(MFs)。特别是Aiazzi等利用基于质谱传感器MTF的glp (MTF- glp)来进行分析步骤。在此方法的基础上，提出了基于上下文决策的MTF-GLP (MTF-GLP- cbd)和全面回归的MTF-GLP (MTF-GLP- fs)。此外，相关研究表明，使用HPM注射方案[MTF-GLP与HPM注射(MTF-GLP-HPM)]模型可以改进基于MTF-GLP的方法。此外，在MTFGLP-HPM模型的基础上，后处理[MTF-GLP-HPM with后处理(MTF-GLP-HPM- pp)]和多元线性回归[MTF-GLP-HPM with多元线性回归(MTF-GLP-HPM- r)]也被陆续提出。此外，为了利用更丰富的尺度信息，文献[46]提出了双尺度回归模型[MTFGLP-HPM with dual-scale regression (MRA-DS)]，以获得最佳融合结果。
然而，空间分辨率和光谱分辨率在(w.r.t)信噪比、有限的传输带宽和处理能力等方面的物理限制阻碍了利用遥感仪器同时采集高空间分辨率和高光谱分辨率数据。因此，有时很难同时获得同一区域的MS图像和高分辨率PAN图像。当只能提供不同时间获取的MS和PAN图像时，由于不同时间获取的地物图像存在多时间错位，pansharpening方法的融合结果往往不理想。虽然相关研究表明，与其他pansharpening分类相比，MRA分类能更好地补偿多时间轴错位，但这些MRA方法只是直接用于融合不同时间的MS和PAN图像，并不能有效缓解多时间轴错位的影响。
为了解决多时段不对准问题，本文提出了一种基于变异因子(MRA- VF)的MRA泛锐技术。实验结果表明，该方法优于传统的泛锐化方法。总结一下，本文的贡献如下:
1)根据作者在MRA分类方法方面的知识，本文提出的MRA- VF是第一个分析不同时间获取的MS和PAN图像在地物上的多时偏差的方法。因此，本文的主要目的是对MRA类别的改进，其他类别的研究超出了本文的范围。
2）在本文提出的MRA-VF中，当两个数据集差异较大时，PAN图像的信息将有效地提取出来，通过交替优化的方式抑制，避免引入错误信息。
3）在不同时间获取MS和PAN图像时，将变异因子作为通用模型应用于MTF-GLP-HPM类型的其他方法，以改善融合结果。

METHODOLOGY

MRA-VF的流程图如图1所示。首先，建立了基于双尺度回归的MRA模型，并引入变异因子;最后，通过交替方向乘法相结合的方法，利用变异因子对多时差进行有效分析，得到最终的融合结果。
设 $P^{HR}$ ∈ $R^{M×N}$ 为高分辨率PAN图像，其中M为该PAN图像的行数，N为该PAN图像的列数。低分辨率MS图像表示为 $M^{LR}$ = { $M^{LR}$ }b=1，…，B∈ $R^{ (M/S)×(N/S)×B}$ ，其中B为光谱带数，S为P HR与MLR的比值尺度，MLR B为第B个光谱带。上标表示图像的空间分辨率，即LR和HR分别代表低分辨率和高分辨率图像。

Dual-Scale Regression Model

由于我们之前的工作双尺度回归模型(MRA- DS)比许多其他MRA方法表现更好，因此MRA- ds已成为最先进的MRA方法之一。因此，选择MRA-DS作为所提出的MRA-VF的基本数学模型。
首先，将 $M^{LR}$ 内插到 $P^{HR}$ 的大小，得到^ $M^{LR}$ = {^ $M^{LR}$ }b=1，…， b∈ $R^{M×N×B}$ 。然后使用MTF-GLP[40]对 $P^{HR}$ 进行处理，得到低分辨率PAN图像的低通版本，即 $P^{LR}$ 。接下来，利用注入系数g控制信息注入的差异，如下式所示，得到最终的pansharpening结果 $M^{HR}$ = { $M^{HR}$ }b=1，…， b∈ $R^{M×N×B}$ : 在这里插入图片描述
式中g_b为MS图像第2个光谱带的注入系数。此外，使用HPM注入方案和尺度回归来提高pansharpening的性能[43]。基于HPM注入方案，将(1)改写为
根据[45]的尺度回归方法，(2)可以改写为
其中E(X)表示图像X的均值，注入系数gb用于迭代运算。
在MRA-DS中，为了丰富尺度信息，改善最终融合结果，提出了双尺度回归方法，将 $P^{LR}$ 与 $M^{HR}$ _b之间协方差的精细尺度信息和 $P^{LR}$ 与 $M^{HR}$ _b之间协方差的粗尺度信息结合起来。因此，将gb定义为在这里插入图片描述
其中cov(X, Y)为图像X和Y的协方差，var(X)为图像X的样本方差，i为迭代次数，µ为可调参数。附录详细说明了双尺度回归的有效性。
本文提出的MRA-VF与我们之前工作中的MRA-DS的关键区别在于，MRA-DS不能很好地适用于不同时间的MS和PAN图像。因此，关键的创新之处在于，根据作者在MRA分类方法方面的知识，本文提出的MRA- VF首次分析了不同时间获取的MS和PAN图像之间的地物多时相失调。

Variation Factor

为了分析地物的多时相位错，并对不同时间获取的MS和PAN图像应用pansharpening技术，在双尺度回归模型中引入变异因子θ∈ $R^{M×N}$ ，得到所提出的MRA-VF。将式(3)改写为
在这里插入图片描述
式中⊙表示哈达玛乘积。该模型表示由地面物体的季节性或人为变化引起的多时相失调.
下一个问题是求θ。为此，将不同时间获取的MS图像与PAN图像之间的多时差联系起来，建立如下方程:
但在实际应用中，MS图像是三维数据，PAN图像是二维数据。为了表述(6)，需要对MS图像的维数进行分解和降维，以便在交替方向乘法器(ADMM)迭代中更方便地进行处理。受pansharpening的启发，可以使用奇异值分解(SVD)方法对三维MHR进行因式分解，得到二维MHR。我们使用SVD对MS图像进行降维，因为将MS保持在二维空间更便于后续ADMM算法的操作。如果我们使用直方图匹配来扩展PAN图像的维数，我们需要考虑张量来处理ADMM，从而增加了算法的复杂度在这里插入图片描述

Optimization of Variation Factor by ADMM

通过观察(5)可以看出，当获得最优变异因子θ^∗时，所提出的MRA-VF可以有效地分析不同时间获取的MS和PAN图像之间的地物多时相失调，并获得良好的融合结果。因此，对(6)建立优化模型，实现变异因子θ的优化，如下式所示: 在这里插入图片描述
第一个正则化项可以通过约束θ接近于单位来控制谱变异性。第二个正则化项通过建立微分算子Hl来增强光谱的平滑性。参数µ1和µ2平衡了不同正则化项对成本函数的贡献.
由于分布式优化的优势，(8)中的优化模型可以利用ADMM框架进行求解。具体来说，(8)中的成本函数可以表示为在这里插入图片描述
ADMM可用于将问题(8)分解为更简单的问题，并迭代求解[56]。具体地说，子问题可以表示为
因此，(8)可以通过最小化以下问题来更新:
与(10)相关的增广拉格朗日量由式给出
其次，介绍了变量φ和θ的优化过程。

Optimization w.r.t. ϑ: 对于φ的优化问题可以写成
这个表达式可以为每个像素单独重写为
取式(16)中每个像素的导数，设其为0，可得:
2)Optimizing w.r.t. θ:这个优化问题等价于c = 0时的式(13)，可以写成
为简单起见，非负约束最初被忽略。对θ求导，令其为0，结果是
由于多时段的不对准，MS和PAN图像之间的较大差异需要忽略，以免给MS图像引入过多的错误信息。为了解决这个问题，需要设置一个阈值δ，以U为单位。对于得到的每一个U，根据不同的数据集确定其最大值U_m和不同的值δ∈[0,1]。如果θ大于δ * U_m，则将θ设为0以去除PAN图像中的错误信息。
得到最优变异因子θ *后，代入式(5)得到泛锐化结果。算法1给出了提出的MRA-VF的过程