A Unified Pansharpening Model Based on Band-Adaptive Gradient and Detail Correction

（基于波段自适应梯度和细节校正的统一全色锐化模型）
利用全色锐化技术将全色（PAN）图像与多光谱（MS）图像融合，得到高空间分辨率的多光谱（HRMS）图像。传统的全色锐化方法难以获得精确的细节，计算效率低。提出了一种基于波段自适应梯度和细节校正的统一全色锐化模型。首先，通过保持HRMS图像的每个波段与MS图像的每个波段一致来设计光谱保真度约束。然后，通过探索PAN图像与MS图像各波段之间的梯度关系，构建波段自适应梯度校正模型，从而自适应地获得所估计的HRMS图像的准确空间结构。为了细化空间细节，通过设计一个缩小尺度的参数获取模型，基于参数传递定义了细节校正约束。最后，基于梯度校正和细节校正建立统一模型，并采用交替方向乘子法求解。在多个数据集上进行了缩比和全尺寸实验。

介绍

随着卫星事业的迅速发展，遥感影像在自然资源监测、国土管理、生态保护等方面得到了广泛的应用。高精度的高空间分辨率多光谱（HRMS）影像为地理信息系统提供了重要数据。然而，由于现有卫星技术在带宽、有效载荷等方面的限制，大多数卫星无法直接提供高分辨率遥感影像。它们通常携带两种不同类型的传感器：全色（PAN）传感器和多光谱（MS）传感器。PAN传感器具有高空间分辨率，但包含很少的光谱信息，而MS传感器具有高光谱分辨率，但具有低空间分辨率。通过适当的算法，可以融合PAN图像的几何细节和MS图像的光谱信息，得到HRMS图像。这种融合过程也称为全色锐化，是许多遥感任务（如目标分类和语义分割）中图像增强的初始步骤。

到目前为止，已经开发了许多全色锐化方法，这些方法可以分为四类包括组件替换(CS)的多分辨率分析(MRA)的,基于模型,和深度学习(DL)的方法。基于cs方法转换光谱和空间的形象女士组件,然后使用锅形象来取代空间组件,最后应用逆变换得到融合图像。典型的基于CS的方法包括主成分分析（PCA）、gram Schmidt自适应（GSA）[8]和强度-色调-饱和度（IHS）变换。这些方法都能有效地获得高空间质量的融合图像，在全色锐化中得到了广泛的应用，但它们容易引起光谱失真，特别是当PAN图像与MS图像相关性较低时。

基于MRA和CS的方法都属于传统方法。它们之间的主要区别在于它们提取空间细节的方式。对于基于MRA的方法，融合图像的空间细节是通过计算PAN图像与其低分辨率版本之间的差异来获得的，该低分辨率版本是通过金字塔变换或小波在多个尺度上获得的。流行的基于MRA的方法包括小波变换、轮廓波变换、加性小波亮度比例和à trous小波变换。为了提高空间质量，Kaplan等人提出了使用边缘保持分解的双边滤波亮度比例（BFLP）方法，以获得更满意的结果。然而，BFLP的效果在很大程度上取决于参数设置的准确性。为此，提出了一种自适应多尺度双边滤波算法，进一步提高了BFLP算法的泛化性能。这些基于MAR的方法通常在光谱方面表现良好。然而，多尺度变换的使用增加了计算复杂度，容易造成空间失真。

基于模型的方法通过利用全色锐化和观测的MS和PAN图像之间的假设关系来学习光谱和空间信息。这种方法中涉及的主要过程通常基于变分优化问题，并且由两部分组成：（1）构造能量函数;（2）函数的优化求解。早期的工作基于压缩感知和字典学习构建融合模型并恢复信号。后来，Ghahremani等人通过学习新字典和使用交替方向乘法器方法（ADMM）寻找稀疏系数向量来改进基于压缩感知的方法。然而，词典学习过程通常是耗时的。相反，Yang等人提出了遮片模型和多尺度变换（MMMT）来提高光谱质量和效率。Vivone等人通过提出基于全尺度回归的注入系数（FSRIC）进一步提高了效率。但是这些方法的有效性受到所构建模型的正确性的影响，融合结果的空间细节精度有待提高。为此，将BDSD方法与野值剔除和双二次回归相结合，提出了一种改进的稳健的带相关空间细节（BDSD）方法。提出了一种基于模型的方法，将低秩模糊融合（LRFF）模型与自适应细节补充模型相结合，以改善注入的细节。这些方法注重细节的改善，可以获得较好的空间质量，但没有充分考虑光谱约束，可能导致融合结果的光谱失真。

近年来，深度学习（DL）方法由于其强大的图像特征学习能力而吸引了越来越多的兴趣。Masi等人应用了超分辨率中使用的基于DL的方法，即：超分辨率卷积神经网络（SRCNN）用于全色锐化，取得了满意的效果。为了充分利用PAN图像中的细节，Zhang等人提出了用于全色锐化的端到端双向金字塔网络，Deng等人利用CNN与细节注入方案的组合来解决全色锐化问题。同时，Ozcelik等人提出了一种泛彩色化生成对抗网络（PanColorGAN），以进一步减少细节信息的丢失。基于DL的方法表现出很强的全色锐化能力，但通常需要大量的样本和大量的计算资源进行训练;此外，它们的推广性还有待提高。

针对上述问题，本文提出了一种基于梯度和细节校正的全色锐化模型。为了保证光谱保真度，首先提出了一个光谱约束，以保持退化的HRMS图像和上采样的MS图像（UPMS）之间的一致性。由于HRMS图像各波段空间信息的差异性，我们研究了MS和PAN图像之间的梯度关系，并对融合图像的各波段梯度信息进行了自适应校正。此外，由于融合过程中没有参考图像，保持融合图像与PAN图像的结构一致性会导致细节注入不准确。为了进一步细化细节，我们利用CS和MRA方法的优势，并利用合成参考图像构建参数获取模型。得到的参数用于校正融合图像的每个波段中的细节。此外，定义了一个全变分正则项，以减少融合图像中的伪影数量。

贡献

1）提出一种梯度校正先验约束，自适应地调整融合图像各波段的梯度信息。
2）为了进一步细化注入细节，通过构建参数获取模型，设计了基于参数传递的细节校正约束。
3）提出了一种新的pansharpening框架通过将提出约束条件嵌入到一个统一的模型,可以获得高质量的图像融合。

TRADITIONAL DETAIL INJECTION MODEL

（传统细节注入模型）
传统的基于CS和MRA的方法都是基于注入模型的图像融合方法。其主要思想是从PAN图像中提取细节信息，然后利用注入系数将这些信息注入到MS图像中。该模型可以联合收割机不同的融合方法来利用这些技术。对于具有B个波段的MS图像，M ∈$K^{m\times n\times B}$和一个PAN像P ∈$K^{M\times N}$，注入模型的框架可表述为：
模型（1）中$P^L$_b的评价精度直接影响融合图像的质量。对于基于MRA的方法，$P^L$_b可以通过对P应用低通滤波器$H^L$_b来获得，即，
对于基于CS的方法，P_L在应用IHS变换之后被UPMS图像（I_UP）的强度分量代替。I_UP可以通过UPMS图像的每个波段的线性组合来获得：
其中α_b表示频带权重。这样，虽然可以获得融合结果的高空间质量，但是光谱质量可能上令人满意.为了得到α_b，Yang等人提出I分量可以自适应地用各通道的线性组合来表示，即α_b可以通过求解以下优化问题得到：

注入模型具有很好的推广性，可以与其他融合技术相结合，提高融合质量。

方法

提出了一种基于波段自适应梯度和细节校正的全色锐化方法。通过探索PAN图像和MS图像之间的光谱和空间关系，构建了统一的全色锐化模型，以确保融合图像的质量，如图1所示。
该模型基于光谱一致性和梯度校正设计了两个波段自适应先验项，保证了融合图像与源图像之间光谱和结构信息的高保真度。此外，在尺度缩减参数传递的基础上，设计了细节校正约束项，使融合图像获得更精确的细节。最后，利用ADMM算法对模型进行求解，得到最优融合结果。

Spectral Fidelity and Gradient Correction Prior Term

（光谱保真度和梯度校正先验）

一个合适的全色锐化模型应该能够获得与源图像具有良好光谱和空间保真度的HRMS图像。因此，建立高分辨率遥感影像与源影像之间的精确关系对于模型的构建至关重要。经高斯滤波器滤波的低分辨率版HRMS图像（L-HRMS）可视为UPMS图像。Vivone等人认为高斯滤波器应该与调制传递函数（MTF）匹配，调制传递函数是传感器点扩展函数的频域形式。因此，为了保证L-HRMS图像和UPMS图像之间的相似性，我们设计了HRMS和UPMS图像的光谱保真先验项。首先，将MTF匹配高斯滤波器Hb应用于估计的HRMS图像的每个频带M‘_b来实现L-HRMS，然后使L-HRMS接近UPMS图像~ M_b，以确保HRMS图像和MS图像之间的光谱一致性。频谱保真度先验项可以定义为
除了光谱一致性之外，HRMS图像还应当与PAN图像具有空间结构一致性。先前的全色锐化方法通常假设PAN图像可以被认为是HRMS图像的多个波段的线性组合，如以下等式所示：
另外，MS图像的波段的线性组合不能精确地表达PAN图像中的空间信息。因此，Eq.(6)不能表达MS图像的波段之间的空间差异。实际上，不同波段的空间信息是广泛多样的，这导致HRMS图像和PAN图像的每个波段之间的相关性非常不同。但是，同一场景中图像的几何结构分布应该是相似的。由于几何结构可以用梯度域来表示[17]，而Laplacian算子可以在任何方向上获得锐化的边界和线条，因此我们选择Laplacian算子来获得梯度信息。为了明确说明这一点，我们以IKONOS数据集中的一组源图像为例，分析了PAN和HRMS图像之间的空间和结构关系。图2（a）-（e）示出了PAN图像和HRMS图像的不同波段，图2（a）-（e）示出了PAN图像和HRMS图像的不同波段。图2（f）-（i）示出了（a）-（e）的相应梯度图，图2（f）-（i）示出了（a）-（j）的直方图。第2段（k）至（t）分段。从图中可以看出，HRMS图像的不同波段的空间信息变化很大。

然而，与PAN图像的梯度直方图相比，HRMS频带的所有梯度直方图具有与PAN图像的梯度直方图几乎相同的形状，即，四个HRMS频带的梯度值与PAN图像的梯度值成比例。因此，在上述分析的基础上，我们构建了PAN和HRMS图像之间空间结构相似性的先验项。将Laplacian算子表示为L，HRMS图像的b波段梯度图表示为L M’_b，PAN图像的梯度图表示为LP。利用校正系数，两个梯度图应该彼此接近。因此，我们如下定义频带自适应梯度校正项以保持更准确的结构信息：
为了确定Eq.(7)中的频带自适应校正系数ω_b，HRMS图像M’_b为必备项。然而，这种图像在真实的实验中是未知的。因此，原始PAN图像被下采样到与原始MS图像相同的尺度，并且原始MS图像被作为参考HRMS图像。然后，通过构建的回归模型，可以得到ω_b，如下所示：

其中$P^d$是下采样的PAN图像，M_b是原始MS图像的b波段。使用拉格朗日乘数法，ω_b可通过最小化能量函数获得，如下所示：

其中δ是惩罚参数。第二项是非负约束。通过使用梯度下降法，离散的偏微分方程可以定义为

其中∆t是梯度下降法的步长。ω_b的t +1步可通过下式获得：

当迭代过程满足停止条件时，可以得到最终的修正系数ω_b。然后将该系数转换为Eq.(7)建立了空间校正模型。通过组合Eq.（5）和（7），光谱保真度和结构校正模型定义如下：

Detail Correction Constraint

模型（12）旨在保持UPMS图像的光谱保真度和PAN图像的空间保真度。然而，由于缺乏参考图像，融合图像与PAN图像在结构上的一致性仍可能导致细节注入过多或不足，从而影响光谱和空间质量。为了保证全色锐化模型的准确性，需要加入细节约束以获得合适的细节。根据Eq.（1），我们可以有

Eq.（13）的左侧表示注入UPMS图像的细节，等式的右侧表示从PAN图像提取的细节。为了保证这两种细节在每个波段的一致性，我们基于Eq.（13）设计了波段自适应细节校正约束：
其中λ是惩罚参数。在（14）中，$P^L$_b在确定第b波段细节中起重要作用，并且g_b是用于控制细节注入程度的权重因子。$P^L$_b和gb都还不确定，它们是独立的。因此，为了确定$P^L$_b和g_b，我们首先找到$P^L$_b的解，然后找到g_b的解。如Eq.(2)和（3），$P^L$_b可以通过基于CS或MRA的方法获得。在本研究中，提出一种新的方法，将基于压缩感知的方法和基于最大似然分析的方法结合起来，以发挥各自的优点。

Vivone等人认为，遥感的模糊函数应该具有类似高斯的形状。因此，高斯滤波器H_G被定义为在基于MRA的方法中使用的低通滤波器。$P^L$_b可通过设计以下线性模型获得：
H_G是N（0，σ2）的分布，因此唯一需要确定的参数是标准差σ，可以通过建立I_UP和P之间的关系来估计。将I’ 作为 图像M’的I成分，在将H_G 应用到I’ 之后，模糊版本的I’应该与I_UP接近. 因为I’与PAN图像包含相似的空间信息，我们使用P替代I’去建立P 和I_UP之间相关性函数。 因此，可通过搜索使H_GP与I_UP高度相关的最优σ来获得H_G，即：

其中σ’表示估计的σ，corr（·）是相关函数。通过设置σ的初始值，然后根据Eq.(16)迭代计算相关性。随着σ的变化，可以得到最优的σ和H_G。

对于β_b,1和β_b,2，它们是获得合适$P^L$_b的关键。由于缺少HRMS图像M’_b，首先设计了一个降尺度参数获取模型，用于计算β_b,1和β_b,2。然后，将获得的参数传递回（15）以获得$P^L$_b，然后将其代入（14）以构造细节校正约束。参数采集流程如图3所示。为了获得准确的参数和高效率的细节，将原始图像退化到缩减尺度。
在退化过程中，首先对MS图像进行MTF匹配滤波，然后进行降采样，最后进行上采样，得到$M^{R-UP}$图像;这遵循Wald协议。原始MS图像被视为参考HRMS图像。同时，PAN图像也被降级并下采样到与MS图像相同的尺度。通过参考图像和缩小图像，利用参数获取模型可以获得参数。将g_b初始化为1，参数获取模型根据Eq.(14)如下所示：
其中下标b表示第b波段，$P^R$表示比例缩小的PAN图像，$P^{R-L}$_b表示比例缩小的$P^L$_b。类似于Eq.（15），$P^{R-L}$_b可设计如下：
其中，$I^{R-UP}$表示$M^{R-UP}$的I分量。$H^R$_G表示缩小比例的高斯滤波器，并且可以通过在Eq.（16）中分别用$I^{R-UP}$和$P^R$代替I_UP和P来获得。Eq.（17）和Eq.（18）中的变量可以定义如下：

通过替换Eq.（18）和Eq.（19）转换为公式Eq.（17），Eq.（17）可简化为：
求出β_b后，$P^{R-L}$_b可由Eq.（17）求出。在表示D_M = M_b − $M^{R_{U}P}$_b和D_P =$P^R$ − $P^{R-L}$_b之后，g_b可以通过以下公式获得：

公式（21）的解也类似于公式（8）的解，并且可以通过求解（21）来获得g_b。在将频带自适应参数β_b和g_b转移到（15）和（14）之后，我们可以获得最终的细节校正约束。

Unified Model With Sparse Constraint

为了减少伪影的数量并保持梯度域的稀疏性，基于全变分（total variational (TV)）先验设计了一个稀疏约束。与公式（12）和（14）一起，能量函数可以定义如下：

其中γ是惩罚参数。第一项是频谱保真度约束，第二项是结构校正约束，第三项是细节校正约束，最后一项是稀疏约束。那么，M’_b可以通过如下最小化能量函数来获得：

The Solution

为了求解模型（22），我们用X代替L M’_b，并应用增广拉格朗日函数：

其中Λ是拉格朗日乘数，δ是罚参数。增广拉格朗日函数可以用ADMM方法求解。
1) Updating M’_b: ：通过固定X和Λ，我们可以继续更新M’_b通过partial偏差表示为∂E/∂M‘_b = 0的情况。然后我们有：
2) Updating X:
固定后获得$M^{\prime t+1}$_b和Λ，则X($X^{t+1}$)的t +1步可通过下式更新：

公式（27）可以通过如下的软阈值化策略来有效地求解：
3) Updating Λ: 通过固定$M^{\prime t+1}b和$X^{t+1}$的更新在t +1步骤Λ(t+1)可以通过梯度下降法获得：