HyperFusion: A Computational Approach for Hyperspectral, Multispectral, and Panchromatic Image Fusion

（超融合：高光谱、多光谱和全色图像融合的计算方法）
高空间分辨率的高光谱图像（HSI）和多光谱图像（MSI）融合是获取高空间分辨率高光谱图像的重要手段。然而，由于MSI有限的空间分辨率，大多数现有方法的空间质量不令人满意。为了进一步提高融合后HSI图像的空间分辨率，同时保持光谱信息，提出了一种新的计算模式HyperFusion，它同时融合HSI、MSI和全色（PAN）图像。为了实现这个目标，我们首先基于物理观察建立两个数据保真度，即HSI和MSI可以被视为融合HSI的降级版本。因此，可以很好地保留HSI和MSI的空间和光谱信息。为了在保持光谱信息的同时有效地将PAN的空间细节转移到融合的HSI中，我们进一步基于结构相似性构造了PAN的先验约束。同时，对系数矩阵施加另一个低秩先验约束，以高空间分辨率准确描述HSI的潜在特征。通过引入上述数据保真度项和先验约束条件，我们最终将目标转化为一个优化问题，并利用交替方向乘子法进行有效求解。在模拟数据集和真实的数据集上进行了全面的实验，以证明HyperFusion在视觉质量和定量分析方面优于其他现有技术。通过植被覆盖指数分析的模拟实验，验证了HyperFusion在遥感应用中的有效性。

介绍

高光谱成像技术能够准确识别景物中的物质，极大地扩展了遥感技术的能力，在地质调查、农作物监测、国防安全等领域发挥着重要作用。当波段数目增加时，由于太阳辐照度有限，散射到高光谱图像（HSI）每个波段上的太阳发射的光子相应减少。因此，HSI的空间分辨率通常较低。与HSI相比，多光谱图像（MSI）具有更少的波段数和更高的空间分辨率。为了获得高空间和光谱分辨率的HSI，HSI和MSI的融合（fusion of HSI and MSI (FHM)）是典型的策略。
近年来，FHM方法大致可分为三类：基于全色锐化方法的扩展、基于模型的方法和基于深度卷积神经网络（CNN）的方法。由于融合全色（PAN）图像和MSI的全色锐化方法已经被成熟地开发，所以存在一些利用现有全色锐化方法的尝试以使它们适于融合HSI和MSI的推广。例如，Chen等人提出了一种解决方案，将HSI的光谱划分为若干个区域，并使用传统的全色锐化技术来融合每个光谱区域中的HSI和MSI。基于模型的方法通过引入一定的先验项来正则化待估计的高分辨率HSI，并通过优化融合模型来估计HSI。这些方法建立融合模型，包括基于空间（光谱）退化机制和先验信息的保真度和正则化项，并利用有效的解来求解这些模型。因此，基于模型的方法可以在空间和光谱质量之间取得良好的平衡，近年来吸引了相当大的研究兴趣。Dong等人提出了一种用于FHM的非负结构化稀疏表示方法，该方法被公式化为利用关于HSI的空间-谱稀疏性的先验知识对谱基和稀疏系数进行联合估计。近年来，一些基于模型的方法从张量的角度建立它们的模型，并利用一些张量分解方法。得益于CNN的发展，基于CNN的深度方法取得了显著的成就。例如，Dian等人通过基于深度CNN的残差学习直接学习图像先验，然后将学习的先验集成到HSI和MSI融合框架中。虽然深度学习融合框架展示了其优势，但需要大量图像来为不同类型的传感器训练专门的深度学习模型，从而牺牲了灵活性。因此，基于神经网络的深层方法不是本文研究的重点。
尽管在过去的几十年中已经研究了多种FHM方法，但是由于以下原因，产生高空间分辨率和良好光谱质量的融合HSI仍然是具有挑战性的问题。
1）由于MSI的空间分辨率还不高，大多数现有的FHM方法的空间质量总是不能令人满意。这种现象可以在图1（b）中观察到。与上采样HSI相比，FHM能提供更好的空间质量。然而，图1（b）的空间细节仍然不能清楚地观察到。

2)最近，HSI和PAN（FHP）的融合为生成高空间质量的HSI带来了新的见解，如图1（c）所示。然而，FHP总是遭受显著的光谱失真。例如，图1（c）中黄色椭圆标记区域的颜色与图1（e）中参考HSI的颜色明显不同。
3）更一般地，一个超光谱卫星（例如，GF-5）和具有多光谱和PAN仪器的另一卫星（例如，GF-1）能够以相对接近的时间捕获同一场景，证明了同时融合HSI、MSI和PAN（FHMP）生成高空间和光谱质量HSI的可能性和有效性。这种现象可以从图1（b）-（d）的比较中观察到。该方法比FHM方法提供了更多的空间细节，同时比FHP方法更好地保留了光谱信息，使得融合后的HSI在空间和光谱质量之间达到了最佳平衡。
在本研究中，我们提出了一种新的高光谱、多光谱和全色图像融合的计算方法，称为HyperFusion。基于HSI和MSI可以看作是融合后的HSI的退化版本这一事实，我们首先建立了两个数据保真度项，以分别保留HSI和MSI的空间和光谱信息。此外，我们构造了两个先验约束：一个先验约束基于结构相似性从PAN探索，以有效地将PAN的空间细节转移到融合的HSI中，另一个先验约束考虑从融合的HSI分解的系数矩阵应该是低秩的，以用高空间分辨率准确地描述HSI的潜在特征。最后，将上述数据保真度项和先验约束条件结合起来，建立目标融合模型，并采用交替方向乘子法对模型进行有效求解。

贡献

1）我们提出了一种新的同时FHMP模型，该模型可以大大提高融合HSI的空间质量。特别地，我们基于PAN和理想MSI之间的结构相似性设计了有效的先验约束。与其他FHMP方法不同，PAN的这种先验约束不需要PAN和HSI之间的光谱响应转换矢量，从而在通过理想MSI将PAN的高频细节有效注入融合HSI的同时，很好地保留了光谱信息。由于所研究的模型仍然是不适定的，我们进一步根据系数矩阵的低秩性质添加了另一个约束。据我们所知，这种先验约束在FHMP研究中很少被研究。

2）由于在之前的FHMP研究中仅演示了模拟实验，因此我们基于来自GF-5和GF-1卫星的图像融合进行了真实的实验，其中HyperFusion获得了优于其他现有技术的融合结果。通过模拟植被覆盖实验验证了HyperFusion在遥感中的有效性。

相关工作

FHM Methods

近年来，已经提出了大量的FHM方法。这些方法一般分为以下三大类：基于全色锐化方法的扩展、基于模型的方法和基于深度CNN的方法。基于全色锐化方法的扩展主要包括分量替换和多分辨率分析。Gram-Schmidt自适应（GSA）是一种众所周知的全色锐化方法，其可以直接应用于FHM。Selva等人提出了一个框架，以有效地使多分辨率分析适应HSI和MSI融合。对于基于模型的方法，根据光谱和空间退化的机理，建立正则化模型来解决FHM的融合问题。因此，适当的保真度和正则化项对于优化模型的最优解是重要的。Yokoya等人利用基于耦合非负矩阵分解（CNMF）的交替光谱解混法估算端元和丰度矩阵。Simoes e等人提出了一种基于子空间的模糊混合矩阵方法，该方法利用端元提取技术从HSI中获得端元（子空间）矩阵，然后基于不连续HSI的分段平滑特性，引入向量全变分正则化来建立先验项。由于计算是在子空间矩阵中进行的，因此减少了计算成本。由于HSI光谱带之间的高度相关性，3-D图像可以自然地由3-D张量表示。因此，一些研究考虑从张量的角度解决FHM问题。Li等人提出了一种耦合稀疏张量分解方法，该方法将HSI视为3-D张量，并将融合问题重新定义为核心张量和三模字典的估计。Dian等人将MSI分为多个块，并应用学习的聚类结构和系数形成4-D张量。然后将FHM问题表示为一个低张量训练秩正则化优化问题。基于深度CNN的方法构建深度网络，并通过将HSI和MSI馈送到网络中来产生融合的HSI 。Palsson等人为FHM设计了3-D CNN。Zheng等人通过映射初始化和参考HSI之间的残差，将深度残差CNN引入到FHM过程中。Xie等人提出了一个FHM模型，并通过展开迭代算法根据CNN对其进行了有效求解。

FHP Methods

融合HSI和PAN的FHP方法为生成高空间质量的HSI带来了新的思路。该方法主要源自全色锐化方法，并且可以大致分为四类：分量替换、多分辨率分析、变分方法和基于深度CNN的方法。组件替换方法替换组件（例如，光谱变换）。典型的分量替换方法包括遮片模型、非线性强度-色调-饱和度和非线性PCA。在多分辨率分析方法中，PAN的空间细节通过PAN的多尺度分解注入MS，例如广义拉普拉斯金字塔（GLP）方法和形态滤波器。近年来，变分方法通过建立合适的融合模型，在空间质量和光谱质量之间取得了良好的平衡。Ballester等人提出了第一变分法，将上采样MS图像视为高空间分辨率多光谱（HRMS）图像的模糊版本。进一步利用动态梯度稀疏性作为先验来提高空间质量。Fu等人考虑了不同局部面片和频带中的局部梯度约束，从而获得令人满意的融合性能。类似于FHM，基于深度CNN的方法形成了全色锐化的新分支。最新技术包括使用CNN、深度残差学习和多尺度CNN进行全色锐化。然而，FHP比全色锐化更复杂，因为HSI的光谱范围通常比相应的PAN的光谱范围宽得多，而MSI和PAN通常在几乎相同的光谱范围内获得。因此，显著的光谱失真是不可避免的。

FHMP Methods

正如我们所知，只有少数研究集中在FHMP方法。Yokoya等人首次将CNMF应用于FHMP。Bendoumi和Benlefki提出了一种无约束最小二乘解混合格式。Arablouei 考虑了同一场景下任意多幅多波段图像的融合问题，将融合问题转化为降维线性逆问题。在这些方法中，必然需要表示从HSI的光谱响应函数到PAN的光谱响应函数的转换的光谱响应转换矢量。然而，由于HSI和PAN的空间分辨率差异较大，由低空间分辨率的HSI和PAN生成的光谱响应变换矢量的估计往往不准确，导致融合后的HSI不可避免地会出现光谱失真。

方法

在下文中，我们首先介绍我们研究的一些注释。我们把一个尺寸为W_h × H_h × L_h的HSI表示为矩阵H ∈$R^{W_h × H_h × L_h}，这意味着HSI有L_h个带，每个带有W_h ×H_h个像素。将大小为W_m × H_m × L_m的MSI和大小为W_p × H_p的PAN分别表示为矩阵M∈ $R^{Lm\times WmHm}$ 和P∈$R^{1\times WpHp}$。L_m表示MSI中的条带数。Wm × Hm和Wp × Hp分别是MSI和PAN的空间分辨率。我们将高空间分辨率和高光谱分辨率的融合HSI表示为矩阵F ∈$R^{Lh\times WpHp}$。PAN与HSI之间的分辨率为（Wp/Wh），PAN与MSI之间的分辨率为（Wp/Wm）。所提出的方法的示意图如图2所示。

Proposed Model

1) Construction of Data Fidelity Terms:
HSI H可视为融合HSI F的空间退化版本，如下所示
MSI M可以被看作是融合HSI F在模糊和空间谱下采样之后的退化版本
2) Construction of Prior Constraints:
从低维图像H、M和P恢复高维HSI F是不适定问题。因此，为了精确地恢复F，需要适当的先验。
首先，一些先前的研究利用估计的光谱响应变换向量Rp ∈ $R^{1\times Lh}$来构建PAN P和融合的HSI F之间的关系为

然而，由于PAN和HSI之间的分辨率比较大，由PAN P和HSI H估计的Rp总是不准确的。因此，（3）将不被严格遵守，导致一些谱失真。
为了避免这一缺点，我们关注图像的高通滤波分量的一致性，以提高空间分辨率，同时很好地保持光谱信息。由于所有频带都是相同对象的表示，因此它们的梯度往往处于相同的空间位置，这意味着它们在梯度域中不仅应当是稀疏的，而且应当是组稀疏的。因此，我们首先基于PAN P和理想MSI R_mF(与PAN的空间分辨率相同)之间的上述结构相似性构建先验
其次，为了减少计算量，一些FHM方法将融合的HSI F分解为子空间矩阵E ∈ $R^{Lh\times D}$和系数矩阵X ∈$R^{D\times WpHp}$的乘积。X表示由F的每个像素的子空间矩阵E中的向量成员的线性组合表示的系数，D表示由HSI通过图像分解获得的子空间中的纯光谱特征的向量的数量。然后将高维数据的求解转化为低维子空间系数矩阵的计算，有效降低了计算复杂度。基于上述假设，建立以下关系：
因此，我们对系数矩阵X而不是F添加另一个先验约束，以减少计算成本。受高光谱解混方法的启发，对于从F分解的系数矩阵X，我们可以观察到以下现象。
由于子空间矩阵E总是由从HSI提取的纯端元构成，因此它总是具有全列秩性质。因此，系数矩阵X是低秩矩阵，因为显然融合的HSI总是低秩矩阵。因此，我们可以利用核范数||X||_* 来描述X的低秩性质：


E通过顶点分量分析法从HSI中获得。

Optimization Procedure

我们使用交替方向乘子法来解决（7）的优化问题。通过引入五个辅助变量O、U、V、W和Q，（7）的优化问题被表示为
（8）的增广拉格朗日函数表示为

（9）的优化问题可以分解为七个子问题，分别求解。
1) X Subproblem: 我们通过下式求解$X^{(t+1)}$

其中上标t表示迭代次数。（10）的解为
2) O Subproblem: 时间复杂度$O^{(t+1)}$


3) U Subproblem: 我们从下式求解$U^{(t+1)}$

S-_m表示像素其未被矩阵Sm选择。然后，解(15)是
4) V Subproblem: 我们从下式求解$V^{(t+1)}$
5) W Subproblem: 我们通过下式求解$W^{(t+1)}$

这是典型的矢量全变分去噪问题，可以基于快速迭代收缩阈值算法直接求解。随后，我们

6) Q Subproblem: $Q^{(t+1)}$由下式求解：

可以直接用奇异值收缩算法求解

7) Y1, Y2, Y3, Y4, and Y5 Subproblems: 我们根据以下公式更新Y1、Y2、Y3、Y4和Y5：
基于以上分析，我们将所提出的算法总结为算法1。