Pan-sharpening based on multi-objective decision for multi-band remote sensing images

（Pan-sharpening基于多目标决策的多波段遥感图像）
Pan-sharpening细节注射适用于融合多光谱图像(MS)与其相应的全色(PAN)图像产生合成图像。理论上，合成图像的光谱分辨率应该等于MS图像的光谱分辨率，并且其空间分辨率与PAN图像的空间分辨率相同。然而，现有的全色锐化方法在细节注入过程中，光谱信息和强度信息之间的权衡不够，导致融合图像的空间或光谱失真。为了提高融合图像的质量，我们提出了一种基于多目标决策的多波段遥感图像全色锐化算法。该方法从多目标的角度出发，建立参数化模型，同时最大化融合图像中所有像素的质量。我们提出了一种细节注入的方法来增强MS图像的边缘和纹理。设计了一种基于注入细节的光谱保真融合模型，利用光谱调制对MS图像进行全色锐化。提出了一种基于多目标决策的算法来求解该模型。该方法的主要优点是能够提供有效的光谱调制，消除细节注入的不利影响。

介绍

Pan-sharpening是目标检测、图像分割、地形分类、图像配准和校正以及其他特定遥感图像分析和处理操作中必要的预备步骤。Pan-sharpening也被认为是空间-频谱融合，是一个具有挑战性的任务。
近些年提出了许多方法进行Pan-sharpening，第一个被提出的是组件替换(CS)的融合方法。这种方法将图像分成不同的组件通过使用另一个特征空间变换分离光谱和空间信息的技术。著名的基于CS方法包括强度/色相饱和度(intensity/hue saturation (IHS)),主成分分析(principal component analysis (PCA)),转换和Gram-Schmidt 。其中,最受欢迎的IHS。IHS的最早应用使用数学颜色模型将标准颜色(red ®, green (G), and blue (B))图像分离为I、H和S分量。这种变换可以有效地分离图像的光谱和空间信息，但仅限于RGB波段。为了克服这个问题,提出了广义IHS (generalized IHS (GIHS)) 。IHS延伸到多波段图像,GIHS被广泛使用。近年来，基于GIHS的应用越来越多，例如：Rahmani等人提出了一种基于边缘自适应的新型IHS，Yang等人开发了一种联合细节注入方法，其中强度（I）信息通过GIHS从MS图像中分离出来。基于CS的方法虽然容易实现且速度快，但是其融合图像会有严重的光谱失真现象。

第二个是多分辨率分析（multi-resolution analysis(MRA)）方法。这类方法包括变换域和空间域技术。它们在不同尺度下观察原始图像，其中从输入图像分离的低/高频系数被分析和融合。目前基于MRA中变换域的方法以wavelet transforms (WT)为主,例如curvelet transformation, Contourlet transformation, and Shearlet transformation。通过小波变换的发展，这种方法在不同程度上保留了光谱信息，但可能会丢失细节信息。稀疏表示是目前最流行的MRA技术。该算法通过建立训练集得到一个过完备字典，并利用字典的原子稀疏表示图像。这类方法虽然具有信息重构的优点，但计算复杂度较高。众所周知的基于MRA的空间域方法主要包括Gaussian filtering, box filtering, bilateral filtering and guided filtering。与基于CS的方法相比基于MRA的方法在融合图像中提供了光谱一致性，但在细节方面的质量改善不足。

第三个是基于模式的全色锐化方法，主要由统计模型组成，例如基于深度学习的模型和高频细节注入（high-frequency details injection (HFDI)）模型。这类方法提供了通过以联合方式利用不同图像处理技术来改进融合方法的性能的可能性。统计分类方法使用贝叶斯估计Bayes estimation或马尔可夫随机场Markov Random Field 来建立基于CS或MRA技术的融合模型。这些方法需要做出一些假设并使用关于融合模式的先验知识。在真实的应用中，先验知识难以获取，基于预测的假设会导致逼近误差。
基于HFDI的方法因其强大的方法集成和融合框架性能而备受关注。这种基于细节注入概念的方法允许首先通过基于MRA或CS的技术处理PAN图像的细节，然后利用这些细节对MS图像进行空间增强。然而，由于细节注入过多或不足，融合后的图像容易出现光谱或空间失真。为了解决这一问题，许多研究者试图通过构造细节注入模式下的光谱或强度调制参数来模拟颜色和纹理信息之间的平衡。Leung等人应用PAN和MS图像的边缘信息来构造系数矩阵，以自适应地执行细节注入。该方法有效地调制了融合图像中的强度分量，但光谱分量没有被调制，这在大多数情况下会导致光谱失真。Rahmani等人开发了一种基于频谱调制和边缘保护的全色锐化方法。与以往方法不同的是，该方法只对融合图像的光谱分量进行调制，而不对强度分量进行调制，从而导致融合图像的空间失真。为了克服前两种方法的局限性，Yang等人利用MS图像通道和PAN图像细节之间的关系，同时调制空间和光谱信息，以避免图像失真。然而，由于通道间的整体关系导致光谱信息不均衡，导致融合图像的光谱失真。

综上，本文以HFDI为研究对象，从多目标的角度提出了一种新的融合模型，以提高融合图像的质量。如Rahmani等人所述，传统的HFDI包括两个步骤：1）细节提取和2）细节注入。因此，为了提高HFDI的性能，在空间上增强边缘和纹理，在光谱上保留颜色信息是至关重要的。因此，除了上述基本步骤之外，还需要设置用于光谱和强度调制的一对参数。本文在HFDI的基础上提出了一种新的参数化模型。

贡献

首先，为了求解该模型，我们提出了一个多目标优化模型，通过提高MS图像中每个像素的固有自适应性来消除注入细节对MS图像中所有像素的影响，而不是消除注入细节对MS波段的影响。其次，在解决问题的过程中,我们设计一种多目标决策算法,基于该算法去计算光谱调制系数。最后，我们引入了一种自适应细节注入的方法来增强空间信息，同时调节亮度。
1）我们引入一个参数模型通过设置两个参数对光谱和强度调节实现之间的权衡空间和光谱信息的融合图像。
2）我们提出了一种多目标决策优化算法来提高MS图像中每个像素的固有适应性。该算法的应用实现了注入细节对MS图像的所有像素的影响减小，而不是注入细节对MS图像的频带的影响减小。
3）我们设计了一个层次分析法来解决所提出的多目标决策问题，以获得一个决定光谱调制幅度的决策映射。据我们所知，本文提出的基于多目标决策优化的光谱调制方法是全色锐化领域的第一个工作。

HFDI fusion problem

从全色锐化的角度出发，传统的HFDI包含MS图像和细节分量两个参数，通过注入PAN图像的细节来提高MS图像的空间分辨率。融合图像的数学公式如下：
Rahmani等人指出Eq.(1)不能提供正确的细节注入，因为$PA{N}^{detail}$被不加区别地注入到LRMS_k中。因此，他们引入了将$PA{N}^{detail}$分量正确地划分为k个部分以将$PA{N}^{detail}$自适应地注入到MS图像中的注入粒度（injection grain）。在此基础上，通过合理定义不同的注入粒度，提出了一种改进的HFDI框架，称为IHFDI。
数学上，IHFDI中的融合图像定义如下：

其中β_k表示使融合图像强度调制的注入粒度。随后，各种研究利用MS和PAN图像的近似关系或其他方法来构建注射颗粒β_k。然而，当应用IHFDI时，观察到虽然可以有效地解决空间失真，但是频谱失真没有被有效地改善。为了克服这一问题，Leung等人基于HFDI开发了一种新的频谱调制模型，称为SHFDI。SHFDI使用融合图像中的边缘增强程度来调制其中的光谱信息。从数学上讲，SHFDI中的融合图像定义如下：值得注意的是，SHFDI侧重于光谱调制以避免融合图像的光谱失真，而IHFDI侧重于强度调制以避免融合图像的空间失真。于是，一个有趣的问题自然产生了：如果同时解决光谱和强度调制问题，它的性能是否会更好？为了回答这个问题，Yang等人开发了另一种基于IHFDI的具有光谱调制的全色锐化框架，我们将其称为SIHFDI，其中SIHFDI中的融合图像用公式表示为：在Eq. (4) 中 LRMS_k 和$PA{N}^{detail}$ , 类似于Eq. (1) 分别担任起调整之前的当前光谱和空间信息的角色。在全色锐化过程中，$PA{N}^{detail}$经过细节平移注入到LRMS_k 中，这将改变原始的空间信息属性，从而影响光谱信息的正常显示。α_k和β_k , 类似于 Eqs. (2) 和(3) , 分别表示调制之前的当前频谱和空间信息的缩放系数，其可以被视为溢出值的偏移或补偿操作。因此，α_k和β_k的作用不是独立的，而是相互关联的。求解Eq.(4)的关键就是找到α_k和β_k的最佳组合。有学者设计了一个基于细节α_k转移系数减少光谱畸变引起的细节没有考虑β_k转移,导致空间融合图像的失真。我们考虑了注入细节对当前MS波段光谱的影响，以改善正确调制光谱的α_k。同时，我们考虑了MS和PAN图像的近似关系，构造了β_k，将$PA{N}^{detail}$ 正确地注入到LRMS_k中。实验结果包括融合图像(图1所示)和数值结果(见表1)表明,我们的方法显著优于许多其他state-ofthe-art方法。然而，方法中的一个问题是α_k的容量受到注入细节的变化幅度的限制。
在此基础上，从多目标优化的角度提出了一种有效的谱调制参数α_k的构造方法，并对SIHFDI的全色锐化性能进行了研究。具体而言，从多目标的角度，探讨了当前MS像素对空间细节变化的适应能力。在此基础上，提出了一种新的基于多目标决策的参数模型。我们的工作可以被认为是SIHFDI方法成功的另一个证明，因为在由PAN图像的细节控制的背景下基于细节注入的全色锐化是具有挑战性的现实世界应用。

Parameter model based on SIHFDI

在本节中,我们提出的架构和融合原理提出了参数模型,框架见Fig.2
首先对MS图像进行重采样和插值得到LRMS图像，然后采用加权平均的方法从LRMS图像中分离出I分量。在此基础上，对PAN图像进行细节提取，并通过引导滤波器保证细节变化趋势与LRMS图像一致。然后，提取的细节被注入到LRMS图像中，并通过β_k进行强度调制。 与现有技术不同的是，该方法基于SIHFDI，构建了基于多目标优化的频谱调制结构模型参数。频谱调制的过程是首先构造多目标决策算法，产生一个决策映射ω_k。然后将映射作用于LRMS图像以执行光谱调制。总之，所提出的全色锐化方法包括三个步骤：1)有效增强融合图像的边缘和纹理在空间;2)有效调制颜色信息的融合图像的光谱;3)有效的融合图像的强度调制。

Spatial enhancement based on details injection

我们第一次获得Pan图像细节的指导过滤器(guide filter)。引导过滤器是一种空间过滤器属于基于MRA的方法。与高斯滤波器和双边滤波器类似，在对输入图像进行滤波以产生其低通版本之后，通过图像减法计算其丢失的高频信息作为注入细节。与高斯滤波器和双边滤波器不同，在引导滤波器中需要两个输入图像，并且滤波操作基于局部线性模型。一幅输入图像作为滤波图像，另一幅作为引导图像，保证输出图像的变化趋势与引导图像一致。结果，所获得的细节将与引导图像具有高相关性。在本文中，我们将I分量作为引导图像，而PAN图像作为滤波图像。具体地，我们首先通过最简单的函数来获得I分量，如下所示：

令GF（PAN，I）表示引导滤波器的操作，并且OP = GF（PAN，I）是输出图像。然后可以通过由下式给出的局部线性模型来获得滤波操作：

其中OP_i和I_i分别是输出图像OP和引导图像I中的第i个像素，W_s是以像素s为中心的尺寸为（2r + 1）×（2r + 1）的局部窗口。可以通过输入和输出图像之间的平方误差的最小化来估计α_s和B_s，如下所示：

其中PAN_i是滤波后PAN图像的第i个像素，η是正则化参数。通过求解Eq.(7)中，我们得到a_s和b_s如下：

基于输出图像OP，我们计算$PA{N}^{detail}$ 如下：
最后，PA N细节分量通过Eq.(1)注入LRMS图像。然后实现全色锐化图像的空间增强。

Multi-objective decision algorithm for spectral modulation

融合图像的光谱调制是基于HFDI的全色锐化的关键问题之一。因此，需要一种有效的方法来保持融合图像中的高光谱分辨率。为了解决这个问题，Leung等人开发了一种基于边缘恢复频谱调制的频谱调制算法，其中光谱调制参数α_k计算如下