W-NetPan: Double-U network for inter-sensor self-supervised pan-sharpening

（W-NetPan：用于传感器间自监督全色锐化的双U网络）

由于遥感数据的提供日益增多，可以通过全色锐化方法来处理空间-光谱限制。然而，融合传感器间数据在分辨率差异、传感器相关变形和地面实况数据可用性方面提出了重要挑战，这需要更准确的全色锐化解决方案。故，提出了一种新的基于深度学习的自监督全色锐化模型–双U网络(W-NetPan)。更详细地说，所提出的架构采用了创新的W形，该W形集成了两个U-Net段，这两个U-Net段顺序地用于空间匹配和融合传感器间的多模态数据。以这种方式，产生协同效应，其中第一段解决传感器间偏差，同时激励第二段以实现更精确的数据融合。此外，提出了一种联合损失公式，用于在没有外部数据监督的情况下有效地训练所提出的模型。

介绍

随着图像获取技术的发展，空间分辨率在许多重要的遥感应用中起着基础性的作用，包括土地覆盖制图、环境管理、风景识别和物质分析。尽管如此，由于入射光的衍射效应以及这种类型的技术的高成本和复杂性，设计具有非常高的空间分辨率的多光谱（MS）仪器常常变成不可行的任务。因此，许多现有的地球观测（EO）计划，如Copernicus，试图通过包括多个满足特定空间频谱需求的专用卫星来缓解这些限制。在Copernicus内部，
Sentinel-2 (S2) and Sentinel-3 (S3)就是这种趋势的例证。一方面，S2卫星15携带多光谱仪器，该仪器使用10米至60米的空间分辨率捕获443-2190纳米波长范围内的13个光谱带（B 01-B12）。另一方面，S3的对应设备包括the Ocean and Land Colour Instrument (OLCI)，该仪器在390-1040纳米光谱范围内提供21个波段（Oa 01-Oa 21），固定空间分辨率为300米。在这种情况下，MSI图像通常更适合于土地覆被特征化任务，而OLCI产品由于其有限的空间分辨率而更侧重于海洋、内陆水道和沿海地区的光谱特征。然而，传感器间Sentinel数据的空前可用性为我们带来了从图像处理和基于机器学习的角度处理此类约束的机会。
在过去的十年中，已经通过所谓的全色锐化方法在空间增强遥感图像方面做了大量的工作。具体而言，全色锐化是一个可被视为图像超分辨率的特殊情况的领域，其中两个给定的高分辨率(HR)全色(PAN)和低分辨率（LR）MS图像被组合以生成MS数据的HR版本。这样，全色锐化的最终目标在于将覆盖地球表面上相同区域的两个图像融合成联合表示，该联合表示收集输入数据的最精细的空间-频谱细节。从传统算法到最近的深度学习（DL）模型，文献已经提出了各种各样的全色锐化方法。在传统产品中，最流行的趋势之一是元件替代。在CS中，MS的空间分量被替换为其对应的HR对应物，HR对应物使用特定变换模型从PAN提取，例如主分量分析（PCA）或强度-色调-饱和度（IHS）。另一个流行趋势是多分辨率分析（MRA），其追求按照多分辨率分解方案将PAN的空间信息逐渐注入MS域。
最近，由于卷积神经网络（CNN）从光学数据中提取高度相关特征的出色能力，DL已经引起了极大的关注。更详细地，基于DL的全色锐化方法通常基于训练CNN模型以映射输入数据（即，HR PAN和LR MS）到目标HR MS域上。通过这种方式，不同的体系结构，例如，已经显示出显著的结果，同时设置了该领域中当前最先进的性能。
尽管通过这些和其他相关方法实现了积极的结果，但是当涉及到高度异构的传感器间场景（诸如S2/S3）时，仍然存在一些本质的开放式问题。在这种情况下，融合作业MSI和OLCI数据在分辨率差异、传感器相关变形和缺失地面实况数据方面带来了额外挑战，这些挑战通常超出了全色锐化算法的范围，需要联合解决以提供更准确的解决方案。让我们用一个直观的例子来说明这些问题。

图1显示了样本S2 MSI图像（a）、其S3 OLCI对应物（b）及其相应的重叠（c），其中OLCI像素被着色为绿色，MSI像素被着色为紫色。虽然S2/S3图像产品都被逻辑校正以适合地球表面上的相同区域，但是OLCI像素的实质上更大的尺寸不允许精确地适合MSI形状，因为其具有好得多的分辨率。在这种情况下，从OLCI揭示的深层光谱特征总是被期望包含一些空间失真，这些空间失真可能负面地影响对应的全色锐化结果，特别是对于非常深层的网络。作为回应，本文提出了一种新的全色锐化网络，重点关注与传感器间Sentinel数据特别相关的三个关键方面：
首先，S2和S3之间的分辨率差异可以随着网络深度的增加而产生显著的感受野变化。此效果可能会在逻辑上影响全色锐化输出的最终空间质量。
第二，数据的平台间性质可能产生跨传感器的地理定位误差的传播。这一事实可能最终导致输出HR标度的重要空间偏差。
第三，S2/S3业务图像的使用限制了用于培训的地面实况数据的可用性。这种情况可以将全色锐化学习协议约束到简化参考策略，其中传感器间分辨率问题可以被放大。
为了科普这些挑战，我们提出了一种基于DL的全色锐化模型，命名为自监督全色锐化双U网络（W-NetPan），它专门设计用于有效管理来自不同平台（如S2/S3）的数据。与文献中的其他方法不同，提出的架构定义了一个创新的W形，集成了两个连续的U形网段，同时用于空间匹配和融合传感器间的数据。此外，提出了一种新的损耗公式，从端到端的角度训练模型，既不需要外部数据监督，也不需要简化参考协议。首先，考虑的U-Net主干形状允许我们的W-NetPan模型跨层传播感受野，目的是减轻空间分辨率差异。其次，两个提出的U-Net段旨在解决传感器间的空间偏差，同时融合数据，这产生了协同效应，其中第一个U-Net刺激第二个找到更优的解决方案。最后，通过整合在不同分辨率级别下起作用的三个术语，提出的损失被表述为仅需要操作输入数据：传感器间空间匹配、MS光谱一致性和PAN空间一致性。

贡献

1）提出了一种新的DL结构（W-NetPan）用于全色锐化传感器间数据。
2）定义了一种新的联合损耗公式，用于在自监督方案下训练所提出的网络。
3）在融合S3 OLCI和S2 MSI业务数据时，分析了多种最先进的全色锐化方法的性能。
4）所提出的模型更适合于解决传感器间的Sentinel数据。本文的其余部分组织如下。

介绍

根据它们的性质，全色锐化算法可以大致分为四个主要组：1）分量替换(CS)，2）多分辨率分析(MRA)，3）稀疏因子分解(SF)和4）基于深度学习(DL)。在这种情况下，CS和MRA通常被确定为传统方法，而SF和最重要的是DL肯定代表了更新的方法。让我们沿着以下思路快速概述这些类别。
一般而言，CS方法开始于假设LR MS可以按照特定的变换模型被分离成空间分量和频谱分量。然后，PAN可以作为空间分量的良好替代，以通过相应的逆投影生成HR MS。逻辑上，每个基于CS的全色锐化方法以不同的方式定义这样的变换。例如，Gillespie等人提出使用Brovey变换，该变换简单地将每个重新采样的MS条带乘以PAN和MS之间的强度比。有学者使用PCA将MS的空间信息分离为第一主成分。类似地，Carper等人利用IHS变换提取空间信息作为强度通道。Aiazzi等人使用Gram-Schmidt（GS）正交化的修改版本，使用模拟PAN对MS波段进行去相关，最终用实际PAN替换模拟PAN。尽管它们简单，但是将空间信息与MS完全分离的困难通常使得基于CS的方法易于引入谱失真。
为了缓解这些问题，MRA技术选择在HR域中执行空间滤波。通过这种方式，从PAN中提取高频细节，然后将其注入每个内插MS波段以产生最终HR MS结果。例如，Liu等人提出了基于平滑滤波器的强度调制（SFIM），其计算PAN及其低通滤波版本之间的差异，以应用此类空间差异的加性注入。King等人提出使用PAN上的离散小波变换来获得遵循多分辨率分解方案的空间细节。为了进一步改进滤波过程，其他作者利用了仪器的调制传递函数（MTF）。Aiazzi等人采用传感器的MTF来构建广义拉普拉斯金字塔（GLP），并可能考虑几种注入模型，例如均匀权重（MTF-GLP）或高通调制（MTF-GLP-HPM）。尽管它们具有优点，但是基于MRA的方法由于其自身的低通滤波过程而可能仍然具有重要的空间限制。作为响应，在文献中还开发了替代的因子分解全色锐化机制。例如，Yokoya等人定义了耦合非负矩阵分解（CNMF）模型。具体地说，CNMF将输入数据分解成它们相应的光谱特征和分数丰度。然后，将MS特征和PAN丰度结合以获得目标HR MS输出。
尽管这些范例取得了显著的性能，但由于DL在许多不同的相关领域中取得了巨大的成功，DL无疑是最新兴的全色锐化趋势之一。具体地，基于DL的全色锐化背后的基本原理在于以与超分辨率技术类似的方式学习从输入MS/PAN数据到对应HRMS域的映射函数。例如，Masi等人提出了全色锐化卷积神经网络（PNN）。在PNN中，输入MS数据首先被内插到目标分辨率并连接到PAN。然后，使用三个卷积层将这些数据投影到目标HR MS空间上。Yang等人扩展了这一思想，提出了PanNet模型，该模型利用残差连接将输入光谱信息传播到全色锐化输出。Scarpa等人通过预训练和目标自适应调谐阶段进一步微调PNN。除了这些体系结构外，其他作者还提出了替代网络设计。例如，Xu等人创建了梯度投影全色锐化神经网络(GPPNN)。具体而言，GPPNN制定了两个生成模型，一个用于PAN，另一个用于MS，这两个模型都通过深度图像先验进行了正则化。在这种情况下，梯度投影方法用于获得相应的更新规则。然后，设计两个神经模块将这些生成模型及其更新嵌入到CNN中，CNN最终被优化以产生最终的全色锐化输出。Uezato等人还定义了利用双流网络的引导深度解码器(GDD)。一方面，编码器-解码器CNN用于从输入的MS和PAN数据中揭示多尺度特征。另一方面，在前级网络的指导下，采用生成式解码器产生融合结果。在另一项近期工作中，Ozcelik等人提出了PanColorGAN模型，该模型利用生成对抗网络（GAN）进行自监督全色锐化。与其他方法相比，PanColorGAN从彩色化的角度处理数据融合问题，其中使用具有颜色注入的U-Net作为生成器，使用条件面片GAN作为鉴别器。
毫无疑问，DL模型为学习全色锐化投影提供了一条非常有效的新途径。然而，融合高度异构的传感器间数据的任务仍然对全色锐化提出了一些重要的挑战。一般而言，基于DL的方法开始于级联LR MS和HR PAN特征以将输入数据投影到目标HR MS域上。虽然LR MS和HR PAN图像在逻辑上被捕获以覆盖地球表面上的相同区域，但是它们的空间分辨率差异使得不可能在像素级完美地匹配两个传感器，因为HR PAN具有更好的分辨率。在这种情况下，LR和HR像素之间分辨率变化固有的空间偏差会对输出结果产生负面影响。与从输入数据学习直接全色锐化投影的其他基于DL的解决方案不同，本文提出了一种新型双U拓扑，以在将细化特征投影到目标HR MS域时动态缓解输入的空间偏差。具体而言，这是操作S2/S3成像数据产品的情况，其中空间差异、传感器相关变形和缺乏实际地面实况数据肯定会影响现有方法的性能。S2和S3之间显著的空间分辨率差异可以产生卷积感受野的显著加宽，这可以最终导致模糊效应。此外，S2/S3平台间误差也可能在传感器之间传播，从而在输出中产生额外的偏差。此外，缺乏实际地面实况S2/S3融合数据也可能限制训练协议和基于精确DL的方法。为了解决所有这些难题，本文介绍了W-NetPan模型。

方法

本节描述了提议的W-NetPan模型，该模型专门设计用于从传感器间的角度进行自监督全色锐化。在下文中，我们基于所提出的基于CNN的模型来公式化跨不同传感器的全色锐化问题，同时定义所考虑的损失函数和其他实现细节。设I_MS ∈ $R^{XL\times YL\times B}$为LR MS图像，具有B波段和 X_L× Y_L空间大小。I_PAN ∈ $R^{XH\times YH\times 1}$表示空间大小为X_H× Y_H的HR全色图像在地球表面的覆盖范围与IMS相同。设R表示两个传感器之间的缩放比，即X_H =X_LR和Y_H = Y_LR。从这个意义上讲，重要的是要强调，关于RS场，我们在本工作中假设4级处理数据性质，即IMS和IPAN图像都是由不同的仪器和平台采集的，这在逻辑上会在每种情况下引入不同的误差类型和公差。其在每种情况下逻辑地引入不同的错误类型和容限。此外，令I_HR $R^{XH\times YH\times B}$是包含I_PAN空间分辨率和I_MS光谱信息的对应HR地面实况图像。在此上下文中，所提出的网络寻求近似形式为F(I_MS，I_HR)=I_HR遵循自我监督的方式，即不涉及任何真实数据。即不涉及任何地面实况数据。为了实现这一目标，我们定义了W-NetPan架构，该架构能够利用IPAN的更高分辨率来减轻传感器间的变形，同时将输入数据投影到目标HR MS域上。表1简要总结了本节中使用的主要符号。

W-NetPan: Double-U Network for Pan-sharpening

更深的CNN当然可以提取更高级别的图像特征，其可以提供对全色锐化的更好的视觉理解。然而，网络越深，对应的感受野越高，这可能最终在输出结果的空间细节中引起反作用。作为回应，我们采用了一种U形骨架结构来跨层传播感受野。具体地，U-Net架构通常由对称编码器/解码器路径构成，其中特征映射被随后下采样直到瓶颈层（在U-Net的底部），从该瓶颈层应用顺序上采样和级联以便将上下文信息传播到更高分辨率层。这样，对应于不同尺度的特征图可以同时用于增强全色锐化中的空间准确性和抽象能力。尽管如此，当涉及到传感器间自监督全色锐化时，标准U-Net架构仍然具有一些重要的约束。一方面，当融合来自两个相当不同的仪器的信息时，传感器间的问题可能引入空间偏差和不确定性。请注意，全色锐化技术仅在I_MS和I_PAN图像之间存在重要空间差异时才有意义，在这种情况下，I_MS中即使很小的地理定位误差也可能在HR域中产生重要偏差。
为了克服这些挑战，我们提出了图2所示的W-NetPan体系结构。

注意，所提出的模型采用了创新的W形，其集成了两个连续的UNet段，这两个段联合的工作用于空间匹配和融合传感器间数据。现在，让我们提供所考虑的段中的每一个的详细描述，所述段在图中由S₁和S₂标识。首先，S₁旨在匹配来自以不同分辨率操作的两个输入光源的空间信息。为此目的，本部分使用了三个不同的构件：$S^h$₁ (head),$S^b$₁ (body) 和$S^t$₁ (tail)。$S^h$₁ 的目标是基于处理输入数据以生成集中于空间信息的统一数据立方体。因此，它包含以下层：1）上采样（Up），2）合并（Pool）和3）级联（Cat）。在1）中，我们采用具有双三次滤波器的规则上采样层，用于将IMS空间上缩放到目标分辨率（比率R×）作为I’_MS。然后，使用光谱平均池化来模拟其全色对应物（I’_PAN），其最终堆叠到输入I_PAN图像上。body块（$S^b$₁）设法将这些数据投影到二维变形场上，该二维变形场描述I’_PAN（从I’_MS生成的模拟PAN）中的每个像素相对于I_PAN（输入PAN图像）的垂直和水平位移。具体地说，它由具有四个编码/解码层和两个最终卷积的标准U-Net构成。

图3显示了所考虑的U-Net骨干网架构，其中K_IN表示输入频带数K_1,2是3×3过滤器的个数，S_1,2是对应的像素跨距，K_OUT是输出频带的数量。在$S^b$₁情况下，我们设置K_IN = 2，K₁ = 16， K₂ = 32， S₁ = 2; S₂ = 1 和 K_OUT = 2 以生成相应的变形场Φ。关于tail块（$S^t$₁ ），针对在I’_MS和I’_PAN（分别作为I"_MS和I"_PAN）上应用所估计的变形以在后续阶段中使用。为了实现这一目标，我们基于所谓的空间transformer网络构建了可微分空间变换块。具体来说，对于I’_MS中的每个i像素，我们将其在I’_MS中的对应子像素位置计算为j=i + Φ(i)。由于图像位置在逻辑上仅定义在整数位置处，因此我们使用其八像素邻域对每个变换位置进行线性内插，如等式1显示。在这个表达式中，L_j表示j和d的像素邻居在宽度（X）和高度（Y）空间维度上迭代，j_d和q_d分别是j_d和q_d在每个维度上的坐标。
可以看出，在给定像素位置i处的I"_MS值可以通过以下过程获得。首先，将变换后的子像素位置j计算为j = i + Φ(i)。然后，对于j的8像素邻域内的每个像素q，q处的I’_MS的值（即，I’_MS(q)）乘以其对应的双线性重采样项，该重采样项基于j和q之间的距离，考虑X和Y空间维度。最后，所考虑邻域的加权和将生成最终重采样值I"_MS(i)。注意，该过程对应于中的双线性插值。以类似的方式，I"_PAN可以根据等式2从I’_PAN和 Φ获得。

一旦应用了未覆盖的变形，所提出的架构的最后一段负责将生成的数据映射到目标HR空间上。特别地，在S2中可以识别三个不同的块：$S^h$₂ (head),$S^b$₂ (body) 和$S^t$₂ (tail)。。首先，head块通过使用单个Cat层连接I"_MS和I_PAN来准备输入数据立方体。其次，body块（$S^b$₂ ）将这些数据投影到最终的HR MS图像I_HR，其收集I_HR的空间细节和I_MS的光谱信息。为此，我们遵循$S^b$₁中使用的相同U-Net主干架构，目标是设计具有两个对称U形段的拟议模型。请注意，这些类型的拓扑对称性已被证明对于使用有限数据获得更好的基于CNN的特征表示是有效的，这正是所考虑的自监督全色锐化场景中的情况。因此，我们在$S^b$₂ 的情况下，设置K_IN = B+1，K₁ = 16， K₂ = 32， S₁ = 2; S₂ = 1 和 K_OUT = B。此外，我们还利用到I"_MS的最终跳跃连接来驱动第二U-Net朝向学习在低空间分辨率域中不存在的空间细节。最后，tail块（$S^t$₂）的目标在于处理所生成的HR输出，以允许使用基于输入I_MS和I_PAN图像的无监督训练方案。具体而言，光谱平均池化层用于模拟全色版的I_HR，即I*_PAN，而R×R空间平均池来生成模拟的LR MS图像（即，I*_MS）。

Proposed Joint Loss Formulation

在本节中，我们描述了为以自监督方式训练我们的W-NetPan架构而提出的联合损耗公式。就此而言，重要的是要强调所提出的模型仅需要输入数据量I_MS和I_PAN用于训练。如图2所示，我们总共考虑三种不同的损失函数：(a)空间匹配(L₁)，(b)光谱一致性(L₂)和©空间一致性(L₃)。现在让我们更详细地描述它们：

(a）L₁:

第一个损失集中在W-NetPan的初始段的优化（即，S1），以便保证两个输入光学传感器之间良好的空间匹配。为此，L₁考虑两个不同的分量L_LNCC和L_GRAD。一方面，L_LNCC是I"_PAN和I_PAN之间的多模态重构项，以在空间上匹配模拟全色图像的变换版本和原始全色图像。注意，在这一点上，由于数据的多模态性质，预期两个图像之间存在固有强度变化。因此，我们使用局部归一化互相关（Local Normalized Cross Correlation (LNCC)）损失作为量化两个多模态图像之间对准程度的有效度量。另一方面，L_GRAD对应于基于梯度的正则化项，用于促进光滑变形场以及空间一致的局部位移的产生。在这种情况下，我们在Φ的空间梯度上采用扩散正则化器。Eq.3、4、5示出了L1的数学表达式，α是加权超参数，Ω是图像域的2D像素网格（由X-Y空间轴给出），L(·)相邻算子提取一个输出为（n×n）的尺寸。

(b）L₂：

第二损耗的目的在于确保输出结果之间的频谱一致性（即，I_HR）和输入MS图像（即，I_MS）中。为了实现这一目标，L₂利用输出的模拟LR版本（即，I*_MS），以便计算相对于I_MS的均方误差（MSE）。方程式6和7示出了对应的表达式，其中|Ω|表示图像域的像素总数。重要的是要注意，由于我们的方法是自监督模型，因此该损失需要与MS传感器捕获的信号一起工作。以这种方式，可以在不使用任何地面实况信息的情况下将网络输出拟合到原始MS数据。在I_MS的低水平空间分辨率下计算该光谱一致性，以避免在将MS仪器上采样到目标分辨率时产生不期望的模糊效应。否则，所考虑的基于MSE的拟合可能损害解的锐度。

(c）L₃：

第三个损失旨在保证IHR和输入全色图像之间的空间一致性。为此目的，L₃计算网络输出的模拟全色版本（即，I*_PAN）和I_PAN，通过两种不同的品质因数：MSE和LNCC。方程式8示出了所考虑的损耗表达式，其中β是加权超参数。一方面，MSE量化了模拟I*_PAN和原始I_PAN，目的是确保生成的HR结果不包含具有巨大空间偏差的离群值预测。另一方面，LNCC测量I*_PAN和I_PAN之间的相对局部位移，以便降低对模拟和真实的全色数据之间的可能动态范围变化的敏感性。在这方面,重要的是要强调我们使用的频谱池模拟I*_PAN，这一过程可能会引入一些人工模拟全色信号线性变化可能影响MSE计算。作为响应，我们在L₃中添加基于LNCC的项，以使空间一致性损失对一些信号幅度扰动更鲁棒。
最后，所提出的用于训练W-NetPan的联合损失函数可以用公式表示如下，