Arbitrary-Scale Hyperspectral Image Super-Resolution From a Fusion Perspective With Spatial Priors
TGES 2024
10.1109/TGRS.2024.3481041
摘要:高分辨率高光谱图像(HR-HSI)在遥感应用中起着至关重要的作用。单HSI超分辨率(SR)方法旨在从其低分辨率(LR)对应物中获得空间域中的HR HSI。尽管已经进行了广泛的研究,但现有HSI SR方法的性能仍然有限,因为HSI数据结构本身无法为重建提供足够的空间信息,特别是在SR因子较大的情况下。在这项研究中,我们将单个HSI SR视为一项将LR HSI与其光谱响应RGB图像融合的任务,从中可以引入流行的超高分辨率RGB图像,即使在SR因子较大的情况下,也能为HSI SR提供足够和高质量的空间先验信息。在此框架内,我们进一步提出了一种HSI任意尺度SR方法,该方法在特征提取和局部隐式图像函数(LIIF)中自然地结合了这种空间先验。在两个基准遥感HSI数据集上进行了广泛的实验,展示了我们提出的方法的卓越SR性能。所提出的SPG-ARSR方法优于最先进的(SOTA)方法,证明了其有效性和实用性。
研究背景:
- 依赖 HSI 数据导致性能受限:传统基于优化的方法,利用低秩、稀疏等手工制作的图像先验从低分辨率 HSI(LR HSI)中约束求解 HR HSI ,但因浅层结构表达能力有限,性能不佳。基于深度学习的方法,虽能学习 HR HSIs 和 LR HSIs 之间的映射函数,可由于 HSI 数据本身空间分辨率低,难以提供高空间分辨率信息,导致现有方法性能提升受限,尤其是在大空间尺度放大时。
- 模型灵活性不足:大多数现有 HSI SR 方法缺乏灵活性,只能重建固定尺度(如 ×2、×4 和 ×8)的 HR HSIs 。为满足不同尺度需求,需分别训练多个模型,浪费大量计算和存储资源。尽管任意尺度 SR 方法是更好的选择,但目前缺乏结合高灵活性和良好重建性能的任意尺度 HSI SR 方法。
- 融合方法存在局限:融合 LR HSIs 和 HR RGB 图像可增强 HSI 分辨率,但现有基于融合的 HSI SR 方法严重依赖 LR HSIs 和 RGB 图像之间的精确对齐。近期利用 RGB 图像提升 HSI SR 性能的方法,如引入多任务网络将 RGB 图像 SR 任务作为辅助任务,虽能缓解数据稀缺问题,但增加训练样本导致训练时间延长。
研究方法:
1、整体框架:SPG-ASSR 由空间纹理先验生成器(STPG)、特征融合增强模块(FFEM)和先验引导任意尺度上采样模块(PGASUM)构成。输入 LR HSI 后,先通过光谱响应函数生成 LR RGB,再将其输入 STPG 编码空间结构和模式的先验信息,接着在 FFEM 中融合重建的 RGB 图像和 LR HSI 的特征,最后由 PGASUM 整合高分辨率空间先验信息,生成最终的重建 HSI。
2、空间纹理先验生成器STPG:使用在大量高质量 RGB 图像上预训练的 SR 网络作为 STPG,通过对 LR HSI 进行光谱维度下采样得到 LR RGB,再将其输入 STPG 重建具有丰富高分辨率空间信息的 HR RGB。该重建的 RGB 图像包含更多有用空间先验,既用于与 LR HSI 进行特征融合,又作为引导信息提升任意尺度上采样模块的性能。
- 设计目的:从 RGB 图像中提取空间先验信息,为 HSI 超分辨率提供高质量空间纹理,弥补 HSI 自身空间信息不足的缺陷。
- 实现方式:采用在大量高质量 RGB 图像上预训练的 SwinIR-CiaoSR 作为 STPG。首先将 LR HSI 沿光谱维度下采样生成 LR RGB,再将 LR RGB 输入 STPG,利用其预训练学到的图像纹理先验知识,重建具有丰富高分辨率空间信息的 HR RGB。
3、特征融合增强模块:构建类似 Unet 的架构和先验引导融合方案,引入光谱变换器捕捉光谱相关性,利用多卷积模块(MCM)捕捉多尺度空间纹理特征。通过在 FFEM 的起始和结束阶段进行特征融合操作,选择性地结合两种模态的信息,融合过程由卷积层和激活函数实现。
- 作用效果:该模块能够选择性地融合两种模态的信息,有效结合 LR HSI 的光谱信息和重建 RGB 图像的空间纹理特征,为后续的上采样模块提供更丰富、更具代表性的特征,从而提升 HSI 的超分辨率质量。
4、先验引导任意尺度上采样模块:受 RGB 图像任意尺度 SR 的隐式神经表示方法启发,构建该模块。通过局部集成交叉注意力机制,将特征融合增强模块的输出作为查询,从重建的 RGB 图像中提取的高分辨率特征作为键和值,有效融合先验图像的特征。在模块末尾,利用特征融合模块进一步利用 STPG 的空间纹理,通过 MLP 得到预测像素值。
大多数现有的HSI SR方法仅限于固定比例的上采样,这给实际应用带来了挑战,因为它们需要为不同的上采样因子训练和存储单独的模型。通过隐式神经表示,广泛的方法在RGB图像任意尺度SR上取得了更大的进展。受这些工作的启发,我们提出构建一个先验引导的任意比例上采样模块,该模块可以合并先验图像Ysr中的高分辨率先验信息。我们采用局部集成注意力来整合附近的特征,并预测超分辨率图像中任何查询坐标处的新像素值,如图3所示。我们采用局部集成交叉注意来整合附近的特征,并预测重建图像中任何查询坐标处的新像素值,如图3所示。我们采用局部集成交叉注意来有效地合并先验图像Ysr的特征。具体来说,我们将从特征融合增强模块中获得的特征Ff作为查询,将从Ysr中提取的高分辨率特征Fhr-rgb作为关键字和值。
损失函数
实验:
比较的方法可分为两组:固定整数尺度SR方法(SSPSR[43]、RFSR[44]和ESSA[28])和任意尺度SR方法,(LIIF[38]、ITSRN[40]、LTE[41]和CiaoSR[42])。
不同比例因子
平均光谱差曲线