高光谱图像超分辨率

一、基础内容

高光谱图像是对地物进行多波段成像所得到的一组二维图像，每个波段对应一个二维图像。

高光谱数据是一个光谱图像的立方体，其空间维描述地表二维空间特征，是空间信息与光谱信息的有机结合。

成像光谱仪对地面上的小斑块做光谱测量，斑块大小就对应图像空间分辨率。

多数情况下，传感器探测的光谱失一个混合光谱（因为地面上有多个物质），对混合光谱有贡献的“纯的”光谱被称为端元光谱。

• 图像光谱匹配

  图像中的光谱和地物的光谱有一致性。

  匹配方法常用余弦距离（强调的是角度问题，两条曲线的角度一致）、连续统去除方法(连接光谱的峰点)强调的是吸收，突出光谱的吸收特征、

  

  混合光谱线性分解

  咱们实际测量的是混合光谱，是各个典型地物光谱的线性加权和，典型地物的光谱我们称之为“纯谱”或者“端元光谱”

  简单的光谱线性分解可以使用矩阵变换来完成，设矩阵W其中每一行对应一个选定的特征，每一列对应一个典型地物的纯端元，矩阵的值为纯端元的像素值（行是特征，列是地物）

• 数据降维对高光谱图像处理非常必要

1.1 高光谱图像特点

• 光谱分辨率高，波长范围宽400nm~2500nm。
• “图谱合一”，两个空间维度，一个光谱维度。
• 空间分辨率低。
• 数据量巨大，波段众多，数据冗余度大。
• 主要用于反演地物成分，提取地物组成，材料构成等。

1.2 研究现状

搭载高光谱成像传感器的卫星：

国家机构	传感器/卫星	分辨率
印度空间	HysIS
德国航空航天	DESIS
中国	GF-5
中国	环境一号HJ-1A

HSI超分辨率技术主要分两类：

1. 单图超分辨率(只用HSI)

   无任何辅助信息单纯的从低分辨率HSI图像通过模型建立或者算法求解，得到需要求解的高光谱图像

2. 与高分辨率多光谱图像MSI融合

方法分为以下5类：

1. 成分替换

   简单有效，速度快且稳定，但是容易出现光谱失真

2. 多分辨率分析

   不同尺度分解，不同细节注入。简单高效结果稳定，有时会造成空间信息失真。

3. 贝叶斯模型

   借助先验知识推断先验概率。对先验知识有一定要求，不能灵活适用不同的高光谱图像。

4. 矩阵张量分解

   HSI天然的高维属性，矩阵张量分解能非常好的刻画图像性质。但几乎所有的基于矩阵分解的方法都需要将三维数据结构扩展为矩阵，这样无法充分利用空间和光谱之间的关系。后面张量引入，但是消耗了更多的计算量。

5. 深度学习

1.3 高光谱图像数据集

名称	数量	波长范围	内容
哥伦比亚计算机视觉实验室数据集CAVE	32张512x512	31个10nm宽,400~700nm	小型物品
哈佛数据库Harvard	50张1392x1040	31个波段，420~720nm	室内室外场景
Chikusei	2517x2335	128个波段，363~1018nm	日本农业和城市区
Pavia University	610x340	115个波段，430~838nm	意大利帕维亚大学

1.4 评价指标

1. 峰值信噪比PSNR

   

   其值越大证明图像失真越小

2. 光谱角映射SAM

   

   角度越小越好

3. 全局相对误差ERGAS

   

   当ERGAS的值为0时表示两张图像数值上没有任何区别，之间没有任何误差

4. 机构相似性SSIM

​ 理想数值为1

5. 互相关性CC

   

   CC是一个用来衡量融合空间效果的指标，它可以表征空间失真情况。

1.5 Wald协议

有必要用一张理想图像作为参考，计算融合图像与高质量的理想图像之间的误差。然而这种理想图像在现实生活中并不存在，所以Wald提出了Wald协议。

数据集中原本的高分辨率图像被当作参考图像，经过空间下采样得到低分辨率高光谱图像，经过光谱下采样得到高分辨率高光谱图像。

二、文献阅读清单

来源：https://github.com/junjun-jiang/Hyperspectral-Image-Super-Resolution-Benchmark#readme

​ 高光谱图像超分辨率是一种可以从以下观测数据之一生成高空间和高光谱分辨率图像的技术（1）低分辨率多光谱图像，例如LR RGB图像，（2）高分辨率多光谱图像，例如 HR RGB 图像或其他 2D 测量，(3) 低分辨率高光谱图像，或 (4) 高分辨率多光谱图像和低分辨率高光谱图像。根据观测数据的种类，高光谱图像超分辨率技术可分为四类：空间光谱超分辨率（SSSR）、光谱超分辨率（SSR）、单幅高光谱图像超分辨率（SHSR）和多光谱与高光谱图像 (MHF)

2.1 综述+先锋工作

• Unmixing based multisensor multiresolution image fusion, TGRS1999, B. Zhukov et al. [pdf ]

1.提出解混的思想。

讨论了多传感器多分辨率技术(MMT)的约束和无约束算法，对数据的几何共配准有很高的要求。

“高分辨率”图像的空间信息与来自“低分辨率”图像的辐射信息合并。该过程也可以看作是对低分辨率图像的锐化

• Application of the stochastic mixing model to hyperspectral resolution enhancement, TGRS2004, M. T. Eismann et al.[pdf ]

2.随机混合模型在高光谱分辨率增强中的应用。

提出了一种最大后验（MAP）估计方法，通过高分辨率的全色影像提升高光谱图像分辨率。该方法利用底层光谱场景内容的随机混合模型（SMM）来开发一个成本函数，同时优化观测到的高光谱和全色图像以估计高光谱场景，以及光谱混合模型的局部统计数据。比传统方法（主成分替代、最小二乘估计）具有更好的高光谱分辨率增强结果。

高光谱传感的一个缺点是空间分辨率通常比全色传感器粗糙。由于需要在高光谱传感器的更精细光谱分辨率下保持成像灵敏度，因此在传感器设计中出现了光谱和空间分辨率之间的工程权衡。因此，增强的光谱保真度通常以空间保真度为代价，并且可能会丢失精细的形状和纹理特征。

• Resolution enhancement of hyperspectral imagery using maximum a posteriori estimation with a stochastic mixing model, Ph.D. dissertation, 2004, M. T. Eismann et al.

首次使用贝叶斯

• MAP estimation for hyperspectral image resolution enhancement using an auxiliary sensor, TIP2004, R. C. Hardie et al.

• Hyperspectral resolution enhancement using high-resolution multispectral imagery with arbitrary response functions, TGRS2005, M. T. Eismann et al.

• Hyperspectral pansharpening: a review. GRSM2015, L. Loncan et al.[PDF] [Code]

• Hyperspectral and multispectral data fusion: A comparative review of the recent literature, GRSM2017, N. Yokoya,et al.[PDF] [Code]

• A Survey of Hyperspectral Image Super-Resolution Technology, IGARSS2021, ML Zhang et al.[PDF]

• Recent Advances and New Guidelines on Hyperspectral and Multispectral Image Fusion, Information Fusion2021, RW Dian, et al.[PDF]

• Multispectral and hyperspectral image fusion in remote sensing: A survey[[pdf](…\文献\英文\Multispectral and hyperspectral image fusion in remote sensing A survey.pdf)]

3.遥感中的多光谱和高光谱图像融合：一项调查

把融合方法分为：全色锐化、基于分解、基于机器学习；总结了常用数据集和性能评估指标；提出未解决的问题绘制指导方针。

针对这一任务，有叫多光谱与高光谱融合、高光谱超分辨率、高光谱锐化、超锐化

---

• 全色锐化相关方法

  HS和MS图像融合的第一个方法是借用pansharpening的基于小波的技术。Pansharpening(全色锐化)是指将MS图像与分辨率更高的PAN图像进行融合，从而显示出更好的空间分辨率。Pansharpening算法可以分为四个不同的类别，即多分辨率分析、成分替换、基于变分优化和机器学习。

  使用pansharpening方法来解决不同的图像融合任务的想法已被广泛利用。

  为了使该问题适用于经典pansharpening，进一步面临的问题是波段分配问题，即应该选择哪些高空间分辨率的MS波段来提高给定HS波段的空间分辨率。（事实上，在开发pansharpening方法时，由于存在唯一的高空间分辨率图像(即PAN)，所以没有考虑这个问题。）

  针对波段分配问题提出了波段选择和波段合成两种方案

  • 波段选择

    

    主块用红框表示。其思想是根据分配算法创建组。属于给定组的所有HS波段都使用相同的MS波段增强，从而将问题转向经典pansharpening，其中PAN图像由给定的MS波段表示。为了定义分配算法，我们可以利用不同的标准，这些标准可以分为两个主要的子类别。

    类别1：静态赋值

    ​ 这种情况下使用MS和HS传感器的相对光谱响应函数（rrs）度量。计算HS波段和MS波段集之间的相似度度量。最大相似度准则用于赋值。不同的度量标准产生不同的算法。比如两个rrs的质心之间的欧氏距离的最小化。

    

    类别2：基于动态分配

    ​ 在这种情况下，相似度度量直接定义在采集的图像上(依赖于图像的算法)，从而导致不同采集的不同分配，即使来自同一对传感器。计算每个HS图像与所有MS图像集之间的相似度度量。

    

  • 波段合成

    这种软决策方案如图所示，其中主块用红框表示。其思想是从所有的MS光谱波段集合开始，为每个HS波段合成一个HR图像。合成的模型是线性的。线性组合的权重是通过最小化下采样的MS与低分辨率HS之间的均方根误差得到的。然后将合成的Vj与对应的Hj相融合就得到了融合后的$\widehat{H_j}$,这一过程也叫做超锐化。

    

---

• 基于分解的方法

  1. 矩阵分解

  HS或MS图像是一个三维的立方体（H×W×C），这些立方体从数学角度可以视作矩阵，然而为了保留局部空间、光谱相关性，采用tensor张量的形式描述最为合适。张量可用将HS/MS立方体的三种模态信息整合到一个统一的模型中。

  图像光谱退化模型，X,Y,Z光谱下采样矩阵和空间下采样矩阵

  

  

  将HS影响分解成丰富度和端元，端元这个矩阵是采用VGA、SISAL、SVD这些方法得到。基于矩阵分解的融合方法依赖于谱基和系数的估计来解决问题。根据优化公式，我们可以进一步将这些方法分为三类：

  • 空间信息只依赖MS图像，光谱信息只依赖HS图像。优化公式如下

    

  • HS也提供空间信息，光谱信息只依赖HS图像，所以优化D公式同上，优化A公式如下

    

  • 都依赖

    

    这里面的$\rho$和$\varphi$是一个正则化函数，$\lambda$是权重参数

  2. 张量分解

     张量分解首次提出是2009年，用到HS与MS融合是在2017年[PDF].

     最常为使用的方法是Tucker分解, 还有一些其他分解，比如CP分解、张量奇异矩阵分解（t-SVD）

     

     H代表高度维度的矩阵分解，W宽度维度的矩阵分解，$N_H$代表光谱维度,c代表系数。想要获得融合后的结果，需要估计c,W,H,$N_H$

     常见的解决方案是根据空间结构的相似性（即寻找非局部的空间自相似性）将图像分割成立方体，并将其分组。W和H可以从HR MS中去学习，$N_H$可以从LR HS中学习。困难在c的学习，这是一个未确定的问题，非唯一的解决方案。

     由于HS图像的自相似性和局部空间-光谱相关性，核心张量c被认为是稀疏的，基于此一些方法（耦合稀疏张量因子化、统一的低等级张量恢复模型、Tucker模型的低级张量近似法）被提出。

---

• 基于机器学习的方法

  借助机器学习非线性映射函数关系得到$X$

以前的工作通常假设高光谱相机的点扩散函数和相机的RSR函数之间的线性映射是已知的，这往往是不现实的。所提出的盲法可以在超分辨率重建过程中迭代地、交替地优化观测模型和融合过程。

感觉只详细讲了几篇文献，没怎么综述

---

数据集：

开放问题和未来展望

1. 基于锐化的方法是最早开发的，最近开发的基于锐化的方法与波段分配框架的结合还有待探索。
2. 基于分解的方法比较有希望的是用张量来模拟MS/HS立方体，另外这样做需要估计很多参数，未来参数的轻量化有待考量。
3. 基于机器学习的方法通常在cave和Harvard数据集上实验，与遥感数据集相比变异性要小很多，未来需要开发出新的方法使其有更强的泛化能力，在真实的场景中也能很好表现。
4. 从计算机视觉领域文献借鉴，以无监督的方式训练网络，即克服在降低分辨率下训练的局限性，依靠 "尺度间的不变性 "假设）将是未来进一步调查的主题。

• A Review of Spatial Enhancement of Hyperspectral Remote Sensing Imaging Techniques pdf

4.增强高光谱空间分辨率综述

1. 第一部分介绍背景

2. 第二部分 讨论了与 HSI-SR 技术相关的关键概念和数学背景。

   方法分类：全色锐化、基于方法的方法（基于优化的方法）、基于深度学习的方法

   基于辅助数据、Fusion 和 SISR 的可用性。

   融合方法最初是作为 MSI 的全色锐化问题开始的，然后扩展到 HSI。然而，由于其大量的光谱信息，Fusion 方法对于 HSI 来说是一个复杂得多的问题。因此，出现了基于方法（也称为基于优化）的方法。

   如今，全色锐化和基于方法的方法都被视为传统方法，而 DCNN 已成为该领域研究最广泛的方法 。与 Fusion 方法类似，SISR 方法也从灰度和 RGB 图像开始，其中一些方法用于 HSI-SR，例如插值和超分辨率映射 (SRM)。插值法和 SRM 方法如今大多被认为已过时；它们几乎完全被 DCNN 所掩盖，如第 III 节所示。表 I 给出了 HSI-SR 方法分类。

   

   datasets

   

   由于Cuprite高光谱数据集2019年才公开使用，现在没有研究采用这个数据集。而最为广泛使用的PU与CAVE数据集并不是采用遥感设备获取的，而Cave是多光谱数据集。

   3-D CNN 已被普遍使用并在 HSI-SR 中显示出有效性

   

3. 第三部分 说明了基于 2002 年至 2022 年间进行的 200 多项研究的荟萃分析。

   采用爬虫爬取了：高光谱 SR、高光谱空间增强、高光谱重建、高光谱融合、高光谱 SISR 和高光谱全色锐化（hyper-spectral SR, hyperspectral spatial enhancement, hyperspectral reconstruction, hyperspectral Fusion, hyperspectral SISR, and hyperspectral pansharpening. ）这些关键字相关文章，并从其他来源手动添加了更多条目，包括 SPIE 遥感会议论文集和 MDPI 遥感期刊。

   

   

   ​

   从两个图中每年的论文总数可以看出，随着时间推移人们对 HSI-SR 的兴趣有所增加。预计到 2022 年底，发表论文的数量将进一步增加。此外，尽管 HSI-SISR 研究在过去二十年中一直在增加，但图 7 显示，每年 Fusion 和 SISR 研究的数量之间存在很大差距，这可以归因于缺乏数据的劣势此外，图 8 显示，自 2017 年以来，人们对用于 HSI-SR 的 DCNN 的兴趣逐渐增加，DCNN 的发表数量也在增加。尽管帕维亚大学是最常用的数据集，但 VIRIS 仍然比 ROSIS 使用更广泛，因为使用 VIRIS 收集的数据集总数超过使用 ROSIS 收集的数据集的数量。此外，几篇论文提到使用 AVIRIS 进行数据集收集，但没有指定本文提到的任何标准数据集。这也解释了为什么 Hyperion 传感器似乎被广泛使用。

   

   传统 HSI-SISR 技术的出版物在 2016 年左右停止，而传统融合方法领域仍然活跃。

4. 第四部分 HSI-SR 的融合方法

   全色锐化

   

   • CS

   

   图像融合的一个示例是全色锐化，它通过将 LR-HSI 与从 MSI 中提取的一个 PAN 波段融合，将其转换为 HR-HSI。全色锐化方法可大致分为四类：成分替代 (CS)、多分辨率分析 (MRA)、变分方法和混合方法。

   

   CS源自于PCA主成分替代，将HSI的第一主成分替换成全色波段。著名的算法有BT（Brovey transform）和Gram–Schmidt (GS) pansharpening、IHS

   ​

   BT对于一个组里面的每一个HS波段乘以与之（组内唯一的HR）PAN，然后再除以组内波段总和。而GS直接将HS平均，再将得到的PAN空间信息注入。IHS,就是将HS图像分解成强度、色调和饱和度，将其强度通过直方图匹配用PAN的强度替换。都会导致严重的光谱失真。

   • MRA

   

   MRA在应对光谱失真问题上会好一点，这个${\hat{Y}}_k$,就代表HS的第k个波段上采样得到的结果，P代表PAN，$P_L$代表采用平滑滤波器SFIM将PAN的分辨率下采样。$P-P_L$得到的就是高频信息，再采用一个高通滤波器HPM，对其进行提取空间信息。k不同代表高通滤波器不同。最后再加上这个空间信息。

   

   还有一种多分辨率分析是采用小波变换（WT），也就是PAN图像去直方图匹配每一个HS波段之后，采用小波变换，对匹配HS后的PAN进行滤波，滤波后是会有高频和低频的信息，将低频保留，高频置为0。然后用原始PAN减去这个低频信息，就可以得到空间信息，然后再分别注入到HS的每一个波段。

   与WT类似，LP拉普拉斯金字塔也可以提取高频和低频信息。所以也可以采用LP操作。

   ---

   • 变分方法：没看懂

   • 混合方法：在MRA方法中引入GFPCA,GF代表指导过滤guide filiter,相当于，在进行MRA方法时，先对第一主成分进行GF,其他的采用普通的双三次插值。这样就能更好的保留空间信息。MRA主要是会导致空间失真。

---

基于方法：

• 矩阵分解/光谱解混