TGES 2024 | 基于空间先验融合的任意尺度高光谱图像超分辨率

news2025/4/24 5:27:28

Arbitrary-Scale Hyperspectral Image Super-Resolution From a Fusion Perspective With Spatial Priors

TGES 2024

10.1109/TGRS.2024.3481041

摘要:高分辨率高光谱图像(HR-HSI)在遥感应用中起着至关重要的作用。单HSI超分辨率(SR)方法旨在从其低分辨率(LR)对应物中获得空间域中的HR HSI。尽管已经进行了广泛的研究,但现有HSI SR方法的性能仍然有限,因为HSI数据结构本身无法为重建提供足够的空间信息,特别是在SR因子较大的情况下。在这项研究中,我们将单个HSI SR视为一项将LR HSI与其光谱响应RGB图像融合的任务,从中可以引入流行的超高分辨率RGB图像,即使在SR因子较大的情况下,也能为HSI SR提供足够和高质量的空间先验信息。在此框架内,我们进一步提出了一种HSI任意尺度SR方法,该方法在特征提取和局部隐式图像函数(LIIF)中自然地结合了这种空间先验。在两个基准遥感HSI数据集上进行了广泛的实验,展示了我们提出的方法的卓越SR性能。所提出的SPG-ARSR方法优于最先进的(SOTA)方法,证明了其有效性和实用性。

研究背景:

  1. 依赖 HSI 数据导致性能受限:传统基于优化的方法,利用低秩、稀疏等手工制作的图像先验从低分辨率 HSI(LR HSI)中约束求解 HR HSI ,但因浅层结构表达能力有限,性能不佳。基于深度学习的方法,虽能学习 HR HSIs 和 LR HSIs 之间的映射函数,可由于 HSI 数据本身空间分辨率低,难以提供高空间分辨率信息,导致现有方法性能提升受限,尤其是在大空间尺度放大时。
  2. 模型灵活性不足:大多数现有 HSI SR 方法缺乏灵活性,只能重建固定尺度(如 ×2、×4 和 ×8)的 HR HSIs 。为满足不同尺度需求,需分别训练多个模型,浪费大量计算和存储资源。尽管任意尺度 SR 方法是更好的选择,但前缺乏结合高灵活性和良好重建性能的任意尺度 HSI SR 方法
  3. 融合方法存在局限:融合 LR HSIs 和 HR RGB 图像可增强 HSI 分辨率,但现有基于融合的 HSI SR 方法严重依赖 LR HSIs 和 RGB 图像之间的精确对齐。近期利用 RGB 图像提升 HSI SR 性能的方法,如引入多任务网络将 RGB 图像 SR 任务作为辅助任务,虽能缓解数据稀缺问题,但增加训练样本导致训练时间延长。

研究方法:

1、整体框架:SPG-ASSR 由空间纹理先验生成器(STPG)、特征融合增强模块(FFEM)和先验引导任意尺度上采样模块(PGASUM)构成。输入 LR HSI 后,先通过光谱响应函数生成 LR RGB,再将其输入 STPG 编码空间结构和模式的先验信息,接着在 FFEM 中融合重建的 RGB 图像和 LR HSI 的特征,最后由 PGASUM 整合高分辨率空间先验信息,生成最终的重建 HSI。

2、空间纹理先验生成器STPG:使用在大量高质量 RGB 图像上预训练的 SR 网络作为 STPG,通过对 LR HSI 进行光谱维度下采样得到 LR RGB,再将其输入 STPG 重建具有丰富高分辨率空间信息的 HR RGB。该重建的 RGB 图像包含更多有用空间先验,既用于与 LR HSI 进行特征融合,又作为引导信息提升任意尺度上采样模块的性能。

  • 设计目的:从 RGB 图像中提取空间先验信息,为 HSI 超分辨率提供高质量空间纹理,弥补 HSI 自身空间信息不足的缺陷。
  • 实现方式:采用在大量高质量 RGB 图像上预训练的 SwinIR-CiaoSR 作为 STPG。首先将 LR HSI 沿光谱维度下采样生成 LR RGB,再将 LR RGB 输入 STPG,利用其预训练学到的图像纹理先验知识,重建具有丰富高分辨率空间信息的 HR RGB。

3、特征融合增强模块:构建类似 Unet 的架构和先验引导融合方案,引入光谱变换器捕捉光谱相关性,利用多卷积模块(MCM)捕捉多尺度空间纹理特征。通过在 FFEM 的起始和结束阶段进行特征融合操作,选择性地结合两种模态的信息,融合过程由卷积层和激活函数实现。

  • 作用效果:该模块能够选择性地融合两种模态的信息,有效结合 LR HSI 的光谱信息和重建 RGB 图像的空间纹理特征,为后续的上采样模块提供更丰富、更具代表性的特征,从而提升 HSI 的超分辨率质量。

4、先验引导任意尺度上采样模块:受 RGB 图像任意尺度 SR 的隐式神经表示方法启发,构建该模块。通过局部集成交叉注意力机制,将特征融合增强模块的输出作为查询,从重建的 RGB 图像中提取的高分辨率特征作为键和值,有效融合先验图像的特征。在模块末尾,利用特征融合模块进一步利用 STPG 的空间纹理,通过 MLP 得到预测像素值。

大多数现有的HSI SR方法仅限于固定比例的上采样,这给实际应用带来了挑战,因为它们需要为不同的上采样因子训练和存储单独的模型。通过隐式神经表示,广泛的方法在RGB图像任意尺度SR上取得了更大的进展。受这些工作的启发,我们提出构建一个先验引导的任意比例上采样模块,该模块可以合并先验图像Ysr中的高分辨率先验信息。我们采用局部集成注意力来整合附近的特征,并预测超分辨率图像中任何查询坐标处的新像素值,如图3所示。我们采用局部集成交叉注意来整合附近的特征,并预测重建图像中任何查询坐标处的新像素值,如图3所示。我们采用局部集成交叉注意来有效地合并先验图像Ysr的特征。具体来说,我们将从特征融合增强模块中获得的特征Ff作为查询,将从Ysr中提取的高分辨率特征Fhr-rgb作为关键字和值。

损失函数

实验:

比较的方法可分为两组:固定整数尺度SR方法(SSPSR[43]、RFSR[44]和ESSA[28])和任意尺度SR方法,(LIIF[38]、ITSRN[40]、LTE[41]和CiaoSR[42])。

不同比例因子

平均光谱差曲线

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2326622.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

算法基础_基础算法【高精度 + 前缀和 + 差分 + 双指针】

算法基础_基础算法【高精度 前缀和 差分 双指针】 ---------------高精度---------------791.高精度加法题目介绍方法一:代码片段解释片段一: 解题思路分析 792. 高精度减法题目介绍方法一:代码片段解释片段一: 解题思路分析 7…

Python数据类型-list

列表(List)是Python中最常用的数据类型之一,它是一个有序、可变的元素集合。 1. 列表基础 创建列表 empty_list [] # 空列表 numbers [1, 2, 3, 4, 5] # 数字列表 fruits [apple, banana, orange] # 字符串列表 mixed [1, hello, 3.14, True] # 混合类型…

如何使用cpp操作香橙派GPIO --使用<wiringPi.h>

香橙派是国产SBC ,对标树莓派。不过国内的开发环境确实挺惨的,没多少帖子讨论。楼主决定从今天起,不定期更新香橙派的教程。 今天的教程是如何使用香橙派下载wiringOP 并使用CPP操作GPIO 操作GPIO 下载wiringPi 检查git 版本克隆wiringPi…

nacos-sdk-go v2.29 中一个拼写错误,我定位了3个小时 ……

文章目录 问题背景问题现象问题定位解决方案经验总结 问题背景 今天在给项目增加服务注册和发现功能时,选择了 nacos 作为服务注册中心。在使用 nacos-sdk-go v2.29 版本进行开发时,遇到了一个令人啼笑皆非的问题,足足花了3个小时才找到原因。 问题现象 在实现服务订阅通知功…

Linux中的文件寻址

Linux的层级结构 在Linux中一切皆文件 其中 要注意在命令行中看实际选择写哪一种路径 相对路径 绝对路径名称的简写,省略了用户当前所在的系统位置此名称只有在管理当前所在系统目录中子文件时才能使用系统中不以/开有的文件名称都为相对路径在程序操作时会自动…

静态时序分析:时钟标记(作为数据使用的时钟)及其分析方式

相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html?spm1001.2014.3001.5482 引言 一般情况下,设计中的时钟路径和数据路径是严格区分开的:时钟路径即从时钟源对象(时钟定义点)到触发器的时钟…

AI学习记录-QWQ32b太强了

业务理解能力爆表,指令遵循能力极强,才32b成本极低,大量的公司的项目可以嵌入到自己的项目当中了,再fineture一下,以后不上AI的系统都卖不出去了。 试验1 输出 试验2: 输出

STM32 FATFS - 在spi的SD卡中运行fatfs

参考文章 STM32 CubeMX 硬件SPI SD卡 FATFS_stm32cubemx fatfs-CSDN博客 例程地址:STM32FatFS: 基于stm32的fatfs例程,配合博客文章 基于野火STM32MINI开发板 STM32配置 系统模式配置 输出串口配置 SPI配置 使用全双工模式,禁用硬件…

FreeCAD傻瓜教程-装配体Assembly的详细使用过程

源起: 看了官方的教程说明,感觉太过简单,好多细节没有体现,且该部分的翻译还没有。这里是做个记录,对使用过程中的细节进行图文说明,以方便真正的新手能够快速应用,制作出自己的零件&#xff0c…

数字电子技术基础(三十七)——利用Multisim软件实现16线-4线编码器和4线-16线译码器

1 利用Multisim软件来实现16线-4线编码器 在之前的博客中完成了利用Multisim软件实现8线-3线优先编码器,现在使用Multisim软件来实现16线-4线编码器,其原理图如下所示: 使用字发生器来实现16线-4线编码器,器件选择: …

02_MySQL安装及配置

文章目录 一、下载二、安装及配置2.1、选择安装类型2.2、检查需要的依赖2.3、安装2.4、配置2.4.1、配置类型和网络2.4.2、配置账户和角色2.4.3、配置Windows服务2.4.4、让配置生效 2.5、验证是否安装成功 三、卸载3.1、运行MySQL安装工具3.2、卸载及清理3.3、卸载之后的检查工作…

Windows11,微软软件(VSCODE/EDG)错误登录,0x80190001错误

修改网络设置 运行以下命令,打开网络共享中心 Start-Process "control.exe" -ArgumentList "/name Microsoft.NetworkAndSharingCenter" 点击左下角的 选项 TLS 1.1 1.2 1.3 这三个选项 1.0 不建议启用,不安全 1.1 可以不用启用…

力扣刷题-热题100题-第29题(c++、python)

19. 删除链表的倒数第 N 个结点 - 力扣(LeetCode)https://leetcode.cn/problems/remove-nth-node-from-end-of-list/description/?envTypestudy-plan-v2&envIdtop-100-liked 计算链表长度 对于链表,难的就是不知道有多少元素&#xff…

阻止上传可执行程序

点击工具中的文件服务器资源管理器 、然后点击文件屏蔽管理中的文件屏蔽,然后导入目标文件选择要限制的属性即可

DirectX修复工具免费版下载安装教程(附安装包)

文章目录 前言一、DirectX修复工具免费版介绍二、DirectX修复工具免费版安装教程1. 下载安装包2. 解压文件3. 以管理员身份运行4. 开始检测与修复5. 查看修复详情 前言 本教程主要介绍的是DirectX修复工具免费版下载安装教程,帮您轻松解决 DirectX 相关问题。 一、…

UE5学习笔记 FPS游戏制作33 游戏保存

文章目录 核心思想创建数据对象创建UIUI参数和方法打开UI存档文件的位置可以保存的数据类型 核心思想 UE自己有保存游戏的功能,核心节点,类似于json操作,需要一个数据类的对象来进行保存和读取 创建存档 加载存档 保存存档 创建数据对象…

TypeScript vs. JavaScript:技术对比与核心差异解析

引言 在 Web 前端开发领域,JavaScript(JS)长期占据主导地位,但随着项目复杂度的提升,开发者逐渐面临维护性差、协作困难等问题。TypeScript(TS)作为 JavaScript 的超集,通过静态类型…

《C奥林匹斯宝典:基础篇 - 重载函数》

一、重载函数 (一)函数模板重载 详细解析:函数模板提供了一种通用的函数定义方式,可针对不同类型进行实例化。当存在函数模板与普通函数、其他函数模板同名时,就构成了函数模板重载。编译器在编译阶段,依…

【408--考研复习笔记】计算机网络----知识点速览

目录 一、计算机网络体系结构 1.计算机网络的定义与功能: 2.网络体系结构相关概念: 3.OSI 七层模型与 TCP/IP 模型: 4.通信方式与交换技术: 电路交换 报文交换 分组交换 5.端到端通信和点到点通信: 6.计算机…

TiDB 可观测性解读(二)丨算子执行信息性能诊断案例分享

导读 可观测性已经成为分布式系统成功运行的关键组成部分。如何借助多样、全面的数据,让架构师更简单、高效地定位问题、分析问题、解决问题,已经成为业内的一个技术焦点。本系列文章将深入解读 TiDB 的关键参数,帮助大家更好地观测系统的状…