Wave-Mamba 论文总结

news2024/11/26 11:04:47

题目:Exchange(交换) Wave-Mamba: Wavelet State Space Model(小波状态空间模型)for Ultra-High-Definition(超高清)Low-Light Image Enhancement(弱光图像增强)

论文:arxiv.org/pdf/2408.01276

源码:AlexZou14/Wave-Mamba: ACMMM2024: Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement

一、摘要

研究背景:超高清(UHD)技术以其卓越的视觉质量受到广泛关注,但它也给弱光图像增强(LLIE)技术带来了新的挑战。

研究问题:UHD图像本身具有较高的计算复杂度,导致现有的UHD LLIE方法采用高倍下采样来降低计算成本,而这又导致了信息丢失。

动机/启发:小波变换不仅允许在不丢失信息的情况下进行下采样,而且还将图像内容与噪声分离。该方法使状态空间模型在建模长序列时不受噪声的影响,充分利用了状态空间模型的长序列建模能力。

在此基础上,本文提出了一种新的Wave-Mamba 图像去噪方法,基于小波域两个关键思想:

  • 1)图像的大部分内容信息存在于低频分量而高频分量的信息较少
  • 2)高频成分对弱光增强的结果影响最小

主要工作

1)为了有效地对 UHD 图像的全局内容信息进行建模,提出了一种 低频状态空间块(LFSSBlock),该模块通过 对SSM的改进 来集中 恢复低频子带 的信息。

2)此外,提出了一种 高频子带信息的高频增强块(HFEBlock),利用 增强后的低频信息对高频信息进行校正 ,有效地恢复出正确的高频细节。

实验效果:通过综合评估,我们的方法表现出了上级的性能,在保持更精简的架构的同时,显著超越了当前的领先技术。

二、方法

Wave-Mamba 的主要架构,如下图所示:

Wave-Mamba 是使用多尺度 UNet 结构构建的,选用DWT下采样。

提出一个有效的 Mamba 架构来创建一个低频状态空间模块(LFSSBlock),目标是信息丰富的低频分量。 

提出了一种高频增强模块(HFEBlock),利用 增强的低频分量来校正高频信息,确保网络准确捕获高频纹理信息。

HFEBlock有两个输入一个同层的经过 SKFF 模块增强的下采样特征,另一个是下一层经过 LFSS 模块进行低频增强的下采样特征。

选择性核特征融合(SKFF)相当于 SKNet 中 SK 模块,这里直接引用。

最后,使用元素求和来获得高质量(HQ)输出图像𝐼ℎ𝑖𝑔ℎ。

A. Low-Frequency State Space Block(低频 状态空间 模块)

组成:LFSS模块主要由一个VSSM(视觉状态空间)模块和一个GFFN(门前馈网络)组成。

式中,VSSM(·) 为VSSM函数,GFFN(·) 为GFFN函数。LN(·) 表示层归一化操作。Z代表 LFSS模块 的中间隐变量。β 和 γ 表示可学习的比例因子。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2222902.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

stm32单片机基于rt-thread 的 串行 Flash 通用驱动库 SFUD 的使用

1024程序员节|征文 一、sfud 通用驱动库介绍 SFUD 是一款开源的串行 SPI Flash 通用驱动库。由于现有市面的串行 Flash 种类居多,各个 Flash 的规格及命令存在差异, SFUD 就是为了解决这些 Flash 的差异现状而设计,能够支持不同品…

二叉树习题其一Java【力扣】【算法学习day.8】

前言 书接上篇文章介绍的链表基础知识—>二叉树理论,这篇文章我们将通过习题来掌握哈希表的使用。 ###我做这类文档一个重要的目的还是给正在学习的大家提供方向(例如想要掌握基础用法,该刷哪些题?)我的解析也不会…

PHP多功能图片编辑器

PHP多功能图片编辑器 前言效果图功能说明平台支持情况部分源码领取源码下期更新 前言 PHP多功能图片编辑器 工具箱网站源码无需数据库上传即用,测试了一下还可以,免费分享自行研究。 效果图 功能说明 ✓ 无需上传,使用浏览器自身进行转换 …

049_python基于Python的热门微博数据可视化分析

目录 系统展示 开发背景 代码实现 项目案例 获取源码 博主介绍:CodeMentor毕业设计领航者、全网关注者30W群落,InfoQ特邀专栏作家、技术博客领航者、InfoQ新星培育计划导师、Web开发领域杰出贡献者,博客领航之星、开发者头条/腾讯云/AW…

多模态大语言模型(MLLM)-Deepseek Janus

论文链接:https://arxiv.org/abs/2410.13848 代码链接:https://github.com/deepseek-ai/Janus 本次解读Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation 前言 Deepseek出品,必属精品。 创新点 传…

如何在Java应用中发送短信

很多业务场景里,我们都需要发送短信,比如登陆验证码、告警、营销通知、节日祝福等等。 这篇文章,我们聊聊 Java 应用中如何优雅的发送短信。 1 客户端/服务端两种模式 Java 应用中发送短信通常需要使用短信服务提供商提供的短信 API 。 我…

多ip访问多网站

多IP访问多网站 1.预配操作 [rootlocalhost ~]# mount /dev/sr0 /mnt mount: /mnt: WARNING: source write-protected, mounted read-only. [rootlocalhost ~]# systemctl stop firewalld ----------关闭防火墙 [rootlocalhost ~]# setenforce 0 -------关闭selinux2.安装n…

技术人员的自我修炼:在变化中成长

引言 在技术的海洋中,我们每个人都是一名探索者,不断学习、适应、成长。作为一名技术人员,我们不仅要面对自身技能的提升和心态的调整,还要应对外部环境的不断变化。本文将探讨技术人员如何在内部修炼和外部适应中找到平衡&#…

UE5 喷射背包

首选创建一个输入操作 然后在输入映射中添加,shift是向上飞,ctrl是向下飞 进入人物蓝图中编写逻辑,变量HaveJatpack默认true,Thrust为0 最后

【C语言】编译和链接(编译环境和运行环境)

文章目录 一、翻译环境和运行环境二、翻译环境1.编译预处理编译汇编 2.链接 四、运行环境 一、翻译环境和运行环境 在 ANSI C 的任何⼀种实现中,存在两个不同的环境,如下: 翻译环境:在翻译环境中,会通过编译和链接两个…

鸿蒙软件开发中常见的如何快速自动生成二维码?QRCode组件

QRCode 用于显示单个二维码的组件。 说明: 该组件从API Version 7开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 二维码组件的像素点数量与内容有关,当组件尺寸过小时,可能出现无法展示内容的情况&…

在 Controller 层对系统作防御性编程

简介 Web 开发中无论是 MVC 还是 DDD 架构 Controller 层都是系统的门面,既对外的接口,对内的接口,一般情况下任何错误必须组织在 Controller 层 如何作 在 Controller 层中的接口使用 try-catch Slf4j RestController("/") Re…

MobileNetV2实现实时口罩检测tensorflow

项目源码获取方式见文章末尾! 回复暗号:13,免费获取600多个深度学习项目资料,快来加入社群一起学习吧。 **《------往期经典推荐------》**项目名称 1.【Informer模型复现项目实战】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【…

[LeetCode] 230. 二叉搜索树中第K小的元素

题目描述: 给定一个二叉搜索树的根节点 root ,和一个整数 k ,请你设计一个算法查找其中第 k 小的元素(从 1 开始计数)。 示例 1: 输入:root [3,1,4,null,2], k 1 输出:1示例 2&am…

《计算机视觉》—— 基于 dlib 库的方法将两张人脸图片进行换脸

声明:此篇文章所用的明星照片只为用于演示代码的效果,无诋毁她人肖像之意 一、案例实现的思想 此案例的核心是基于人脸68个关键点检测模型来实现的,人脸68个关键带点检测后的效果如下: 通过对上图中红色区域的转换,…

项目管理必备:如何快速创建项目交付时间表

“不做准备,就准备失败”。项目的成功很大程度上取决于前期规划的充分性和质量。 项目交付时间表是项目管理中一个重要的工具,通过将项目分解为可管理的区块来组织工作。该方法使管理者可以创建分步的工作路径,并展示项目的宏观视图&#xff…

诺贝尔颁给AI啦,没想到高性能计算CHPC也发力了!

诺贝尔化学奖垂青 AlphaFold 3 2020 年 12 月,AlphaFold 2 发布。相较于之前实验成本高、耗时长、蛋白质结构解析困难的传统方法,AlphaFold 2 可以通过深度学习技术,仅需几小时就能准确地预测蛋白质的三维结构,极大地加速了生物…

基于Multisim的水位测量电路设计与仿真

1.利用LED指示灯显示水位(最低水位、1/4、1/2、3/4、最高水位)。 2.达到最高水位时,自动报警。

uiautomatorviewer安卓9以上正常使用及问题处理

一、安卓9以上使用uiautomatorviewer问题现象 打开Unexpected error while obtaining UI hierarchy 问题详情 Unexpected error while obtaining UI hierarchy java.lang.reflect.InvocationTargetException 二、问题处理 需要的是替换对应D:\software\android-sdk-windows…

AI自动生成PPT哪个软件好?智能生成PPT不再熬夜做课件

大概这世上,都是职场牛马对“PPT”这三个字母的头痛反应最大吧! 是的,就连各个年级段的老师也是很头痛——愁着怎样能在排版整齐的情况下,将必考知识点都呈现在PPT每一张幻灯片页面里...... 近期打听到用人工智能生成ppt课件&am…