题目:Exchange(交换) Wave-Mamba: Wavelet State Space Model(小波状态空间模型)for Ultra-High-Definition(超高清)Low-Light Image Enhancement(弱光图像增强)
论文:arxiv.org/pdf/2408.01276
源码:AlexZou14/Wave-Mamba: ACMMM2024: Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement
一、摘要
研究背景:超高清(UHD)技术以其卓越的视觉质量受到广泛关注,但它也给弱光图像增强(LLIE)技术带来了新的挑战。
研究问题:UHD图像本身具有较高的计算复杂度,导致现有的UHD LLIE方法采用高倍下采样来降低计算成本,而这又导致了信息丢失。
动机/启发:小波变换不仅允许在不丢失信息的情况下进行下采样,而且还将图像内容与噪声分离。该方法使状态空间模型在建模长序列时不受噪声的影响,充分利用了状态空间模型的长序列建模能力。
在此基础上,本文提出了一种新的Wave-Mamba 图像去噪方法,基于小波域两个关键思想:
- 1)图像的大部分内容信息存在于低频分量,而高频分量的信息较少。
- 2)高频成分对弱光增强的结果影响最小。
主要工作:
1)为了有效地对 UHD 图像的全局内容信息进行建模,提出了一种 低频状态空间块(LFSSBlock),该模块通过 对SSM的改进 来集中 恢复低频子带 的信息。
2)此外,提出了一种 高频子带信息的高频增强块(HFEBlock),利用 增强后的低频信息对高频信息进行校正 ,有效地恢复出正确的高频细节。
实验效果:通过综合评估,我们的方法表现出了上级的性能,在保持更精简的架构的同时,显著超越了当前的领先技术。
二、方法
Wave-Mamba 的主要架构,如下图所示:
Wave-Mamba 是使用多尺度 UNet 结构构建的,选用DWT下采样。
提出一个有效的 Mamba 架构来创建一个低频状态空间模块(LFSSBlock),目标是信息丰富的低频分量。
提出了一种高频增强模块(HFEBlock),利用 增强的低频分量来校正高频信息,确保网络准确捕获高频纹理信息。
HFEBlock有两个输入一个同层的经过 SKFF 模块增强的下采样特征,另一个是下一层经过 LFSS 模块进行低频增强的下采样特征。
选择性核特征融合(SKFF)相当于 SKNet 中 SK 模块,这里直接引用。
最后,使用元素求和来获得高质量(HQ)输出图像𝐼ℎ𝑖𝑔ℎ。
A. Low-Frequency State Space Block(低频 状态空间 模块)
组成:LFSS模块主要由一个VSSM(视觉状态空间)模块和一个GFFN(门前馈网络)组成。
式中,VSSM(·) 为VSSM函数,GFFN(·) 为GFFN函数。LN(·) 表示层归一化操作。Z代表 LFSS模块 的中间隐变量。β 和 γ 表示可学习的比例因子。