图像增强是图像处理领域长期的、不可回避的研究课题,也是活跃在各大顶会中的热门研究方向。其应用范围广泛涉及医学影像分析、安全监控、智能交通、目标检测与识别、遥感影像处理等领域,具有很高的实用性,因此每年的相关论文数量也比较多。
这次我就给同学们盘了今年图像增强领域最新的SOTA方案,还整理了部分经典的图像增强模型,另外附上了一些开源的数据集。因为时间和篇幅关系,只做简单介绍,建议有发顶会需求的同学看原文仔细学习~
论文原文及代码数据集看文末
2023最新方法
1.Brighten-and-Colorize: A Decoupled Network for Customized Low-Light Image Enhancement(ACM MM 2023)
基于图像上色的定制化解耦图像增强算法
「简述:」论文提出了一种名为“亮度和色彩化”的网络(BCNet)。这个网络将图像色彩化引入LLIE,以实现准确色彩的低光图像增强,并根据用户偏好进行定制。具体来说,BCNet将LLIE视为一个多任务学习问题,包括亮化和色彩化两个子任务。亮化子任务与其他常规方法相似,以获得明亮的光线。而色彩化子任务则使用类似于用户指南图像色彩化的方法,通过输入低光图像的色彩进行色彩化。经过训练后,用户可以根据自己的偏好调整色彩指南,以获得定制的增强结果。
2.Empowering Low-Light Image Enhancer through Customized Learnable Priors(ICCV2023)
通过可学习的定制化先验增强低光图像的能力
「简述:」论文提出了一种用于低光图像增强的范式,通过探索定制的可学习先验来提高深度展开范式的透明度。作者基于掩码自动编码器(MAE)的强大特征表示能力,定制了基于光照和噪声的MAE先验,并从两个角度重新开发它们:1)结构流:训练MAE从正常光图像到其光照属性,然后将其嵌入到展开架构的近端操作设计;2)优化流:训练MAE从正常光图像到其梯度表示,然后将其用作约束模型输出噪声的正则化项。这些设计提高了模型的解释性和表示能力。
3.Double Domain Guided Real-Time Low-Light Image Enhancement for Ultra-High-Definition Transportation Surveillance
用于超高清交通监控的双域引导实时低光图像增强
「简述:」论文提出了一种用于超高清交通监控的双域引导实时低光图像增强网络(DDNet)。该网络采用编码器-解码器结构,将增强处理分为颜色增强和梯度增强两个子任务。通过在颜色和梯度域上进行分解和重建,网络能够恢复被黑暗隐藏的详细特征信息,提供优越的增强质量和效率。实验结果表明,与现有方法相比,DDNet在标准数据集和交通相关数据集上具有更好的性能。此外,该网络还具有实际应用价值,可用于更高层次的图像分析,如对象检测和场景分割。
4.Dimma: Semi-supervised Low Light Image Enhancement with Adaptive Dimming
自适应调光的半监督低光图像增强
「简述:」论文提出了一种半监督方法Dimma,用于增强低光图像并保持自然色彩。该方法利用少量图像对来复制特定相机拍摄的极端光照条件下的场景,通过引入一个卷积混合密度网络来实现场景失真颜色的生成。此外,Dimma能够准确调整调光因子,从而在低光图像增强过程中提供广泛的控制和灵活性。该方法仅使用少量图像对就能达到与全监督方法相当的结果,并在完整数据集上实现更好的性能。
5.Joint Correcting and Refinement for Balanced Low-Light Image Enhancement
平衡低光图像增强的联合校正和细化
「简述:」论文提出了一种新的方法JCRNet,用于平衡低光图像增强中的亮度、颜色和光照。这个方法分为三个阶段,每个阶段都有不同的任务。首先,使用编码器和解码器以及局部监督机制来提取图像的局部信息和细节。其次,通过跨阶段特征传递和空间特征转换,进一步改进颜色校正和特征细化。最后,采用动态光照调整方法,将预测图像与真实图像进行比较,以自适应地平衡光照。实验证明,该方法在多个基准数据集上优于其他21种最先进的方法。
6.ALL-E: Aesthetics-guided Low-light Image Enhancement(IJCAI 2023)
美学引导的低光图像增强
「简述:」论文提出了一种新的方法,美学引导的低光图像增强(ALL-E),将美学偏好引入到LLE中,并在强化学习框架下以美学奖励来训练模型。每个像素都作为一个代理,通过递归操作来优化自己,即估计其相应的调整曲线。大量实验表明,整合美学评估可以提高主观体验和客观评价。
经典图像增强模型
1.CLUT-Net: Learning Adaptively Compressed Representations of 3DLUTs for Lightweight lmage Enhancement(ACM-MM2022)
学习自适应压缩的3DLUT表示以实现轻量级图像增强
「简述:」论文提出了一种有效的3DLUT压缩表示方法,即CLUT,它保持了3DLUT的强大映射能力,但参数数量显著减少。基于CLUT,作者进一步构建了一个轻量级图像增强网络,即CLUT-Net,其中图像自适应和压缩自适应的CLUT在端到端的方式下进行学习。在三个基准数据集上的大量实验结果表明,CLUT-Net优于现有的最先进的图像增强方法,并且参数数量减少了几个数量级。
2.NeX: Real-time View Synthesis with Neural Basis Expansion(CVPR2021)
基于神经基础扩展的实时视图合成
「简述:」论文介绍了一种新的基于多平面图像(MPI)的实时视图合成方法NeX,它能够以更快的速度和更高的精度再现高水平的与视图相关的效果。本文的方法使用神经网络学习基础函数来模拟每个像素,并采用混合隐式-显式建模策略来提高细节精度。在多个数据集上进行评估后,该方法实现了所有主要指标的最佳整体得分,并且渲染速度比现有技术快1000倍以上。
3.Multi-Stage Progressive Image Restoration(CVPR2021)
多阶段渐进式图像恢复
「简述:」论文介绍了一种新的多阶段架构MPRNet,用于图像恢复任务。该架构通过逐步学习恢复功能来平衡空间细节和高级别上下文信息。具体来说,模型使用编码器-解码器架构学习上下文特征,并将它们与保留局部信息的高分辨率分支相结合。在每个阶段,模型引入了一种逐像素自适应设计,利用就地监督注意力重新加权局部特征。此外,不同阶段之间的信息交换是通过顺序和横向连接来实现的。
4.A fusion-based enhancing method for weakly illuminated images(Signal Processing2016)
一种基于融合的弱光照图像增强方法
「简述:」论文提出了一种简单高效的基于融合的弱光照图像增强方法,使用多种成熟的图像处理技术。该方法将观测图像分解为反射图像和光照图像,并使用sigmoid函数和自适应直方图均衡化来产生亮度改善和对比度增强的两个输入。通过多尺度方式融合派生输入和相应权重来产生调整后的光照,并将调整后的光照补偿回反射图像以获得最终的增强图像。该方法可以对不同弱光照条件下的图像进行增强,如逆光、非均匀光照和夜间等。
5.DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks(ICCV2017)
使用深度卷积网络在移动设备上拍摄DSLR质量的照片
「简述:」本文介绍了一种使用深度卷积网络将普通照片转化为DSLR质量图像的端到端深度学习方法。该方法使用残差卷积神经网络来提高色彩再现和图像清晰度,并引入了一个综合感知误差函数,该函数结合了内容、颜色和纹理损失。作者还介绍了一个大规模的数据集DPED,用于评估该方法的效果。实验结果表明,该方法可以产生与DSLR拍摄的照片相媲美的高质量图像,并且适用于任何类型的数码相机。
6.WESPE: Weakly Supervised Photo Enhancer for Digital Cameras (CVPR2018)
用于数码相机的弱监督照片增强器
「简述:」WESPE是一个基于深度学习的照片增强器,它可以将低质量照片自动转化为DSLR相机拍摄的高质量照片。它通过弱监督学习进行训练,不需要大量带注释的数据,只需要两个数据集:一个来自源相机,另一个是任意高质量图像。该方法适用于任何相机,数据收集和训练可以在短时间内完成。评估结果显示,WESPE可以产生与最先进的强监督方法相当或更好的结果。
7.Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs(CVPR2018)
使用GANs从照片中进行图像增强的无配对学习
「简述:」论文提出了一种无配对学习方法,用于图像增强。通过给定一组具有所需特征的照片,该方法学习一个照片增强器,将输入图像转换为具有这些特征的增强图像。该方法基于双向生成对抗网络(GANs)的框架,并进行了多项改进,包括加入全局特征、使用自适应加权方案和引入单独的批量归一化层。实验结果表明,该方法在图像增强方面是有效的。
8.Classification-Driven Dynamic Image Enhancement(CVPR2018)
分类驱动的动态图像增强
「简述:」论文介绍了一种新的卷积神经网络架构,该架构可以学习如何增强图像的特定细节,以提高图像分类的准确性。这种架构使用一系列增强滤波器,通过端到端的学习方式来适应不同的图像。实验结果显示,这种增强方法在多个数据集上都能提高图像分类的性能,并且可以应用于任何通用的卷积神经网络架构。
9.Range Scaling Global U-Net for Perceptual Image Enhancement on Mobile Devices(ECCV-PIRM2018)
用于移动设备感知图像增强的范围缩放全局U-Net
「简述:」论文提出了一种名为RSGUNet的深度学习方法,用于在移动设备上进行感知图像增强。该方法利用U-Net结构在不同的分辨率下提取图像特征,并学习全局特征向量和一种新的范围缩放层,以减轻增强图像中的伪影。实验结果表明,该方法能够输出具有更高质量和更快推理时间的增强图像,并在一项挑战中获得第一名。
10.Fast Perceptual Image Enhancement(ECCV-PIRM2018)
快速感知图像增强
「简述:」论文研究了基于深度学习的移动设备图像增强方法。由于移动设备的相机质量与数码单反相机相比还有差距,作者提出了一种高效的网络架构,可以在较低的空间分辨率下完成大部分处理,从而提高图像质量和速度。该方法在消费者级CPU上实现了6.3倍的计算加速,同时获得了比基准更高的平均意见得分(MOS)。
11.Deep Networks for Image-to-Image Translation with Mux and Demux Layers(ECCV-PIRM2018)
使用Mux和Demux层进行图像到图像转换的深度网络
「简述:」论文提出了一种轻量级的深度学习方法,用于图像增强。作者使用了Mux层和Demux层来进行上采样和下采样,同时使用密集块来提高性能。在训练过程中,作者使用了加权的L1损失、对抗性损失、上下文损失和感知损失等目标函数来提高图像质量。该方法在实验中表现优异,获得了PIRM Enhancement-On-Smartphones Challenge 2018比赛的第三名。
开源数据集
-
对比度增强评估数据库
-
NILUT三维LUT数据集
-
内窥镜真实图像
-
真实世界模糊图像数据集
-
I-HAZE图像去雾数据集
-
UIEB水下图像增强数据集
-
GoPro去模糊数据集
-
NH-HAZE
-
ExDark图像数据集
-
WoodScape自动驾驶鱼眼数据集
-
PolyU数据集
关注下方《学姐带你玩AI》🚀🚀🚀
回复“图像增强”获取论文+代码+数据集
码字不易,欢迎大家点赞评论收藏