很久之前写的文章,前两天才见刊。项目的具体代码因项目原因无法公布,我自己重新训练了一个版本(包含两类预训练模型),供初学者参考。本文主要为A+B式创新。
文章链接:paper
代码链接:GitHub || CSDN
摘要:微光图像增强算法是图像增强算法领域的一个重要分支。为了解决亮度增强后增强图像特征严重退化的问题,人们在构建多尺度特征提取模块方面投入了大量的工作。然而,此类研究通常会产生大量参数,从而阻碍了工作的推广。为了解决上述问题,本文提出了一种用于低光图像增强的快速重参数残差网络(FRR-NET)。它取得了超越同类多尺度融合模块的结果。通过设计轻量级快速重新参数残差块和基于变压器的亮度增强模块。本文的网络只有0.012 M参数。大量的实验验证表明,本文算法在色彩还原上更加饱和,同时适当提高了亮度。与现有方法相比,FRR-NET 在主观视觉测试和图像质量测试方面表现良好,参数较少。
首先,写这篇文章的动机是想在FMR-NET的基础上再做进一步工作。主要参考的算法请查看我的paper。FRR-NET的出发点在于两个,第一,更好的特征提取能力;第二,更快的处理速度。特征提取能力的部分,还是考虑到了多尺度的使用(Inference那里的推理速度应该是你自己构建的模块中,最慢的那个卷积),因此,级联结构 + 权重融合是很好的方法。文章名字为快速,自从FasterNet和RRRP之类的文章出来以后,除了参数量、浮点计算量以外,大多还需要考虑内存访问次数和运行速度。因此,Concat换成ADD,取消BN层,尽可能少的使用激活函数,都是很好的解决办法。
在FRRB中,最重要的工作除级联外,则是仅使用1/4通道数量进行特征提取(图像冗余的利用,可参考FasterNET原文,和GhostNET也很类似)。其次。注意力模块,非常简单,三个步骤,就不多讲了。下面的一个方法就是轻量化的双分支Transformer模块,参考的STAR。不过既然是做的有监督学习,迭代函数增强之后,依然只是作为亮度增强的特征,重新与主干网络的特征相结合。
网络整体结构非常简单。是初学者可以参考并作为研究基础的原始网络。
实验部分,我做了三个消融实验:
因为当时的想法很抽象,用了LOL数据集和FIVEK数据集做了一个结合,结果效果还行吧。三个消融实验则是模块间的消融实验,数据集的消融实验和FRRB的优势性对比(请看原文)
最后的实验效果,是很不错的。欢迎引用我的文章:
Chen, Yuhan, et al. "FRR-NET: a fast reparameterized residual network for low-light image enhancement." Signal, Image and Video Processing (2024): 1-10.