All_in_One_Bad_Weather_Removal_Using_Architectural_Search
这篇论文发表于CVPR2020,提出一种可以应对多种恶劣天气的去噪模型,可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。
提出的问题:
当下的模型只能针对一种恶劣天气进行处理,无法适用于多种复杂恶劣天气
目前的去噪数据集都是人为制作的,与真实数据具有差异。
创新点1:多合一去噪模型
该方法整体结构如下图所示,其基于对抗神经网络模型进行设计,包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同,本文提出一种多合一去噪模型,可以同时完成去雨、去雪、去雾操作。
在生成器中,主要包含三个特征提取模块(雨雪雾 FE,Feature Exactor)
,一个特征选择模块
(Feature Search)以及一个解码器模块
(Decoder),判别器则进行判断生成的图像是否为真,并将结果返回到生成器,计算损失,并通过反向传播更新生成器中的参数。
生成器含有多个任务的编码器,每个编码器与特定的恶劣天气类型相关,通过神经架构搜索来优化从各个编码器中提取的图像特征,并将这些特征转换为干净的图像。即思路为:将含有雨雪雾的图像输入生成器,通过生成器中的编码器(FE)进行特征提取,将提取的特征通过神经架构搜索进行优化,选取好的特征信息,将提取的特征信息送入解码器生成干净图像,即完成去噪过程。
生成器模块
多个编码器,用于提取不同恶劣天气图像的干净特征,从而进行恢复,生成干净图像。
创新点2:Feature Search模块
神经架构查询实际是找到干净的特征,将干净的特征转换为干净的图像。
可以看到,FeatureSearch模块中除了常规的卷积操作外,还有残差连接,自注意力机制等。
常规的去雾、去霾模型定义如下:
也可以表示如下:通过1x1卷积来提取学习M,从而估计M,实现的操作如4.1所示。
创新点3:多类辅助判别器
基于生成对抗网络(GNN)的判别器通过训练来判断恢复图像效果(即判断生成的图像真实性),但其不提供错误信号,对于多合一模型而言,只知道真假是远远不够的,需要直到生成的图像类型,从而使编码器根据不同类型更新参数,因此提出多类辅助判别器,用于对图像进行分类,从而在反向传播判别损失时,只更新对应判别器的参数。
具体思路
雾霾图像建模
其中,I(x)为有雾图像,更具体的,I(x)是在位置x的雨图像,J(x)为观察目标反射光,即去雾后的图像,A为大气光系数,t(x)为大气透射率,t(x)= e^-βd(x),其中,d(x) 为场景深度图,β 为大气光散射系数。由公式(1)式可以清晰知道,只要求得 t(x) 和 A ,便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。
而含雨图像与含雾图像的物理模型极为相似,故可以定义为:
其中,Ri代表第 i 层的雨线。
雨水图像建模
其中I(x)是彩色雨滴图像,M(x)是二值图像掩膜。J(x)是背景图像,即干净图像,K是图像所带来的附着的雨滴,代表着模糊的影像形成光线反射的环境。
雪花图像建模
其中S表示雪花,z是二元掩模,表示雪的位置。
根据上面的物理模型公式可知,不同恶劣天气噪声图像定义是不同的,这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因,但根据公式我们也可以看到其内在联系,可以将恶劣天气噪声图像模型定义如下: