图像去雨、去雪、去雾论文学习记录

news2024/7/6 20:35:00

All_in_One_Bad_Weather_Removal_Using_Architectural_Search

这篇论文发表于CVPR2020,提出一种可以应对多种恶劣天气的去噪模型,可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。
提出的问题:
当下的模型只能针对一种恶劣天气进行处理,无法适用于多种复杂恶劣天气
目前的去噪数据集都是人为制作的,与真实数据具有差异。
在这里插入图片描述

创新点1:多合一去噪模型

该方法整体结构如下图所示,其基于对抗神经网络模型进行设计,包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同,本文提出一种多合一去噪模型,可以同时完成去雨、去雪、去雾操作。

在这里插入图片描述
在生成器中,主要包含三个特征提取模块(雨雪雾 FE,Feature Exactor),一个特征选择模块(Feature Search)以及一个解码器模块(Decoder),判别器则进行判断生成的图像是否为真,并将结果返回到生成器,计算损失,并通过反向传播更新生成器中的参数。

生成器含有多个任务的编码器,每个编码器与特定的恶劣天气类型相关,通过神经架构搜索来优化从各个编码器中提取的图像特征,并将这些特征转换为干净的图像。即思路为:将含有雨雪雾的图像输入生成器,通过生成器中的编码器(FE)进行特征提取,将提取的特征通过神经架构搜索进行优化,选取好的特征信息,将提取的特征信息送入解码器生成干净图像,即完成去噪过程。

生成器模块

多个编码器,用于提取不同恶劣天气图像的干净特征,从而进行恢复,生成干净图像。
在这里插入图片描述

创新点2:Feature Search模块

神经架构查询实际是找到干净的特征,将干净的特征转换为干净的图像。

在这里插入图片描述

在这里插入图片描述
可以看到,FeatureSearch模块中除了常规的卷积操作外,还有残差连接,自注意力机制等。
常规的去雾、去霾模型定义如下:
在这里插入图片描述

也可以表示如下:通过1x1卷积来提取学习M,从而估计M,实现的操作如4.1所示。

在这里插入图片描述

创新点3:多类辅助判别器

基于生成对抗网络(GNN)的判别器通过训练来判断恢复图像效果(即判断生成的图像真实性),但其不提供错误信号,对于多合一模型而言,只知道真假是远远不够的,需要直到生成的图像类型,从而使编码器根据不同类型更新参数,因此提出多类辅助判别器,用于对图像进行分类,从而在反向传播判别损失时,只更新对应判别器的参数。

在这里插入图片描述

具体思路

雾霾图像建模

在这里插入图片描述

其中,I(x)为有雾图像,更具体的,I(x)是在位置x的雨图像,J(x)为观察目标反射光,即去雾后的图像,A为大气光系数,t(x)为大气透射率,t(x)= e^-βd(x),其中,d(x) 为场景深度图,β 为大气光散射系数。由公式(1)式可以清晰知道,只要求得 t(x) 和 A ,便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。

而含雨图像与含雾图像的物理模型极为相似,故可以定义为:

在这里插入图片描述
其中,Ri代表第 i 层的雨线。

雨水图像建模

在这里插入图片描述
其中I(x)是彩色雨滴图像,M(x)是二值图像掩膜。J(x)是背景图像,即干净图像,K是图像所带来的附着的雨滴,代表着模糊的影像形成光线反射的环境。

雪花图像建模

在这里插入图片描述
其中S表示雪花,z是二元掩模,表示雪的位置。

根据上面的物理模型公式可知,不同恶劣天气噪声图像定义是不同的,这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因,但根据公式我们也可以看到其内在联系,可以将恶劣天气噪声图像模型定义如下:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/883187.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于主题的情绪分析:将主题建模与情绪分析联系起来

一、说明 朋友们,大家好!现在我们学习了如何在Twitter数据上进行主题建模和情感分析,但我们还没有将这两种技术联系在一起。我们如何获得与每个主题相对应的情绪?在这篇文章中,我将向您展示进行基于主题的情绪分析的方…

Kubernetes 企业级高可用部署

1、Kubernetes高可用项目介绍 单master节点的可靠性不高,并不适合实际的生产环境。Kubernetes 高可用集群是保证 Master 节点中 API Server 服务的高可用。API Server 提供了 Kubernetes 各类资源对象增删改查的唯一访问入口,是整个 Kubernetes 系统的数…

云原生 AI 工程化实践之 FasterTransformer 加速 LLM 推理

作者:颜廷帅(瀚廷) 01 背景 OpenAI 在 3 月 15 日发布了备受瞩目的 GPT4,它在司法考试和程序编程领域的惊人表现让大家对大语言模型的热情达到了顶点。人们纷纷议论我们是否已经跨入通用人工智能的时代。与此同时,基…

linux pwn 相关工具

环境搭建 虚拟机安装 镜像下载网站为了避免环境问题建议 22.04 ,20.04,18.04,16.04 等常见版本 ubuntu 虚拟机环境各准备一份。注意定期更新快照以防意外。虚拟机建议硬盘 256 G 以上,内存也尽量大一些。硬盘大小只是上界&#…

RocketMQ、Dashboard部署以及安全设置

RocketMQ、dashboard部署以及安全设置 一、启动RocketMQ1.1 下载RocketMQ1.2 修改配置文件1.2.1 修改nameServer Jvm内存配置1.2.2 修改broker参数 1.3 启动1.3.1 启动NameServer1.3.2 启动Broker1.3.3 测试是否启动成功1.3.3.1 测试消息发送1.3.3.2 测试消息接收1.3.3.3 Java程…

SSM——用户、角色、权限操作

1. 数据库与表结构 1.1 用户表 1.1.1 用户表信息描述 users 1.1.2 sql语句 CREATE TABLE users( id varchar2(32) default SYS_GUID() PRIMARY KEY, email VARCHAR2(50) UNIQUE NOT NULL, username VARCHAR2(50), PASSWORD VARCHAR2(50), phoneNum VARCHAR2(20), STATUS INT…

Ceph入门到精通-Aws Iam(user,role,group,policy,resource)架构图和快速入门

-- Aws Iam(identity,user,role,group,policy,resource,)架构图和快速入门. 【官网】:Cloud Computing Services - Amazon Web Services (AWS) 应用场景 aws 云服务运维,devops过程中经常涉及各项服务,权限,角色的处理。 为了更好的使用各项…

C语言入门 Day_4 小数 字符和常量

目录 前言 1.浮点型 2.字符型 3.易错点​​​​​​​ 4.思维导图 前言 我们学习了C语言中用来表示整数的数据类型:整型(int),今天我们会学习用来表示小数的数据类型:浮点型(float) 1.浮点型 …

tinymce动态生成

最近在做一个vue项目, 其中用到了富文本tinymce插件,界面上需要有多个编辑器, 界面如下: ![在这里插入图片描述](https://img-blog.csdnimg.cn/f029b487c799482d8d53c2c31e07ccad.png 这里点击添加按钮, 需要动态添加tinymce组件 页面的元素 // item是v-for循环中的对象 <…

【第三阶段】kotlin语言的split

const val INFO"kotlin,java,c,c#" fun main() {//list自动类型推断成listList<String>val listINFO.split(",")//直接输出list集合&#xff0c;不解构println("直接输出list的集合元素&#xff1a;$list")//类比c有解构&#xff0c;ktoli…

linux下的lld命令

Linux下的lld命令的主要作用&#xff1a;用来查看程式运行所需的共享库&#xff08;动态链接库&#xff09;,常用来解决程式因缺少某个库文件而不能运行的一些问题。 1、首先ldd不是一个可执行程序&#xff0c;而只是一个shell脚本 2、ldd 的使用 lld 可执行程序或者动态库…

一维离散动力系统计算的基本理论

离散动力系统计算的基本理论 离散动力系统的基本概念与基本定理 离散动力系统的定义 形如 的迭代系统称为一个一阶离散动力系统。其中一阶指显式的仅依赖前一项类似得&#xff0c;我们可以定义m-阶离散动力系统 和更高维度的动力系统 不动点 不动点 周期轨道 周期与不变集 …

Android 组件

TextView 文本框 用于显示文本的一个控件。文本的字体尺寸单位为 sp 。sp: scaled pixels(放大像素). 主要用于字体显示。 文本常用属性 属性名说明id为TextView设置一个组件id&#xff0c;根据id&#xff0c;我们可以在Java代码中通过 findViewById()的方法获取到该对象&…

2011-2021年数字普惠金融指数Bartik工具变量法(含原始数据和Bartik工具变量法代码)

2011-2021年数字普惠金融指数Bartik工具变量法&#xff08;含原始数据和Bartik工具变量法代码&#xff09; 1、时间&#xff1a;2011-2020&#xff08;省级、城市&#xff09;&#xff0c;2014-2020&#xff08;区县&#xff09; 2、原始数据来源&#xff1a;北大金融研究中心…

IDEA 中Tomcat源码环境搭建

一、从仓库中拉取源代码 配置仓库地址、项目目录&#xff1b;点击Clone按钮&#xff0c;从仓库中拉取代码 Tomcat源码对应的github地址&#xff1a; https://github.com/apache/tomcat.git 二、安装Ant插件 打开 File -> Setting -> Plugins 三、添加Build文件 &…

UI设计师个人工作总结范文

UI设计师个人工作总结范文篇一 感受到了领导们“海纳百川”的胸襟&#xff0c;感受到了作为广告人“不经历风雨&#xff0c;怎能见彩虹”的豪气&#xff0c;也体会到了重庆广告从业人员作为拓荒者的艰难和坚定(就目前国内广告业而言&#xff0c;我认为重庆广告业尚在发展阶段并…

云曦暑期学习第五周——2022美亚杯个人赛

I.案件详情 于2022年10月&#xff0c;有市民因接获伪冒快递公司的电邮&#xff0c;不慎地于匪徒架设的假网站提供了个人信用咭资料导致经济损失。警方追查下发现当中一名受骗市民男子李大輝 (TaiFai) 的信用卡曾经被匪徒在区内的商舖购物。 后来警方根据IP地址&#xff0c;锁定…

(二分查找) 剑指 Offer 53 - I. 在排序数组中查找数字 I ——【Leetcode每日一题】

❓剑指 Offer 53 - I. 在排序数组中查找数字 I 难度&#xff1a;简单 统计一个数字在排序数组中出现的次数。 示例 1: 输入: nums [5,7,7,8,8,10], target 8 输出: 2 示例 2: 输入: nums [5,7,7,8,8,10], target 6 输出: 0 提示&#xff1a; 0 < n u m s . l e n g …