Unprocessing Images for Learned Raw Denoising

news2024/9/24 13:16:00

原文

RWA Image Dataset:the Darmstadt Noise Dataset

Abstract

1、Introduction

1、传统图像去噪方法:分析图像属性、对噪声建模(传统方法好像总是这样,建立模型然后用数学方法贴近模型)
TBD:找传统的3-5种方法过一遍

2、深度学习图像去噪方法思路:学习有噪图像到无噪图像的映射。
TBD:深度学习方法的难点:成对数据集怎么获得?需要获得同一场景的有噪声和干净的图片,而且是raw图。

3、先前研究的共有认知:在有噪声的raw图上进行去噪,深度学习的性能好于传统方法。

4、现有方法多基于合成数据集去噪,原因是获得成对的数据成本代价极高

  • 长曝光,曝光后还需要后处理抵消相机运动+光线变化;
  • 大批量数据;
  • 不同相机噪声特性不同,导致构建的数据集泛化性存疑

5、合成的训练数据对噪声的模拟不够真实,导致深度学习方法性能欠佳。——如何让合成的数据贴近真实?是本文试图解决的问题

  • 对 ISP 的步骤建模,从而实现逆操作,实现从 sRGB → RAW 图
  • 这篇文章在做 AIISP 的工作!
  • 评估指标:对Darmstadt Noise Dataset 中的真实噪声raw图进行评估,我们的模型错误率降低了14%-38%,并且比以前的技术水平快9×-18×

2、Related Work

  • 通常对图像噪声的假设:加性高斯白。
  • 短曝光图像暗有噪声,长曝光图像明亮基本无噪声。

Amber:真看不懂

3、Raw Image Pipeline

3.1 Shot and Read Noise

  • RAW 域噪声分布有规律可循,主要分为两大类:shot noise 和 read noise。shot noise主要和环境光照有关,一般满足泊松分布。 read noise 主要和 sensor 中的电路系统有关, 一般满足高斯分布。
  • 对所有的图像强度都有数字增益和模拟增益,增益由相机决定,更准确的说,是‘用户/自动曝光算法’选择的 ISO 光强度的函数。

3.4 White Balance

  • 相机记录的图像是照亮场景的灯光的颜色场景中物体的材质颜色的产物。
  • 白平衡会让一些照明弱下来,变得符合人的视觉习惯。
  • 具体如何实现呢?估计蓝、红通道增益……没懂(TBD)
  • 最朴素的思路:获得数字增益和白平衡增益,然后 rgb图除以增益,实现逆变换。实际实现有更多细节~~~

3.5 Gamma Compression

  • 对图像黑暗区域的渐变更敏感,所以伽马压缩通常用于将更多的动态范围分配给低强度像素。(MARK)

3.6 Tone Mapping

  • 高动态范围图像需要极端的色调映射,但即使是标准的低动态范围图像也经常采用s形曲线处理,以匹配胶片的“特征曲线”。

4、Model

在这里插入图片描述

在这里插入图片描述
PUZZLE:四通道的噪声级别作为输入,这个噪声级别从哪儿来??

TBD:ablation study 效果看看


参考资料1

1、解决数据构造的问题。数据从哪里来?sRGB → RAW → 训练模型

Amber:所以它生成的数据是接近理想情况的吗?

2、深度学习的模型为什么效果好?

数据构造是关键! 模型是方法,数据是根本,数据和真实场景相似度越高,模型学到的信息越真实效果越好。

3、

读论文的简易做法
1、看有没有网友进行了论文要点提炼,先宏观的了解文章要点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1335050.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

开源自托管导航页配置服务Dashy本地搭建结合内网穿透远程访问

开源自托管导航页配置服务Dashy本地搭建结合内网穿透远程访问 简介1. 安装Dashy2. 安装cpolar3.配置公网访问地址4. 固定域名访问 简介 Dashy 是一个开源的自托管的导航页配置服务,具有易于使用的可视化编辑器、状态检查、小工具和主题等功能。你可以将自己常用的一…

网络编程--socket编程

这里写目录标题 套接字概念通信原理总结 预备知识网络字节序简介字节转换函数 IP地址转换函数为什么单独列出函数原型sockaddr结构体 一级目录二级目录二级目录二级目录 一级目录二级目录二级目录二级目录 套接字 概念 Socket本身有插座的意思,但他是进程之间网络通…

如何分析 JVM 内存瓶颈浅谈

背景: 当操作系统内存出现瓶颈时,我们便会重点排查那个应用占用内存过大。对于更深一步分析内存的使用,就进一步去了解内存结构,应用程序使用情况,以及内存如何分配、如何回收,这样你才能更好地确定内存的…

62.乐理基础-打拍子-二八

前置知识:61.乐理基础-打拍子-休止符打法-CSDN博客 通过前置知识,知道了四分音符、二分音符、附点二分音符、全音符以及它们各自对应的休止符拍子的打法,如下图,它们都是最简单的,因为它们都是一拍的整数倍&#xff0…

竞赛保研 基于YOLO实现的口罩佩戴检测 - python opemcv 深度学习

文章目录 0 前言1 课题介绍2 算法原理2.1 算法简介2.2 网络架构 3 关键代码4 数据集4.1 安装4.2 打开4.3 选择yolo标注格式4.4 打标签4.5 保存 5 训练6 实现效果6.1 pyqt实现简单GUI6.3 视频识别效果6.4 摄像头实时识别 7 最后 0 前言 🔥 优质竞赛项目系列&#xf…

山海鲸开发者视角:帮助汽车制造商取得市场优势

山海鲸可视化是一款致力于数字孪生领域的产品,为各行各业提供专业的数据可视化解决方案。作为山海鲸开发者,我们在开发免费好用的数字孪生工具同时也希望能让大家通过多种解决方案了解我们软件的多种可能性,本文就为大家介绍我们的汽车行业解…

JUC并发编程 09——队列同步器AQS

目录 一.Lock接口 1.1Lock的使用 1.2Lock接口提供的 synchronized 不具备的主要特性 1.3Lock接口的所有方法 二.队列同步器(AQS) 2.1队列同步器的接口与示例 2.2AQS实现源码分析 ①同步队列 ②获取锁 ③释放锁 一.Lock接口 说起锁,你肯定会想到 synchron…

MY FILE SERVER: 1

下载地址 https://download.vulnhub.com/myfileserver/My_file_server_1.ova 首先我们需要发现ip 我的kali是59.162所以167就是靶机的 然后我们拿nmap扫一下端口 nmap -sV -p- 192.168.59.167 扫完发现有七个端口开放 按照习惯先看80 没看到有啥有用信息,用nikto扫一下 nik…

中文论文修改和润色哪个好写 papergpt

大家好,今天来聊聊中文论文修改和润色哪个好写,希望能给大家提供一点参考。 以下是针对论文重复率高的情况,提供一些修改建议和技巧,可以借助此类工具: 标题:中文论文修改与润色:哪个更容易写&…

家校互通小程序实战开发01需求分析

目录 1 角色的划分2 用例分析3 创建业务数据源4 创建登录用户数据源总结 最近几年,随着移动互联网的深入发展,我们的日常生活和工作和微信已经紧密绑定。其实,有时候生活和工作的界限已经不明显,在我们的微信好友里既有家人、朋友…

助力打造清洁环境,基于美团最新YOLOv6-4.0开发构建公共场景下垃圾堆放垃圾桶溢出检测识别系统

公共社区环境生活垃圾基本上是我们每个人每天几乎都无法避免的一个问题,公共环境下垃圾投放点都会有固定的值班时间,但是考虑到实际扔垃圾的无规律性,往往会出现在无人值守的时段内垃圾堆放垃圾桶溢出等问题,有些容易扩散的垃圾比…

VMware vcenter6.7安装(基于windows客户端)

一、下载vcenter6.7 1.下载地址,直接复制粘贴到web回车即可,这一步就不截图了。 从官网或者百旺网盘(可以自行搜索,或者私信我要) 二、安装部署vcenter6.7 将下载好的镜像文件拷贝到一台Windows机器上,…

docker-compose 安装Sonar并集成gitlab

文章目录 1. 前置条件2. 编写docker-compose-sonar.yml文件3. 集成 gitlab4. Sonar Login with GitLab 1. 前置条件 安装docker-compose 安装docker 创建容器运行的特有网络 创建挂载目录 2. 编写docker-compose-sonar.yml文件 version: "3" services:sonar-postgre…

智能优化算法应用:基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.法医调查算法4.实验参数设定5.算法结果6.…

dpdk原理概述及核心源码剖析

dpdk原理 1、操作系统、计算机网络诞生已经几十年了,部分功能不再能满足现在的业务需求。如果对操作系统做更改,成本非常高,所以部分问题是在应用层想办法解决的,比如前面介绍的协程、quic等,都是在应用层重新开发的框…

Modbus转Profinet网关解决设备通讯不稳的问题

通讯不稳定:表现为数据断断续续,多半是由于线路干扰、接口不匹配、程序不稳定、等原因造成。 解决方案:在原配电柜添加Modbus转Profinet网关(XD-MDPN100/2000)即可解决通迅该问题,Modbus转Profinet网关&…

Python容器类公共操作

运算符 运算符Python 表达式结果描述支持的数据类型[1, 2] [3, 4][1, 2, 3, 4]合并字符串、列表、元组*["Hi!"] * 4[Hi!, Hi!, Hi!, Hi!]重复字符串、列表、元组in3 in (1, 2, 3)True元素是否存在字符串、列表、元组、字典not in4 not in (1, 2, 3)True元素是否不存…

Keil5 5.38官方下载、安装及注册教程(详细版)

一、下载地址 官方C51版本下载地址:https://www.keil.com/demo/eval/c51.htm 官方ARM版本下载地址:https://www.keil.com/demo/eval/arm.htm 注:两个版本的安装教程一样 Keil注册机2032年: 链接:https://pan.baidu.…

iMazing2024免费版iOS移动设备管理软件

以自己的方式管理iPhone,让备受信赖的软件为您传输和保存音乐、消息、文件和数据。安全备份任何 iPhone、iPad 或 iPod touch。iMazing 功能强大、易于使用,称得上是 Mac 和 PC 上最好的 iOS 设备管理器。 正在为iTunes繁琐的操作发愁?设备数…

【序列化和反序列化】

🍁什么是序列化和反序列化? 🍁典型解析🍁拓展知识仓🍁如何进行序列化和反序列化🍁未实现Serializable,可以序列化吗? 🍁典型解析 在Java中,我们可以通过多种方式来创建对…