论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

news2024/11/22 4:22:31

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

优势

1、构建了一个用于监督原始视频去噪的基准数据集。为了多次捕捉瞬间,我们手动为对象s创建运动。在高ISO模式下捕获每一时刻的噪声帧,并通过对多个噪声帧进行平均得到相应的干净帧。

2、有效的原始视频去噪网络(RViDeNet),通过探索非局部的空间、信道和时间相关性。由于噪声输入具有拜耳模式特征,将其分割为4个独立序列,即RGBG序列,分别经过预去噪、对齐、非局部注意和时间融合模块,然后通过空间融合重建无噪声版本。

3、在RAW域的去噪结果,通过ISP之后得到的RGB域图像也比普通的图像RGB域去噪效果好。 (**有待商榷。**因为原始噪声图就是RAW域的,模型是在RAW域训练的,当然去噪效果后。你将原始噪声图经过ISP后得到的RGB噪声图,然后使用普通的图像RGB域模型去噪,如果之前训练中模型没有考虑到ISP噪声,显然效果不好,这对模型来说是不公平的。如果要对比,也应该是在RAW域的图像去噪模型,然后将各自的去噪图经过ISP得到RGB图,再进行比较)

方法

动机

1、常用的方法通常是为高斯或合成噪声去除而设计的,而没有考虑在低光捕获条件下产生的复杂的真实噪声。即使少数工作涉及视频的逼真噪声去除。然而,他们的训练数据库只包含静态序列,这在探索动态序列的时间相关性方面效率很低。(->构建了一个动态噪声视频数据集,并相应地提出了一个RViDeNet,以充分利用空间、信道和时间相关性。)

常规的视频去噪:先进行空间去噪再进行时间去噪(ViDeNN)、使用静态帧作为训练数据,先将RAW域图像转为RGB域,再执行去噪。

raw域图像去噪:1、存在较好的数据集2、考虑将RGB域图像通过反向ISP还原回RAW域图像,然后再进行去噪

本文将原始数据映射到原始和sRGB输出来训练RViDeNet,即在local本地去噪,然后再通过ISP转为RGB域图像。

噪声数据集构建方式

1、通过平均一个静态场景的多帧来生成无噪声图像,所有图像都由固定设置的静止相机捕获[28,45,38,1]。通过这种方式,干净的图像与有噪声的图像具有相似的亮度。

2、在低/高ISO设置下捕获静态场景,并使用低ISO图像作为噪声高ISO图像的地面真值。例如RENOIR数据集[3],DND数据集[29]和SIDD数据集。它们均以原始格式捕获,并根据某些图像ISP模块合成sRGB图像。

3、Seeing motion in the dark工作在静态场景构建了一个noisy-clean的数据集,其中一个干净的帧对应多个噪声帧。

目前还没有噪声清洁的视频数据集?
因为在不引入模糊伪影的情况下,长时间曝光或多次拍摄的动态场景是不可能捕捉到的。

方法:通过手动为物体创建运动来解决这个问题。

数据集

捕获RAW视频数据

关键问题:在动态场景,如何同时捕捉噪声视频和相应的干净视频?

  • 使用低ISO和高曝光时间捕捉干净的动态视频将导致运动模糊。

image-20240907200220736

解决:

捕捉可控制的物体,比如玩具,并手动为它们制作动作。

每个动作,我们连续捕捉M个有噪声的帧。M帧的平均是地面真值(GT)无噪声帧。不使用长曝光来捕捉GT无噪帧,因为它会使GT帧和有噪帧具有不同的亮度。

移动对象并再次保持它不动,以捕捉下一个无噪声的配对帧。

最后,我们根据它们的时间顺序将所有的单帧分组在一起,生成有噪声的视频及其对应的干净视频。

在5种不同的ISO感光度(从1600到25600)下共拍摄了11个不同的室内场景。不同的ISO设置用于捕捉不同级别的噪声。对于每个视频,我们捕获了7帧。

在高ISO场景25600,捕获了500帧进行平均,并且使用BM3D应用平均帧。

合成视频数据

将高质量的sRGB数据集MOTChallence,通过unprocessing方法将sRGB转为RAW视频,并通过添加噪声得到RAW视频。

image-20240907201246563

噪声公式

其中x是噪声观测值,yp是像素p处的真实强度。or和os是读取和拍摄噪声的参数,随着传感器增益(ISO)的变化而变化。第一项表示均值yp和方差os^2的泊松分布,第二项表示均值为0和方差为or2的高斯分布。

本文的不同点在于,使用平场帧‘1偏置帧’2来校准给定相机的噪声参数。

其中平场帧是传感器均匀照射时捕获的图像。具体来说,将相机调到特定的ISO,我们只需要在不同的曝光时间下,在均匀照明的墙壁上拍摄一张白纸的图像。然后,我们根据修正方差计算估计的信号强度,以确定σs偏置帧是在完全黑暗的环境下捕获的图像。由于偏置帧中没有镜头噪
声,我们使用它们来估计σr‘3

1https://en.wikipedia.org/wiki/Flat-field correction
2https://en.wikipedia.org/wiki/Bias frame
3The technical details can be found in the supplementary material.

模型

image-20240907202602764

概述:给定一组连续帧(本作品中有三帧),我们的目标是通过探索中间帧内部的空间相关性和相邻帧之间的时间相关性来恢复中间帧。

预去噪和打包

1、预去噪的目的是为了更好的估计密集对应。因为噪声将严重干扰密集对应的预测。本文训练了一个U-Net结构的去噪网络用于单帧预去噪,去噪结果使用Id表示,噪声使用In表示。

2、由于RAW视频数据是bayer格式,4通道,每个像素的相邻像素实际应该为次相邻像素,为了方便构建空间结构,这里使用打包的方式,将原始RAW视频数据流拆分成4个子数据流。

特征对齐

在视频去噪的上下文中,对齐用于确保连续帧中相应的像素点在空间位置上是一致的,这样可以利用时间上的冗余信息来改善去噪性能。

总结来说,对齐是确保不同帧之间的特征能够正确合并的关键步骤。

image-20240907204438729

image-20240907210842776

image-20240907210854518

image-20240907210904687

image-20240907210914007

(暂时不太懂。。。)

网络结构

1、使用DConv进行非局部相似聚合

2、使用语义分割任务的非局部自注意加强特征表示

由于3D非局部注意力消耗巨大的成本,使用分离的注意力模块,包括空间注意力,通道注意力,时间增强注意力(时序)。

image-20240907210815841

image-20240907210935693

空间融合

将时间融合模块中的特征FfusR、FfusG1、FfusB和FfusG2连接在一起,然后通过空间融合网络
进行融合。空间融合网络包含10个残差块、一个CBAM[37]模块来增强特征表示,以及一个卷积层来预测大小为4 ×H ×W的噪声。

Loss函数

image-20240907211019231

包括重建损失(reconstruction loss)和时间一致性损失(temporal consistent loss)。重建损失确保去噪后的图像在原始域和sRGB域与真实图像相似,而时间一致性损失则确保视频序列中连续帧之间的一致性。

QA

对齐输入帧?

可形变卷积对齐输入帧,而不是显示使用流信息?

temporal -poral域?

噪声将严重干扰密集对应的预测?密集对应?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2114660.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

龙芯+FreeRTOS+LVGL实战笔记(新)——05部署主按钮

本专栏是笔者另一个专栏《龙芯+RT-Thread+LVGL实战笔记》的姊妹篇,主要的区别在于实时操作系统的不同,章节的安排和任务的推进保持一致,并对源码做了改进和优化,各位可以先到本人主页下去浏览另一专栏的博客列表(目前已撰写36篇,图1所示),再决定是否订阅。此外,也可以…

行空板上YOLO和Mediapipe图片物体检测的测试

Introduction 经过前面三篇教程帖子(yolov8n在行空板上的运行(中文),yolov10n在行空板上的运行(中文),Mediapipe在行空板上的运行(中文))的介绍,…

Node.js学习记录(一)

目录 一、文件读取 readFile 二、写入文件 writeFile 三、动态路径 __dirname:表示当前文件所处的目录、path.join 四、获取路径文件名 path.basename 五、提取某文件中的css、JS、html 六、http 七、启动创建web服务器 服务器响应 八、将资源请求的 url 地址映射为文…

idea插件开发的第二天-写一个时间查看器

介绍 Demo说明 本文基于maven项目开发,idea版本为2022.3以上,jdk为1.8本文在Tools插件之上进行开发 Tools插件说明 Tools插件是一个Idea插件,此插件提供统一Spi规范,极大的降低了idea插件的开发难度,并提供开发者模块,可以极大的为开发者开发此插件提供便利Tools插件安装需…

Spark的Web界面

http://localhost:4040/jobs/ 在顶部导航栏上,可以点击以下选项来查看不同类型的Spark应用信息: Jobs - 此视图将列出所有已提交的作业,并提供每个作业的详细信息,如作业ID、名称、开始时间、结束时间等。Stages - 此视图可以查…

新160个crackme - 050-daxxor

运行分析 需要破解Name和Serial PE分析 C程序,32位,无壳 静态分析&动态调试 ida找到关键字符串,双击进入函数 通过静态分析发现:1、Name通过计算得到Name12、对Name1第3、5、6分别插入byte_401290、byte_401290、word_401292&…

Weibull概率分布纸(EXCEL VBA实现)

在学习Weibull分布理论的时候,希望有一张Weibull概率纸,用来学习图解法。但是在度娘上没有找到的Weibull概率纸的电子版。在书上看到的Weibull概率纸,只能复印下来使用。于是萌生了自己制作Weibull概率纸的想法,帮助自己更好地学习…

综合案例-数据可视化-折线图

一、json数据格式 1.1 json数据格式的定义与功能 json是一种轻量级的数据交互格式,可以按照json指定的格式去组织和封装数据,json数据格式本质上是一个带有特定格式的字符串。 功能:json就是一种在各个编程语言中流通的数据格式&#xff0…

全倒装COB超微小间距LED显示屏的工艺技术,相比SMD小间距有何优势

全倒装COB(Chip On Board)超微小间距LED显示屏,在工艺技术上的革新,相较于传统的SMD(Surface Mount Device)小间距LED显示屏,展现出了多方面的显著优势。 首先,全倒装技术极大地提升…

JAVAEE初阶第七节(下)——物理原理与TCP_IP

系列文章目录 JAVAEE初阶第七节(下)——物理原理与TCP_IP 文章目录 系列文章目录JAVAEE初阶第七节(下)——物理原理与TCP_IP 一.网络层重点协议 1. IP协议如何管理地址 1.1 解决IP地址不够用的问题 1.2 网段划分 1.3 特殊的IP…

深度剖析AI情感陪伴类产品及典型应用 Character.ai

前段时间AI圈内C.AI的受够风波可谓是让大家都丈二摸不着头脑,连C.AI这种行业top应用都要找谋生方法了!投资人摸不着头脑,用户们更摸不着头脑。在这之前断断续续玩了一下这款产品,这次也是乘着这个风波,除了了解一下为什…

【数据库】MySQL表的Updata(更新)和Delete(删除)操作

目录 1.Update 案例1:将孙悟空同学的数学成绩变更为 80 分 案例2:将曹孟德同学的数学成绩变更为 60 分,语文成绩变更为 70 分 案例3:将总成绩倒数前三的 3 位同学的数学成绩加上 30 分 案例4:将所有同学的语文成绩…

计算机网络与Internet应用

一、计算机网络 1.计算机网络的定义 网络定义:计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享…

『功能项目』武器的切换实例【34】

本章项目成果展示 我们打开上一篇33战士的A键连击的项目, 本章要做的事情是按键盘E键切换职业时切换手中的武器 首先在资源商店下载免费的武器模型 创建一个空物体 命名为WeaponPos 将武器预制体拖拽至WeaponPos (注意调整空物体位置就可以后续文章会更…

CSP-J 之C++常用英文缩写

文章目录 C常用英文缩写前言常用缩写解析C 基础缩写输入输出相关控制台 命名与类型常用函数在线测评相关 总结 C常用英文缩写 前言 在编程比赛和日常开发中,C是一门广泛使用的编程语言,许多英文缩写贯穿其中。了解这些缩写不仅有助于提高编程效率&…

XGBoost算法-上

简单解释一下xgboost这个模型 xg是一个非常强大,非常受欢迎的机器学习模型,其中最大的特色就是boosting(改进、推进),怎么改进呢?就是xgboost这个算法,它会先建立一颗简单的决策树,…

【Python知识宝库】文件操作:读写文件的最佳实践

🎬 鸽芷咕:个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、文件读取1. 使用open函数2. 逐行读取3. 使用readlines和readline 二、文件写入1. 写入文本2. 追加内容3. 写入…

DAY99 APP 攻防-小程序篇反编译外在抓包主包分包配置泄漏算法逆向未授权

APP攻防-小程序篇&内在反编译&外在抓包&主包分包&配置泄漏&算法逆向&未授权_unpackminiapp-CSDN博客https://blog.csdn.net/m0_60571842/article/details/136244878 知识点 1、小程序抓包-全局代理&进程转发 2、小程序逆向-反编译&主包&分…

ChatGPT在医疗行业的应用前景与挑战探析

人工智能ChatGPT自2022年11月面世以来,在医疗领域引起了广泛关注,很多专家也在积极探讨其在此领域的应用。众多报道集中于其在临床应用、患者交流和医学教育等方面的潜力。本文将从学术研究的角度探讨ChatGPT在医疗领域的实际应用,包括其在科…

用fastapi搭建cpca地址提取服务接口

以前的客户地址比较乱,现在想提取出省份城市, 开始了解分词技术,后发现python有这样的库 cpca提取地址挺不错,可以从垃圾地址中提取省市区以及区号。 文章会用fastapi搭建服务端 通过post调用cpca,提取来了后&#…