图像修复(Image Restoration)前沿

news2024/12/23 3:15:27

背景与现状

图像修复是一个长期存在的低层次视觉问题,旨在从损坏的输入图像中获取高质量图像,例如去模糊、去噪、去雾、去雨以及超分辨等。
L = D ( H ) + γ \mathbf{L} = \mathbf{D}(\mathbf{H}) + \gamma L=D(H)+γ
其中,L是低质量图像,H是高质量图像, D , γ D, \gamma D,γ分别表示成像和传输过程中的退化函数和噪声

图像修复是一个典型的不可逆问题,因为任何原始输入都有很多候选项。为了限定无限的可行解,传统方法通过对不同的修复任务设计不同的先验知识,将图像修复转化为一个MAP问题:
H ^ = arg max ⁡ H log ⁡ P ( L ∣ H ) + log ⁡ P ( H ) \mathbf{\hat{H}}= \underset {\mathbf{H}} { \operatorname {arg\,max}} \log P(\mathbf{L}|\mathbf{H}) + \log P(\mathbf{H}) H^=HargmaxlogP(LH)+logP(H)

但是设计这样一个先验,通常具有很大的挑战,而且不可泛化

随着深度学习方法在高层次视觉任务中的使用,以及数据规模的增加,能够隐式的学习通用先验的CNN以及Transformer开始用于解决图像修复任务,并取得了SOTA效果。

目前图像修复的网络模型架构主要包括残差块、多尺度、多阶段、编码器-解码器。

当前面对的问题:图像修复的质量(空间细节、上下文信息);图像修复的模型系统复杂性

主流方法

残差块结构 (2018年 ESRGAN)

在这里插入图片描述
在这里插入图片描述

多尺度结构 (2020 MIPNet 2022 MIRNetV2)

在这里插入图片描述主要创新点:DAU和SKFF

在这里插入图片描述

在这里插入图片描述

多阶段结构 (2021MPRNet)

在这里插入图片描述
主要创新点: SAM
在这里插入图片描述

编码器-解码器结构 (2022Restormer)

在这里插入图片描述
主要创新点: 线性复杂度的注意力机制(就是转置),门控前馈神经网络

编码器-解码器结构(2022Uformer)

在这里插入图片描述
主要创新点 : LeFF和modulator (对这个模块的作用存疑,提升的太大了)

编码器-解码器结构(2022 NAFNet)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
主要创新点:移除或替代了非线性激活函数,使模型系统复杂性降低。主要是提出了一个新的baseline,后续可以在其基础上进行做一些工作。

总结

感觉图像修复真的太吃设备了,动不动就跑几周,时间成本太大了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/456280.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

电脑突然变成绿屏错误代码无法使用怎么办?

电脑突然变成绿屏错误代码无法使用怎么办?有用户使用电脑的时候,电脑桌面变成了绿屏的显示,所有的操作无法继续进行。遇到这个问题要怎么去进行解决呢?来看看详细的解决方法教学吧。 准备工作: 1、U盘一个(…

Unity打包google play最新要求的aab文件的方法

很久不搞打包了,没想到google又整出新的花活了,apk变成了aab,这里分享一下。 首先有几个网址很重要,这里说一下: GitHub - google/play-unity-plugins: The Google Play Plugins for Unity provide C# APIs for acce…

第八届中国航天日 数字文创助推航天新国潮

2023年,正值中国空间站应用与发展新阶段开局之年,距离地球400公里外的天宫见证我国载人航天工程“三步走”发展战略从构想成为现实,中国空间站常态化运行之旅正式起航。 回首半个世纪前的酒泉戈壁,中国首枚运载火箭托举东方红一号…

MyBatisPlus代码生成器使用

MybatisPlus特点 无侵入:只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑 损耗小:启动即会自动注入基本 CURD,性能基本无损耗,直接面向对象操作 强大的 CRUD 操作:内置通用 Mappe…

使用FME 批量OSGB转FBX(OBJ) (亲测)

首先感谢这个UP主:OSGB单体模型批量转FBX,并保留原有文件目录_哔哩哔哩_bilibili 吐槽:刚开始使用了OpenSceneGraph 去转换,发现贴图有黑斑。而且没有找到批量转换的方法。于是花费几个小时时间去查阅相关资料,最后确定…

“上海升级”后 以太坊抛压为何没来?

关联加密资产市场的Web3重新进入市场上升期,而被普遍视作Web3主流基建的以太坊区块链也在近日经历了一场重要升级。 此次升级被命名为“上海升级”,源于社区期望以太坊能够如上海一般多元化地发展和繁荣。上海升级带来的最大改变是,验证者可…

操作指南|如何在Moonriver上使用Polkassembly参与OpenGov

Polkassembly是一个开源平台,任何人都可以探索并参与Moonbeam的链上治理。Polkassembly完全支持OpenGov(也称为Gov2)。OpenGov目前在Moonriver上运行,并很快就会在Moonbeam上运行。 Polkassembly让参与治理变得容易。您可以打开讨…

一次「找回」TraceId的问题分析与过程思考

用好中间件是每一个开发人员的基本功,一个专业的开发人员,追求的不仅是中间件的日常使用,还要探究这背后的设计初衷和底层逻辑,进而保证我们的系统运行更加稳定,让开发工作更加高效。 结合这一主题,本文从一…

掌握这些移动测试技巧,棘手的问题也能游刃有余解决了

目录:导读 引言 一、测试的程序 二、功能测试点 三、移动端安卓环境变量 性能测试 四、实操通过USB连接到手机设备 五、adb操作命令 写在最后 引言 你是否曾经遇到过打开一个移动应用后出现各种问题,比如卡顿、闪退等? 这些问题可能会…

【HDCTF2023】wp

【HDCTF2023】wp 文章目录 【HDCTF2023】wpwebWelcome To HDCTF 2023SearchMasterYamiYamiLoginMaster mischardMiscMasterMiscExtremeMiscSuperMisc web Welcome To HDCTF 2023 在源码的 game.js中找到了flag 在控制台输出 console.log(seeeeeeeecret)得flag SearchMaster …

一文解析:低代码开发平台和零代码平台有什么区别?以及如何选?

随着数字化转型的加速,企业和组织对于快速开发和部署应用程序的需求也越来越迫切。 为了满足这一需求,低代码和零代码平台应运而生。这两种平台都提供了快速构建应用程序的方法,但它们之间的区别是什么呢?本篇就来为大家解答一下…

Linux常用命令(二)

目录 VI/VIM编辑器 Linux的root用户 用户和用户组管理 getent命令 查看权限控制信息 修改权限控制 chmod 修改权限控制 chown VI/VIM编辑器 vim是vi的加强版,兼容vi的所有指令。可编辑文本、shell程序,能以不同颜色字体来辨别语法正确性。3种工作…

软件研发的项目经理都在用哪些好的设计和管理的软件工具?

软件研发是一个复杂而又有趣的过程,它涉及到多个阶段,如需求分析、设计、编码、测试、部署、维护等。在这个过程中,我们需要使用各种工具来帮助我们提高效率、保证质量、协作沟通、解决问题等。工具化是指将一些重复性或者困难的任务封装成可…

Python-pyppeteer解决微软Microsoft的登录机器人验证(8)

前言 本文是该专栏的第8篇,结合优质项目案例,让你精通使用Pyppeteer,后面会持续分享Pyppeteer的干货知识,记得关注。 在注册微软Microsoft账号或者注册outlook邮箱账号的时候,会遇到如下机器人验证: 是的,你可能第一眼看到这个验证页面,首先会想到是定位它的页面元素N…

《C++PrimerPlus》第六章 分支语句和逻辑运算符

本篇文章将对《CPrimerPlus》第3章进行勾画 以我个人习惯来勾画 C和C不同点将用红色高亮表示 关于C的额外补充知识用蓝色高亮表示 对C的注意点以及总结部分用绿色高亮表示 正常情况本专栏2周更新一次 文章目录 6.1 if语句![在这里插入图片描述](https://img-blog.csdnimg.cn/…

Qt音视频开发40-ffmpeg采集桌面并录制

一、前言 之前用ffmpeg打通了各种视频文件和视频流以及本地摄像头设备的采集,近期有个客户需求要求将整个桌面屏幕采集下来,并可以录制保存成MP4文件,以前也遇到过类似的需求,由于没有搞过,也没有精力去摸索和测试&am…

研报精选230424

目录 【行业230424华福证券】功率半导体行业深度报告:能源变革大时代,功率器件大市场 【行业230424华西证券】海外锂资源企业近况总结之锂辉石篇:2023年海外锂资源供应量同比增长45%,H2比H1增加13万吨LCE供应 【行业230424东吴证券…

免费且不丢失数据的MBR转GPT软件!

什么是MBR和GPT? MBR和GPT是不同的分区形式,它们是管理硬盘的2种不同方式。MBR是一种旧的分区形式,而GPT是一种逐渐取代MBR的新分区形式。 通常,MBR和GPT在分区大小、主分区数和引导模式方面有不同。MBR支持不超过2TB的硬盘&a…

《商用密码应用与安全性评估》第三章商用密码标准与产品应用3.2商用密码产品类别

商用密码产品类型 商用密码产品按形态可以划分为六类∶软件、芯片、模块、板卡、整机、系统 软件是指以纯软件形态出现的密码产品,如密码算法软件。芯片是指以芯片形态出现的密码产品,如算法芯片、安全芯片。模块是指将单一芯片或多芯片组装在同一块电路…

搞懂 API ,后端 API 接口设计方法

后端 API 接口设计是开发 Web 应用和移动应用的关键组成部分,好的接口设计可以提高应用的稳定性、可维护性和安全性。以下是一些常用的后端 API 接口设计方法: 使用 RESTful API:RESTful API 是一种基于 HTTP 协议的 Web API 设计理念&#x…