【AI最前线】DP双像素sensor相关的AI算法全集:深度估计、图像去模糊去雨去雾恢复、图像重建、自动对焦

news2024/11/24 9:25:47

Dual Pixel 简介

双像素是成像系统的感光元器件中单帧同时生成的图像:通过双像素可以实现:深度估计、图像去模糊去雨去雾恢复、图像重建

成像原理来源如上,也有遮罩等方式的pd生成,如图双像素视图可以看到光圈的不同一半,这提供了一个深度提示。然而,由于基本的模糊性,如果相机的焦距(或光圈大小或焦距)发生变化,不同的场景可能会产生相同的双像素图像。在(a)中,具有焦距g1的相机在距离Z1处成像聚焦的蓝色点和离焦的橙色点。通过光圈左半部分折射的光(深蓝色和橙色光线)到达每个双像素的右半部分,反之亦然。这导致了一个双像素图像,其中失焦橙色点被d像素(a,“DP数据”)位移,被b像素模糊(a,”图像”)。在(b)中,不同的焦距和场景深度集产生相同的双像素和RGB图像。然而,如文中所示,该场景通过逆深度上的仿射变换与(a)中的场景相关。消费者迅速采用。双像素相机似乎代表了更雄心勃勃的光场相机和传统相机之间的一种有前景的折衷方案——DP相机牺牲了可忽略的空间分辨率来采样光场中的两个角度,而真正的单眼相机只采样一个角度,Lytro Illum等光场相机以牺牲显著的空间分辨率为代价采样196个角度。因此,它们在消费类相机和内窥镜等空间受限的应用中得到了更广泛的采用[6]。

消费类硬件的最新发展可能为深度估计的新方法提供机会。最近,通过使用密集的双像素(DP)传感器(图2),可以使用一台相机同时捕获两张类似于具有微小基线的立体对的图像(图1)。虽然这项技术最初是为相机自动对焦而开发的,但双像素图像也可以用来从单个相机中恢复密集的深度图,从而消除了对额外硬件、校准或同步的任何需求。例如,Wadhwa等人[55]使用经典的立体技术(块匹配和边缘感知平滑)从DP数据中恢复深度。但如图1所示,传统立体技术可以生成的深度图的质量是有限的,因为DP图像中视差和焦点之间的相互作用可能会导致经典立体匹配技术失败。现有的基于单眼学习的技术在这方面也表现不佳

接下来就介绍双像素相关的sota论文和代码,长期更新教学

Table of contents

  • DualPixel
  • Dateset

Dual Pixel

YearPubPaperAppRepo
2018SIGGRAPHSynthetic Depth-of-Field with a Single-Camera Mobile PhoneDepth / Segmenation / Synthetic DoF
2019CVPRReflection Removal Using a Dual-Pixel SensorReflection RemovalCode
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepthCode & Dataset
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsDepthCode & Dataset
2020CVPRLearning to AutofocusAutofocusDataset
2020ECCVDu2Net: Learning Depth Estimation from Dual-Cameras and Dual-PixelsDisparity (w/Stereo)
2020ECCVDefocus Deblurring Using Dual-Pixel DataDeblurCode & Dataset
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDepth / DeblurCode & Dataset
2021CVPRWNTIRE 2021 Challenge for Defocus Deblurring Using Dual-pixel Images: Methods and ResultsDeblur
2021CVPRWATTSF Attention! Stay Focus!DeblurCode
2021ICCVDefocus Map Estimation and Deblurring From a Single Dual-Pixel ImageDeblur / Defocus MapCode & Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDeblurCode & Dataset
2021IEEEWorld Largest Mobile Image Sensor with All Directional Phase Detection Auto Focus FunctionDepth
2021ICTCDisparity probability volume guided defocus deblurring using dual pixel dataDeblur
2021Journal of Electronic ImagingDefocus deblurring: a designed deep model based on CNNDeblur
2021IEEEAll-Directional Dual Pixel Auto Focus Technology in CMOS Image SensorsCircuits
2022WACVImproving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task LearningDeblurCode & Dataset
2022ISSCCA 1/1.57-inch 50Mpixel CMOS Image Sensor With 1.0μm All-Directional Dual Pixel by 0.5μm-Pitch Full-Depth Deep-Trench Isolation TechnologyCircuits
2022ECCVFacial Depth and Normal Estimation using Single Dual-Pixel CameraDepth / Surface Normal / Anti-spoofing / RelightingCode & Dataset
2023CVPRK3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus DeblurringDeblur
2023CVPRSpatio-Focal Bidirectional Disparity Estimation From a Dual-Pixel ImageDepth / DisparityCode
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesSimulatorCode & Dataset
2023ICCVExploring Positional Characteristics of Dual-Pixel Data for Camera AutofocusAutofocus

这其中

2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepth

 网络的代码被复现在:DualPixelFace/src at main · MinJunKang/DualPixelFace · GitHub ;GitHub - vyi/PdCapture: [google-research/dual-pixels](Forked from https://github.com/google-research/google-research/tree/master/dual_pixels)

GitHub - RugvedKatole/Learning-Single-Camera-Depth-Estimation-using-Dual-Pixels: This Repo is an implementation of paper titled "Learning Single Camera Depth Estimation using Dual-Pixels"

Dataset

YearPubPaperDetail
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsTrain:2506, Test:684, Res:1512x2016(DP), 16bit png, DP Raw / Depth
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsNum:100, Res:5180x2940, RGB 8bit jpg / 16bit tif Depth, DP LR / Depth
2020ECCVDefocus Deblurring Using Dual-Pixel DataNum:500, Res:1680x1120, 16bit, Used for NTIRE 2021 Challenge (CVPRW)
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDP Simulator from NYUD Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDP Simulator form SYNTHIA-SF dataset
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesNum:5130, Res:1680x1120, RGB(DP LRC) 8bit png / Depth 16bit png

小结

欢迎AI深度估计、AI重建、AI恢复图像:图像去雾去雨去模糊降噪方向的同学一起交流,cv君正在打造最大最前沿的AI社区,让你在浓厚的学习氛围中进步,让你在飞速发展的时代中砥砺前行;免费进群交流请私信cv君(免费)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2246579.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

从零开始-VitePress 构建个人博客上传GitHub自动构建访问

从零开始-VitePress 构建个人博客上传GitHub自动构建访问 序言 VitePress 官网:VitePress 中文版 1. 什么是 VitePress VitePress 是一个静态站点生成器 (SSG),专为构建快速、以内容为中心的站点而设计。简而言之,VitePress 获取用 Markdown…

使用uniapp编写APP的文件上传

使用uniapp插件文件选择、文件上传组件(图片,视频,文件等) - DCloud 插件市场 实用效果: 缺陷是只能一个一个单独上传

【51单片机】红外遥控

学习使用的开发板:STC89C52RC/LE52RC 编程软件:Keil5 烧录软件:stc-isp 开发板实图: 文章目录 红外遥控硬件电路 NEC协议编码编程实例LCD1602显示Data红外遥控控制扇叶转速 红外遥控 红外遥控是利用红外光进行通信的设备&#…

【解决】Unity TMPro字体中文显示错误/不全问题

问题描述:字体变成方块 原因:字体资源所承载的长度有限 1.找一个中文字体放入Assets中 2.选中字体创建为TMPro 字体资源 3.选中创建好的字体资源(蓝色的大F) 在右边的属性中找到Atlas Width h和 Atlas Heigth,修改的大一点&…

深度学习:GPT-1的MindSpore实践

GPT-1简介 GPT-1(Generative Pre-trained Transformer)是2018年由Open AI提出的一个结合预训练和微调的用于解决文本理解和文本生成任务的模型。它的基础是Transformer架构,具有如下创新点: NLP领域的迁移学习:通过最…

CKA认证 | Day2 K8s内部监控与日志

第三章 Kubernetes监控与日志 1、查看集群资源状态 在 Kubernetes 集群中,查看集群资源状态和组件状态是非常重要的操作。以下是一些常用的命令和解释,帮助你更好地管理和监控 Kubernetes 集群。 1.1 查看master组件状态 Kubernetes 的 Master 组件包…

概念解读|K8s/容器云/裸金属/云原生...这些都有什么区别?

随着容器技术的日渐成熟,不少企业用户都对应用系统开展了容器化改造。而在容器基础架构层面,很多运维人员都更熟悉虚拟化环境,对“容器圈”的各种概念容易混淆:容器就是 Kubernetes 吗?容器云又是什么?容器…

JDBC编程---Java

目录 一、数据库编程的前置 二、Java的数据库编程----JDBC 1.概念 2.JDBC编程的优点 三.导入MySQL驱动包 四、JDBC编程的实战 1.创造数据源,并设置数据库所在的位置,三条固定写法 2.建立和数据库服务器之间的连接,连接好了后&#xff…

移动充储机器人“小奥”的多场景应用(上)

在当前现代化城市交通体系中,移动充储机器人“小奥”发挥着至关重要的作用。该机器人不仅是一个简单的设备,而是一个集成了高科技的移动充电站,为新能源汽车提供了一种前所未有的便捷充电解决方案。该机器人配备了先进的电池管理系统&#xf…

element dialog会隐藏body scroll 导致tab抖动 解决方案如下

element dialog会隐藏body scroll 导致tab抖动 解决方案如下 在dialog标签添加 :lockScroll"false"搞定

Android 功耗分析(底层篇)

最近在网上发现关于功耗分析系列的文章很少,介绍详细的更少,于是便想记录总结一下功耗分析的相关知识,有不对的地方希望大家多指出,互相学习。本系列分为底层篇和上层篇。 大概从基础知识,测试手法,以及案例…

Bugku CTF_Web——my-first-sqli

Bugku CTF_Web——my-first-sqli 进入靶场 随便输一个看看 点login没有任何回显 方法一: 上bp抓包 放到repeter测试 试试万能密码(靶机过期了重新开了个靶机) admin or 11--shellmates{SQLi_goeS_BrrRrRR}方法二: 拿包直接梭…

BUUCTF—Reverse—easyre(1)

非常简单的逆向 拿到exe文件先查下信息,是一个64位程序,没有加壳(壳是对代码的加密,起混淆保护的作用,一般用来阻止逆向)。 然后拖进IDA(64位)进行反汇编 打开以后就可以看到flag flag{this_Is_a_EaSyRe}

全面击破工程级复杂缓存难题

目录 一、走进业务中的缓存 (一)本地缓存 (二)分布式缓存 二、缓存更新模式分析 (一)Cache Aside Pattern(旁路缓存模式) 读操作流程 写操作流程 流程问题思考 问题1&#…

React基础知识一

写的东西太多了,照成csdn文档编辑器都开始卡顿了,所以分篇写。 1.安装React 需要安装下面三个包。 react:react核心包 react-dom:渲染需要用到的核心包 babel:将jsx语法转换成React代码的工具。(没使用jsx可以不装)1.1 在html中…

Vue3中使用:deep修改element-plus的样式无效怎么办?

前言:当我们用 vue3 :deep() 处理 elementui 中 el-dialog_body和el-dislog__header 的时候样式一直无法生效,遇到这种情况怎么办? 解决办法: 1.直接在 dialog 上面增加class 我试过,也不起作用,最后用这种…

鸿蒙进阶-状态管理

大家好啊,这里是鸿蒙开天组,今天我们来学习状态管理。 开始组件化开发之后,如何管理组件的状态会变得尤为重要,咱们接下来系统的学习一下这部分的内容 状态管理机制 在声明式UI编程框架中,UI是程序状态的运行结果&a…

leetcode:129. 求根节点到叶节点数字之和

给你一个二叉树的根节点 root ,树中每个节点都存放有一个 0 到 9 之间的数字。 每条从根节点到叶节点的路径都代表一个数字: 例如,从根节点到叶节点的路径 1 -> 2 -> 3 表示数字 123 。 计算从根节点到叶节点生成的 所有数字之和 。…

(南京观海微电子)——GH7006+BOE2.6_GV026WVQ-N81-1QP0_800RGB480_MIPI_LVDS_RGB原理介绍

1. 原理介绍 2. 代码 // Model - GV026WVQ-1QP0 // IC - GH7006 // Width - 800 // Height - 480 // REV: - V01 // DATA - 20240507 // INTERFACE- MIPI //"Vfp" value"16" /> //"…

速度革命:esbuild如何改变前端构建游戏 (1)

什么是 esbuild? esbuild 是一款基于 Go 语言开发的 JavaScript 构建打包工具,以其卓越的性能著称。相比传统的构建工具(如 Webpack),esbuild 在打包速度上有着显著的优势,能够将打包速度提升 10 到 100 倍…