关于 Camera 开始 Tuning 时的一些注意事项

news2024/10/6 6:00:29

1、问题背景:

最近有调试一个体感游戏机上带 Camera 的项目,原定搭配 ov13855 这颗 sensor, 但由于各种各样的问题,导致做了很多无用功,且各种延期。

本文主要总结下此次项目遇到的问题,及产品开始 tuning 时的一些注意事项。

2、问题分析:

Sensor 点亮出图后,效果如下图1 所示,图像偏红且四周还存在网格纹,抓取的 raw 图上也存在网格纹,

另外 raw 图上也能看到有明显的pd点(如图 2)。所以总结一下就是存在3个问题:图像偏红、画面四周有网格纹、有pd点。

图1

图2

a、图像偏红问题

最直观的问题就是图像偏红,一开始分析可能是 black level 扣的少了,因为他偏红的范围很大,在某些场景下感觉整体都是红的。尝试校了 black level 后没有解决。

后面查看 raw 图,看到 raw 上又有 pd点、网格纹,所以怀疑是这种带颜色的pd点,使得后续 ISP 处理时,导致的偏红。

和 ov 沟通能否 sensor 端关闭 pd 点,因为目前我们这个平台不支持 pdaf,没办法做 pd 点补偿。但给出的结论是 sensor 打开 pd correction 后,中心基本可以补偿掉 pd 点,但四周无法完全抹干净。

客户那边有 plan B, 接着就换用 ov13b10了,这款 sensor 虽然也支持 pdaf,但去年有在我们另一款平台上调试过,没有这种偏红的问题,且 raw 上也没看到有明显的 pd 点。

重新拿到 ov13b10 的模组点亮后,依然看到有和 ov13855 一样的现象(图像偏红、网格纹、pd点),但旧平台上点同样的 sensor 是好的,就有点怀疑是我们新平台的硬件问题了,

这就问题大了(因为新平台是8月份刚流片回来,还没正式调过一款 sensor),接着又将之前点亮的 ov13b10 的旧模组在新平台上验证了下,出图是正常的。那这就是模组的问题了。

反馈给到模组厂,得出的结论是镜头和 sensor 的 CRA 不匹配导致的,后面了解到 ov13b10 是一款商用级的 sensor (也就是用在手机用的比较多),但现在是搭配的一款数码多媒体的镜头(如图3),

所以 CRA 差的很大,会导致有明显的 color shading,关于CRA的具体介绍,可查看这篇文章:什么是 CRA ?

图3

模组厂给到客户的建议如下:

1)如果坚持用商用级的 sensor 那就只能用商用级的镜头,也就是手机上用的那种镜头;

2)牺牲 40% 左右的清晰度,匹配 CRA 接近的大镜头;

3)换数码多媒体的 sensor;

了解了下客户那边的需求,一开始不用商用级的镜头,一方面是因为产品设计不适用这种小尺寸的镜头,另一方面可能想着用 13M 的 sensor, 会觉得比较有竞争力些。 

b、图像四周有网格纹

网格纹应该是 Green Imbalance 相关,由于CRA不匹配导致的 Gr,Gb 接收到的信号不相等,出现的迷宫格。

c、pd 点

pd 点就是硬件上在芯片中通过有规律的插入分别遮挡住一半感光区域的pixel,记为 Left/Right PD Pixel。

模拟人双眼的原理来计算图像相位差,来推算移动到清晰位置的马达运行步长,一步到位使图像对焦清晰的过程。

软件上,将图像中的Left/Right PD pixel 分别提取出来,利用算法计算出图像PD值。

图像PD值是描述图像模糊程度的一个变量。图像越清晰,对应的PD值越接近0,理论上0代表图像是最清晰状态。

pdaf sensor 又分为 type-1/2/3 三种类型,type-1 是 PD Bad Correction 和 phase calculation 都在 sensor 里、

type-2 是 PD-PBC 和 PD pixel separation 在 sensor 里、

type-3 除了嵌入了PD 像素点外,没有其他功能;

type-2/3 的 pdaf sensor 没包含的功能,都需要 ISP 这边来实现,但目前我们平台是不支持 pdaf 的,所以没办法去做 PD 的补偿,一方面如果sensor 端 pd 去不干净的话,

图像就会有 pd 点存在,另一方面 PD 点其实就是坏点,他造成了像素损失,会影响清晰度。所以立项时要和客户谈清楚,直接换用不支持 pdaf 的 sensor 就好了。

3、问题小结:

首先此类问题在项目立项时就可以避免的,拿到 sensor 和 lens 的规格书,查看下镜头和 sensor 的 CRA 是否匹配、是否支持PDAF。

这是项目流程的问题,要让 PM 那边有这意识(这个项目有点坑,前期谈立项,bringup sensor 的时候,我们压根就没参与)。

另外模组厂也挺坑的,我们也完全没想到他们那边那么不专业,明知镜头不匹配也没事先提出来,所以这个项目是你负责 Tuning 的话,前期立项时就要参与进来,大致要做到如下几点:

1)了解 Camera 的应用场景如何。

车载、安防、消费类的相机,不同应用场景的相机对图像质量的要求是不一样的,要明白自己的 tuning 要点是什么,具体可查看这篇文章:相机图像质量概述

2)向客户了解他们对图像效果验收的标准是什么?一般有要求的公司会有图像质量测试的主客观标准。

3)拿到 sensor 和 lens 的规格书,查看相机的性能是否能满足客户的要求(比如sensor和镜头的分辨率、sensor 的信噪比、动态范围、是否支持pdaf、CRA是否匹配等等),

有问题要及时提出,否则因为本身硬件的局限性导致达不到客户要求,这就很麻烦了。

4)另外如上对镜头、sensor 的选型也要注意,客户那边的使用场景是会议,体感游戏,用 13M 的 sensor 有必要嘛?拍照、预览的尺寸如何,是否要裁成16:9 ?

商用级的镜头和多媒体的镜头,由于镜头的材质、sensor 的 pixel size 不同,都会使效果有所差异。 

参考公众号:" 香根草基地 " 文章

技术科普|3分钟解答什么是PDAF

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/115048.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【折腾服务器 4】ESXi 中 Ubuntu 安装 NPS 客户端 ( NPC )

Catch Up 书接上回,上一章中,群晖已经能定期给 Windows 物理机服务器做备份了,但是依然无法从外网访问服务器上的内容,本篇讲述如何在 Ubuntu 中安装 NPS 客户端,也就是所谓的 NPC ( Client )。 Chapter 1 准备一个 …

C#语言实例源码系列-实现FTP下载文件

专栏分享点击跳转>Unity3D特效百例点击跳转>案例项目实战源码点击跳转>游戏脚本-辅助自动化点击跳转>Android控件全解手册 👉关于作者 众所周知,人生是一个漫长的流程,不断克服困难,不断反思前进的过程。在这个过程中…

SpringSecurity(十)【CSRF 漏洞保护】

十、CSRF 漏洞保护 简介 CSRF(Cross-Site Request Forgery 跨站请求伪造),也可称为一键式攻击(one-click-attack)通常缩写为 CSRF 或者 XSRF。CSRF 攻击是一种挟持用户在当前已登录的浏览器上,发送恶意请求…

Python绘制地磁场

文章目录简介磁场绘制简介 为国际参考磁场对Python的封装,可通过经纬高度以及时间来计算地磁场强度,使用方法简单粗暴,如下 import pyIGRF pyIGRF.igrf_value(lat, lon, alt, date)参数含义为 lat 纬度lon 经度alt 海拔date 日期&#xff…

vuejs中组件的两种不同的编写风格-选项式API及组合式API

前言随着vue3的逐渐稳定,以及周边生态的完善,现在vue3已经成为默认的使用方式了的所以,对于一个前端开发者,Vue2与Vue3都得要会,在vue3中新增很多东西,比如:Fragment,Teleport,Suspense,也去掉了vue2中一些特性,比如:移除keyCode支持作为v-on的修饰符等在编程风格上也有一些区别…

Java项目:springBoot+Vue汽车销售管理系统

作者主页:源码空间站2022 简介:Java领域优质创作者、Java项目、学习资料、技术互助 文末获取源码 项目介绍 本项目基于spring boot以及Vue开发,为前后端分离的项目。针对汽车销售提供客户信息、车辆信息、订单信息、销售人员管理、财务报表等…

【Python百日进阶-数据分析】Day138 - plotly甘特图:px.timeline()

文章目录一、语法二、参数三、返回值四、实例4.1 带有 plotly.express 的甘特图和时间表4.1.1 普通甘特图4.1.2 px.timeline 的离散颜色4.1.3 px.timeline 的连续颜色4.1.4 同一水平线上有多个条4.1.5 Dash中使用甘特图一、语法 甘特图是一种条形图,用于说明项目进…

【C++高阶数据结构】并查集

🏆个人主页:企鹅不叫的博客 ​ 🌈专栏 C语言初阶和进阶C项目Leetcode刷题初阶数据结构与算法C初阶和进阶《深入理解计算机操作系统》《高质量C/C编程》Linux ⭐️ 博主码云gitee链接:代码仓库地址 ⚡若有帮助可以【关注点赞收藏】…

Linux之top命令详解

Linux之top命令详解 一、简单介绍 top是Linux性能分析工具,显示系统占用资源情况,和windows的任务管理器一样。top动态显示进程暂用资源情况,top对系统处理器的状态监视,它将显示CPU任务列表,按照CPU使用、内存使用和…

You are not allowed to create a user with GRANT

8.0之后的mysql不支持授权的时候就进行用户创建,所以创建之后才能授权; USE mysqlSELECT USER, PASSWORD, HOST FROM USER;SELECT USER ,grant_priv FROM USERCREATE USER zjy IDENTIFIED BY 123456; #host默认是%GRANT ALL PRIVILEGES ON *.* TO zjy% MySql-Ser…

【正点原子I.MX6U-MINI移植篇】rootfs移植过程详解(三)

Linux三巨头己经完成了2个了,就剩最后一个rootfs(根文件系统)了,根文件系统的组成以及如何构建根文件系统是Liux移植的最后一步,根文件系统构建好以后就意味着我们己经拥有了一个完整的、可以运行的最小系统。以后我们…

智慧工地车辆未冲洗抓拍系统 opencv+yolo

智慧工地车辆未冲洗抓拍系统利用opencvyolo网络深度学习架构模型对现场画面中车辆的冲洗情况实现智能识别。OpenCV基于C实现,同时提供python, Ruby, Matlab等语言的接口。OpenCV-Python是OpenCV的Python API,结合了OpenCV CAPI和Python语言的最佳特性。O…

微信防撤回功能修改

今天无意之中看到了一个帖子,谈到了有关微信消息撤回的。突发奇想实现一下,以后就不怕错过朋友的消息了。 首先介绍一下基本思路,由于微信采用的是CS端原理,所有的数据请求均通过服务器,客户端只是响应指令而已。 A向…

实验三:自主存取控制实验

【实验目的】 掌握自主存取控制权限的定义和维护方法。掌握在ORACLE数据库中定义用户、角色,分配权限给用户、角色,回收权限,以相应用户登录数据库验证权限分配是否正确的方法。 【实验内容】 设有一个企业,由总裁负责管理采购、…

【Pandas指南】Series

Pandas数据结构简介 - Series 来源:Pandas官网:https://pandas.pydata.org/docs/getting_started/intro_tutorials/index.html 笔记托管:https://gitee.com/DingJiaxiong/machine-learning-study 下面将从对 pandas 中的基本数据结构进行快速…

Git Bash Here和RStudio软件的问题解决

Git Bash Here和RStudio软件的问题解决 文章目录Git Bash Here和RStudio软件的问题解决0、 写在前面1、Git软件在任务栏图标空白2、RStudio软件2.1 警告信息InormalizePath(path.expand(path),winslash,mustWork)2.2 incomplete final line found by readTableHeader on报错3、…

推荐两个go语言的websocket库

最近在写一个需要前后端保持通信的服务。前端要能及时感知后端数据的变化,后端要及时处理前端发过来的指令。这种服务就需要用到websocket了。 以前在写websocket相关的程序时,一直在用gorilla/websocket这个库,这个库事实上已经成为了go语言…

后端面试之系统设计 - 用户密码如何储存在DB里

原文地址:码农在新加坡的个人博客 背景 现在很多网站都因为爆库导致密码泄漏,要设计怎么样的密码储存机制,才能保证最大限度的不被盗取,即使数据泄漏,黑客也无法在短时间内获取对应的密码来登录用户的账号&#xff0c…

LeanCloud: 数据存储实现小程序云开发

1. LeanCloud 官网传送 2. LeanCloud选择原因 微信小程序的开发包括上线需要一个备案过的域名,而域名备案又需要一个服务器(仅腾讯云而言)。而微信云开发作为个人开发者受限于费用也不做考虑。 此时不考虑复杂的业务逻辑数据库读取是后端服…

A股、港股上市公司碳排放、碳强度和碳披露数据(2018-2021年)

随着中国碳强度减排任务的不断加重,当前政策的就业红利将不复存在,同时政策机制蕴含的资源错配、各行业边际减排成本不相等的问题则愈加严重,实施碳交易减排政策的时机逐渐成熟,政府应如何根据二氧化碳排放量、碳强度和碳披露等数…