完全自主研发,聚芯微发布3D dToF图像传感器芯片!

news2025/1/19 2:27:22

日前,由中国半导体行业协会IC设计分会(ICCAD)、芯原股份、松山湖管委会主办的主题为“AR/VR/XR×元宇宙”的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。武汉市聚芯微电子有限责任公司发布了完全自主知识产权的3D dToF图像传感器芯片SIF7010。

3D ToF技术为何更适合AR/VR/MR?

根据Yole Dévelopment的“2020年度3D成像与传感”报告显示,2019年全球3D传感模块市场规模为20亿美元,预计到2025年全球3D模块市场规模将增长到81亿美元,6年的年复合增长率超过了26%。Gartner在2019年发布的新兴技术成熟度曲线中,也指出3D传感技术即将进入成熟期。目前3D视觉技术已经被广泛的应用于智能手机、家庭娱乐、AR/VR/MR、智能AGV、智能制造等众多领域。

目前,主流的3D成像技术主要有三种,分别是双目主动立体视觉,结构光和TOF(Time Of Flight,又可分为iToF和dToF)。

从各项技术优缺点来看,双目成像虽然有着3D成像分辨率高、精度高、抗强光干扰性强、成本低等优势,但是其缺点也非常明显,比如其算法非常复杂、容易受到环境因素干扰、依赖环境光源、暗光场景表现不佳、模组尺寸相对较大等。因此目前在手机上应用相对较少。

3D结构光虽然有效识别距离相对较短,模组结构也比较复杂,成像容易受强光干扰,成本也相对较高,但是其通过一次成像就可以得到深度信息,能耗低、成像分辨率高,非常适合对安全级别要求较高的3D人脸识别、3D人脸支付等方面的应用。而且由于2017年苹果iPhone X的率先应用3D结构光技术的带动,该技术目前已经非常成熟。

虽然在苹果的带动下,之后有不少的旗舰也纷纷采用了前置3D结构光的方案,但是由于结构光在识别距离上的限制,使得结构光在手机上的应用,主要局限于前置,主要用作3D人脸识别解锁、3D人脸识别支付以及3D建模等应用,相对来说应用面较窄。

相比之下,3D ToF技术虽然成像精度和深度图分辨率相比结构光要低一些,功耗较高,但是其优势在于识别距离更远,可以做到0.4米到5米甚至更远的中远距离识别,抗干扰性强,而且FPS刷新率更高,这也使得ToF技术不仅可以应用于3D人脸识别、3D建模等方面,还可适用于SLAM、手势识别、体感游戏、AR/VR等多方面的应用,相比结构光技术应用面更广。

此外,相比结构光技术,3D ToF 的模组复杂度低,堆叠简单,可以做到非常小巧且坚固耐用且易于集成,因此更适合部署到移动端设备上,因此也得到手机厂商的青睐。

自2018年下半年开始,不少手机厂商都纷纷开始推出基于后置3D ToF技术的手机新品,比如OPPO R17 Pro、vivo NEX双屏版、华为P30 Pro、三星S10 5G版等。不过,这些基本都是基于iToF技术。

2020年,苹果率先在其新iPad Pro采用了基于dToF技术的“雷达扫描仪”,之后发布的iPhone 12 Pro和iPhone 12 Pro Max也配备了基于dToF技术的后置的“雷达扫描仪”,进一步加速了dToF技术的应用。

那么iToF和dToF技术又有何不同呢?

iToF 间接测量飞行时间,其原理为把发射的光调制成一定频率的周期型信号,测量该发射信号与到达被测量物反射回接收端时的相位差,间接计算出飞行时间。由于 iToF sensor 的 pixel 相对较小,可实现相对高图像分辨率。但iToF问题在于的测距精度的实现限制了最大测距距离,从原理上看,调制频率越高则测距精度越好,高调制频率意味着对应的测距距离不能太大,并且环境光会对电路产生干扰。

dToF是直接测量飞行时间,原理为向被测物体发射光脉冲,通过对反射和发射光脉冲时间间隔的测量,直接计算待测物体的深度。测距原理使得 dTOF 测量精度不会因距离增大而降低,功耗更低同时对环境光的抗干扰能力更强。

总结两种技术的优缺点来看,iToF具备低成本、较高分辨率优势,但识别距离相对较短,抗干扰性略差;而dToF技术则具备低功耗、抗干扰强、识别距离远等优势,适用于对测距精度要求高的较远距离测距场景。

聚芯微联合创始人、CTO孔繁晓也表示,我们看到3D ToF技术在AR/VR/XR应用方面的优势需求,主要的应用场景有两个方向,一个是更精细、更高速的,基于肢体或手势的识别率的场景,这种场景下希望有更高的分辨率,更精细的识别精度和帧率。另一种是对于混合现实方面,需要对整个空间进行扫描和建模,在这种情况下,可能对距离提出更高的要求。相对于其他3D视觉技术来说,ToF技术凭借分辨率及精度适中、识别距离更远、功耗低、平台易于集成等特点,更适用于AR/VR/MR设备所需的SLAM、3D建模等应用。

发布拥有全自主知识产权的3D dToF芯片

聚芯微作为一家具有较强的3D视觉技术能力的厂商,不仅能够提供iToF传感器,同时也是业内少数能够提供高性能dToF图像传感器的公司,致力于向业界提供一站式解决方案。

据介绍,聚芯微成立于2016年1月,是一家由数位拥有国际芯片大厂多年从业经验的归国学者成立的技术领先的芯片设计公司,专注于高性能模拟与混合信号芯片的开发。总部位于湖北武汉,在欧洲设有研发中心。目前员工210人,80%为研发人员,30%拥有海外学历学位和从业履历,获得专业投资机构和OPPO、小米、字节跳动等产业资本累计投资过数亿元。

在产品布局方面,聚芯微采取的是音频、触感、光学多产品线并行发展。其中,音频产品已实现数亿级别量产;线性马达驱动芯片也于2022年全面完成手机市场高中低端产品开发,解决了目前市场单一供应商的行业痛点。其首款线性马达驱动芯片匹配Haptic Core1.0的算法,目前也有被OPPO Find X6系列采用;在先进光学传感器方面,聚芯微的ALS only 单光感方案可兼容主流产品,实现光感产品在手机及IoT领域的广泛布局。其中,环境光传感器、多光谱的芯片都已经在大规模出货。

在3D ToF图像传感器芯片方面,聚芯微已经推出了国内首颗BSI 5um VGA iToF 传感器,且已获主流手机客户订单并量产。

孔繁晓表示,这款iToF传感器具有较高的分辨率(5um@VGA)和精度(100klux下<1%)以及抗干扰性,可以达到目前金融支付级人脸识别的要求和标准。并且功耗相比竞品低30%,是整个行业目前功耗最低的iToF传感器,支持非常灵活的配置模式,同时还有一个相对比较标准化的参考模组设计,整个模组系统功耗不超过600mW。

△针对典型的大卫头模型的测试,即使在加了100w干扰情况下,整个面部点云还是非常纯净的,拥有较高的成像质量和抗干扰性。

△针对户外的场景,100klux场景下,在4.5米,基于2.5w 940nm激光,整体系统功耗大概是几百毫瓦的量级,可以用于一些手势设备,或者电池方面,是即电式户外场景的应用要求。

据介绍,这款聚芯微自主知识产权的iToF传感器目前已经大量出货,可以应用于消费物流、手机、扫地机器人、智慧物流、机器人、无人工厂、轨道交通等应用场景。

此次聚芯微还发布了一款基于完全自主知识产权的3D dToF图像传感器芯片SIF7010。其采用了业界领先的3D堆栈式工艺,具有小尺寸低成本低功耗优势,可助力影像实现更好的全场景Auto-Focus,背景虚化人像模式,电影模式等,以及助力实现场景建模,河图-like AR/VR应用。

具体来说,SIF7010集成了自研的高PDP的SPAD成像阵列,高性能TDC以及低功耗DSP。

需要指出的是,dToF 深度算法相对简单,但难点在于用以实现较高精度的 SPAD(单光子雪崩二极管)。dToF 要检测光脉冲信号(纳秒甚至皮秒级),因而对光的敏感度要求会很高,因此接收端通常选择 SPAD或者 APD(雪崩光电二极管)这类传感器来实现。但是,APD集成度弱于普通的CMOS 图像传感器,像素尺寸一般大于 10μm,从而分辨率通常较差,成本也更高。相比之下,SPAD比APD更敏感,一个光生载流子就能触发大量雪崩电流,并且能够直接产生数字触发信号,可以实现更小像素尺寸,而且可与CMOS全兼容。可以说,SPAD技术是目前 dToF 技术的核心,但是技术难度大且制作工艺复杂,目前仅少数厂家具备量产能力。

具体技术指标方面,SIF7010拥有的1200的成像点(40×30像素),最远测距离5米,Depth精准度1%,具有较高的抗干扰性,系统功耗小于200毫安。可以广泛适用于多区对焦、SLAM、手势操作等应用。

据介绍,SIF7010相对于苹果所采用的索尼dToF方案来说,能够实现近似的AR/VR方案效果,但成本和功耗更低,目前这款芯片已经进入工程量产的阶段,预计今年量产。

“基于目前整个行业的发展趋势,我们认为3D ToF技术的适用性会更广泛,不管是iToF,还是dToF,彼此之间是互补的关系。iToF可以做相对近距离、分辨率更高的建模的应用。dToF更适合3、4米,甚至更远距离的空间建模的场景。作为行业内唯一一家同时具备iToF和dToF技术的团队,我们针对整个3D行业,我们拥有更为全面的解决方案。”孔繁晓总结说道。

编辑:芯智讯-浪客剑

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/556516.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Spring面试整理

什么是Spring&#xff1f; Spring的优缺点&#xff1f; Spring的模块组成 Spring框架中使用了哪些设计模式&#xff1f; 详细讲解下核心容器&#xff08;Spring context&#xff09;模块 Spring框架中有哪些不同类型的组件 Spring控制反转&#xff08;IOC&#xff09; 什…

由浅入深Dubbo核心源码剖析SPI机制

目录 1 SPI的概述1.1 SPI的主要作用1.2 入门案例1.3 总结 2 Dubbo中的SPI2.1 概述2.2 入门案例2.3 源码分析 3 SPI中的IOC和AOP3.1 依赖注入3.2 动态增强 4 动态编译4.1 SPI中的自适应4.2 javassist入门4.3 源码分析 1 SPI的概述 在 Dubbo 中&#xff0c;SPI 是一个非常重要的模…

Spring Boot 3.x 系列【35】服务监控 | 健康信息

有道无术,术尚可求,有术无道,止于术。 本系列Spring Boot版本3.0.5 源码地址:https://gitee.com/pearl-organization/study-spring-boot3 文章目录 1. 配置2. 基本原理3. 自动配置4. 自定义健康指标5. 分组6. 数据源1. 配置 Health是健康的意思,该端点用来检查正在运行…

XDP入门--BPF程序如何转发报文到其它网卡

本文目录 1、测试环境&#xff1a;2、实现的功能&#xff0c;使用bpf_redirect直接转发收到的报文到另外一张网卡3、测试步骤与测试结果 1、测试环境&#xff1a; 参照把树莓派改造成无线网卡(3)-----共享无线网络&#xff0c;无线网络转换成有线网络&#xff0c;让有线网络设…

从零实现一个数据库(DataBase) Go语言实现版 3.B树: 思路

英文源地址 关于B树和二叉查找树的直觉 我们的第一个直觉来自于平衡二叉树(BST).二叉树是用于排序数据的常用数据结构.在插入或移除键后保持树的良好形状就是’平衡’的意思.如前一章所述, 为了利用"页"(IO的最小单元), 应该使用n叉树而不是二叉树. b树可以由二叉查…

有哪些值得推荐的科研检索平台?

有哪些值得推荐的检索和笔记平台&#xff1f; 有哪些值得推荐的检索平台&#xff1f;文献检索&#xff0c;调研的推荐1. arXiv相关信息介绍推荐功能及用法 2. Web of Science相关信息介绍推荐功能及用法 3. Google Scholar相关信息介绍推荐功能及用法 4. Sci-Hub相关信息介绍 5…

Mybatis中动态sql的使用

文章目录 1. if 标签2.choose、when、otherwise3. trim、where、set4. foreach 动态 SQL 是 MyBatis 的强大特性之一,使用动态 SQL 并非一件易事&#xff0c;但借助可用于任何 SQL 映射语句中的强大的动态 SQL 语言&#xff0c;MyBatis 显著地提升了这一特性的易用性。Mbatis-P…

SaaS企业应该如何建立稳固的客户关系?

近年来&#xff0c;“客户成功”一词越来越热&#xff0c;这主要是由于当下企业正面临人口红利触顶、获客成本高昂、用户转化率低下、企业业绩增长受阻等问题&#xff0c;所以更多的企业开始将重心转移到对老客户的维护上&#xff0c;这也使得客户成功团队在企业中发挥的作用越…

Go中的异常处理

Go 中异常处理 主要掌握 一下几个方面: 掌握error接口掌握defer延迟掌握panic及recover error接口 error是指程序中出现不正常的情况,从而导致程序无法正常运行; go中为错误的类型提供了简单的错误处理机制 go中error的源码: // The error built-in interface type is t…

栈:程序员必备的工具箱

栈的结构和基本操作 本篇博客会讲解栈。栈是一种线性的数据结构&#xff0c;它满足“后进先出”的特性。栈有两端&#xff0c;分别是栈顶和栈底。每次插入或者删除数据&#xff0c;都是在栈顶的方向进行的。画个图解释一下&#xff1a;假设上面是栈顶&#xff0c;下面是栈底。…

linux ioctl 理解

背景 传统的操作系统可以分成两层&#xff0c;用户层和内核层。内核代码处理敏感资源同时在不同应用程序中间提供了安全且可信的隔离&#xff0c;出于此&#xff0c;操作系统要阻止用户态的程序直接访问内核资源。用户空间的程序通常发出一个给内核的请求&#xff0c;该请求称为…

基于vite4+pinia2模仿chatgpt移动端聊天模板Vue3MobileGPT

运用vite4.x构建mobile端仿chatgpt聊天实例Vue3-mobileGPT vue3-mobilegpt 基于 vite4vue3pinia2vue-routervant 等技术开发移动端仿ChatGPT智能聊天项目模板。支持lightdark两种主题&#xff0c;搭配vue3组件库Vant&#xff0c;界面简洁美观。 就前几天OpenAI就推出了IOS版Cha…

从 Vue Devtools 调用 WebStorm 打开文件

从 Vue Devtools 调用 WebStorm 打开文件 Vue Devtools 有一个功能, 可以直接在查看组件时, 直接打开对应的文件, 但默认是使用 VSCode 打开, 本文介绍如何使用 WebStorm 打开文件. 修改 vue.config.js: const openInEditor require("launch-editor-middleware");…

外包工作6年,聊一下感想.....

我不知道当年怎么想的&#xff0c;能在一个外包公司一干就是6年&#xff0c;后来终于跳出来了&#xff0c;现在的公司虽然不是什么大厂吧&#xff0c;但至少是个正经的互联网企业&#xff0c;待遇也不错。其实很多地方的朋友都有提到外包公司的一些弊端。 我个人的建议是&#…

linux下安装google谷歌浏览器

前言 记录下linux下安装谷歌浏览器全过程。 一、下载安装包 https://www.google.cn/intl/zh-CN/chrome/ 访问谷歌浏览器&#xff0c;拉到最下面 点击其他平台&#xff0c;选择linux 然后下载下来 下载完成后得到一个安装包 二、安装步骤 2.1.上传到linux服务器&#x…

chatgpt赋能Python-python_calu

Python Calu&#xff1a;Python程序员不可或缺的计算工具 作为一名有10年Python编程经验的工程师&#xff0c;我一直在使用Python编写各种程序&#xff0c;其中不可或缺的就是Python Calu。在下面&#xff0c;我将向您介绍Python Calu的特点及其在Python编程中的重要性。 什么…

uniapp内使用 mescroll

前言 在使用uniapp开发项目的过程中&#xff0c;在很多场景里都需要下拉刷新和上拉加载&#xff0c;而 mescroll.js 则是一个非常精致的下拉刷新和上拉加载 js 框架。 官网地址&#xff1a;mescroll 介绍 mescroll.js 是在 H5端 运行的下拉刷新和上拉加载插件&#xff0c;时…

如何使用 Xshell 连接 Linux 服务器

目录 &#x1f333;搭建 Linux 环境 &#x1f331;Linux 环境的搭建方式 ☘️购买云服务器 &#x1f333;使用Xshell远程登陆到Linux服务器 &#x1f331;下载安装Xshell ☘️查看Linux主机ip &#x1f340;使用Xshell登录主机 &#x1f4a7;方法1 &#x1f4a7;方法2…

宝塔面板搭建网站教程:Linux下使用宝塔一键搭建网站,内网穿透发布公网上线

文章目录 前言1. 环境安装2. 安装cpolar内网穿透3. 内网穿透4. 固定http地址5. 配置二级子域名6. 创建一个测试页面 转载自cpolar内网穿透的文章&#xff1a;使用宝塔面板快速搭建网站&#xff0c;并内网穿透实现公网远程访问 前言 宝塔面板作为简单好用的服务器运维管理面板&…