ADAS感知摄像头的分辨率与帧率选择分析

news2024/9/29 3:31:21

说明:可以作为对智能驾驶爱好者对摄像头参数理解或者从业工程人员对设计硬件选型参考

前言

在当前智能驾驶中,基于摄像头的 ADAS 因其应用、更高的可靠性和对新要求的适应性而被广泛采用。

ADAS 摄像头通常部署在汽车的前部、侧面和后部,提供驾驶和停车辅助。

前置摄像头系统最常安装在汽车的前部,后视镜后面。

后置摄像头安装在靠近车牌的后侧,而侧面摄像头安装在汽车两侧靠近镜子的位置

《了解布置位置可以点击视觉为王-小鹏以及特斯拉的自动驾驶方案》。
本文介绍了汽车摄像头系统的分辨率(以 Mpixel 为单位)和帧速率 (fps) 选择的见解,重点是单
目前置摄像头,当然也可以用于后/侧摄像头选择参考。
ADAS 前置摄像头 (FC) 系统从现实世界中捕获并识别感兴趣的对象(例如行人、汽车和两轮车)。
如 下 图 所 示 , ADAS FC 系 统 由 摄 像 头 模 块 ( 镜 头 和 传 感 器 ) 组 成 , 用 于 将 场 景 捕 获 为 一 系 列 图 像(即视频),然后在嵌入式处理器芯片上进行分析以识别感兴趣的对象。

ADAS 前视视像头的关键功能是识别感兴趣的对象以及与汽车的距离,并在正确的时间应用紧急休
息以避免碰撞。

这些目标必须在给定解决方案的高精度检测、低成本、低功耗和小尺寸的严格限制下
实现。

该解决方案必须能够在夜间或弱光驾驶等不同场景下工作。
整体解决方案中的三个参与者相互交互以实现 ADAS 系统的目标

1. 现实世界:

这包括汽车和可能成为潜在事故目标的感兴趣对象(例如行人、车辆、两轮车等)。
2. 摄 像 头 模 块 :

由 镜 头 和 传 感 器 组 件 组 成 。 它 以 固 定 间 隔 (fps) 将 现 实 世 界 捕 获 为 图 像 像 素 ( 分 辨率)。
3. 算法:

它通常会找到感兴趣的对象(例如行人)并在可能的碰撞情况下提醒驾驶员。由于行人目标
可 能 存 在 于 未 知 距 离 , 它 通 常 在 一 系 列 具 有 固 定 行 人 模 型 尺 寸 ( 例 如 64×32 像 素 ) 的 缩 小 图 像(称为图像金字塔)中搜索给定的行人。使用属性(称为从像素中提取的特征)而不是实际像素来执 行 搜 索 , 以 获 得 更 好 的 鲁 棒 性 。 一 旦 找 到 匹 配 的 行 人 , 就 会 计 算 到 行 人 的 距 离 和 碰 撞 时 间(TTC)。

这些算法属于计算机视觉 (CV) 和机器学习 (ML) 领域,并在嵌入式 SoC(片上系统)上运行。

下图显示了三个参与者以及实现 ADAS 系统目标的各种参数

1. 揭秘分辨率

通常,成像传感器的 Mpixel (MP) 决定了可以检测和识别给定对象的最远距离。下图显示了多种配
置下与行人的距离与 Mpixel 的典型关系

上图中的曲线假设现实世界中行人的高度为 1.5m,图像传感器的物理尺寸为 1/3”(标准OF值计算
方 法 是 其 实 际 对 角 线 长 度 1/3 英 寸 大 概 就 是 6mm ) 。

基 本 配 置 对 应 于 给 定 镜 头 的 450 FOV ( 视场)和行人高度,在捕获的图像中为 64 像素。如图 3 所示,1MP 到行人的最大距离为 34 m,8MP 增加到 101m。

对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较长时间内达到 8 MP。

MP 增加到 101m。对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较
长时间内达到 8 MP。


表 I 总结了增加 Mpixel(0.3 MP 到 8 MP)和最远行人距离(24m 到 101m)的影响以及假设
和可能的权衡。随着分辨率的提高,它带来了下一组问题,例如低光性能差和计算/功率要求高。
对于给定的分辨率(例如 2MP),有多种方法可以增加最远行人距离,

总结如下
1. 在图像金字塔搜索过程中使用较小尺寸的行人模型:

这导致距离增加 2 倍(51m 到 101m),因为模型尺寸减少了 2 倍(第 4 行)。

通常,较小尺寸的行人模型会降低检测的准确性,并产生更多的误报。


2. 使用更小的模型尺寸和复杂的特征:

这会导致更高的距离和相似的检测精度(第 5 行)。

与从行人中 提 取 的 传 统 特 征 ( 例 如 Haar 、 HoG ) 相 比 , 复 杂 的 特 征 ( 例 如 Co-Hog 、 卷 积 神 经 网 络 -CNN)需要更高的计算能力(以及成本)。


3. 使用窄 FOV(即更高的焦距):

这意味着在现实世界中跨越较低的正面区域,从而产生更高的距离(51m 到 59m)(第 6 行)。在 FOV 的极端减少(例如,达到 250 FOV)将导致需要额外的传
感器来覆盖类似的正面区域。

在更高 MP(例如 8MP)的情况下,一种可能的折衷方案是使用更宽的 FOV 镜头来覆盖前方和交
叉路口。这消除了额外的传感器,从而降低了成本(第 10 行)。

2. 揭秘fps

通常,成像传感器的帧率决定了避免物体碰撞的最大停止距离。

下图显示了汽车的停车距离与停车距离的典型关系。

汽车速度的多种配置的帧速率

停车距离是在应用中断之前检测行人期间覆盖的距离和在中断期间覆盖的距离的相加。

图的假设是行人检测期间的七帧延迟,其中包括大约三帧的处理延迟和大约四帧的跟踪延迟,以提高检测质量。

另一 个 假 设 是 根 据 英 国 公 路 法 规 打 破 距 离 。

如 上 图 所 示 , 假 设 汽 车 速 度 为 80 Km/Hr , 停 车 距 离 从55m 减 少 到 45m , 因 为 帧 速 率 从 10fps 到 15fps ( 文 章 写 的 时 候 ) 再 到 30fps ( 现 在 基 本 都 在
30fps)。

表二显示了增加车速(30Km/Hr 到 250Km/Hr)和对停车距离(8m 到 390m)的影响以及各种
参数和假设。
对于给定的汽车速度(例如 80 Km/Hr),有多种方法可以减少刹车距离,如下所示。
1. 使 用 更 高 的 帧 速 率 :

随 着 帧 速 率 的 增 加 ( 10 到 30 fps ) , 这 会 降 低 延 迟 ( 750 毫 秒 到 284 毫
秒)。这也提高了对象(例如行人)跟踪的性能,但代价是更高的处理能力(第 4 行和第 5 行)。
2. 使用基于流和切片的架构:

这减少了延迟(750 毫秒到 210 毫秒),因为跨多个子组件的通信以较
小的粒度发生,例如行/子图片(第 6 行)。

这种复杂的系统需要更多的时间来开发,并且可能存在算法框架级别的依赖挑战。

3. 其它挑战


所以其实我们当前看到国内很多智能驾驶的方案都还在堆料阶段,而汽车行业其实本质是应用产业,用最优的成本达到可以拓展升级的配置才是最优的方案。

这些就值得我们主机厂产业应用人士思考的核心竞争力。
参考文章以及图片:
1. 原文-ADAS Front Camera: Demystifying Resolution and Frame-Rate - EE TIMES
2. 摄像头以及图像技术基础 pdf - Jon Chouinard pdf可下载

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1429168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计算视图里的projection和aggregation节点区别

Projection 和 Aggregation到底有什么区别? 看名字就能看出来的。 那么在什么场景下用呢? 1. Projection就是投影,也就是说你本来的源里有什么,就直接给你拿出来。 除了这个,它使用的场景就是: 只映射需…

基于JAVA+SpringBoot+Vue的前后端分离的仓库管理系统(进销存)系统

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍: 随着全球经济的不断发…

linux 下mongodb7版本怎么连?

概述:linux下的mongodb7版本默认是没有安装客户端的,需要下载shell客户端才能连,下载之后解压,不需要编译,进入bin目录就能自己运行,。 安装: linux 下mongodb7版本没有安装客户端需要当地下载…

vscode实时预览markdown效果

安装插件 Markdown Preview Enhanced 上面是搜索框 启动预览 右键->Open Preview On the Side 效果如下: 目录功能 目录功能还是使用gitee吧 push后使用gitee,gitee上markdown支持侧边生成目录

数据结构篇-05:哈希表解决字母异位词分组

本文对应力扣高频100 ——49、字母异位词分组 哈希表最大的特点就是它可以把搜索元素的时间复杂度降到O(1)。这一题就是要我们找到 “字母异位词” 并把它们放在一起。 “字母异位词”就是同一个单词中字母的不同组合形式。判断“字母异位词”有两个视角:1、所含字…

UE4 C++ 静态加载类和资源

静态加载类和资源:指在编译时加载,并且只能在构造函数中编写代码 .h //增加所需组件的头文件 #include "Components/SceneComponent.h" //场景组件 #include "Components/StaticMeshComponent.h" //静态网格体组件 #include &qu…

XXE基础知识整理(附加xml基础整理)

全称:XML External Entity 外部实体注入攻击 原理 利用xml进行读取数据时过滤不严导致嵌入了恶意的xml代码;和xss一样 危害 外界攻击者可读取商户服务器上的任意文件; 执行系统命令; 探测内网端口; 攻击内网网站。 商…

arcgis javascript api4.x加载非公开或者私有的arcgis地图服务

需求: 加载arcgis没有公开或者私有的地图服务,同时还想实现加载时不弹出登录窗口 提示:​ 下述是针对独立的arcgis server,没有portal的应用场景; 如果有portal可以参考链接:https://mp.weixin.qq.com/s/W…

麒麟系统—— openKylin 安装 Maven

麒麟系统—— openKylin 安装 Maven 一、准备工作1. 确保麒麟系统 openKylin 已经安装完毕。2. 确保 java 已经安装完毕 二、下载Maven三、解压 Maven 与环境配置解压配置环境变量验证 最终:介绍配置的其他参数使用 本文将分享如何在麒麟操作系统 openKylin 上安装…

【持续更新】2024牛客寒假算法基础集训营1题解 | JorbanS

文章目录 [A - DFS搜索](https://ac.nowcoder.com/acm/contest/67741/A)[B - 关鸡](https://ac.nowcoder.com/acm/contest/67741/B)[C - 按闹分配](https://ac.nowcoder.com/acm/contest/67741/C)[D - 数组成鸡](https://ac.nowcoder.com/acm/contest/67741/D)[E - 本题又主要考…

go_view同后端集成时的注意事项

goview是一个不错的可视化大屏配置工具;提供了丰富的功能可供调用。 官方地址和文档: https://gitee.com/dromara/go-view https://www.mtruning.club/guide/start/ 同nodejs集成可参考;https://gitee.com/qwdingyu/led (建议–后端集成有api功能,可直接配置sql)同dotne…

1 初识JVM

JVM(Java Virtual Machine),也就是 “Java虚拟机”。 对于第三点功能:即时编译 常见的JVM 默认安装在JDK中的虚拟机为HotSpot:可以用“java -version”进行查看

【tensorflow 版本 keras版本】

#. 安装tensorflow and keras, 总是遇到版本无法匹配的问题。 安装之前先查表 https://master--floydhub-docs.netlify.app/guides/environments/ 1.先确定你的python version 2.再根据下面表,确定安装的tesorflow, keras

Unity通过物理带动实现传输带运输物品

前言:遇到个听起来挺简单的需求,就是实现一个传输带,传输物品。但细想发现如果是直接设置物品的速度,或者通过设置父物体的方式带动物品,都挺不好,关联性太强。最后选择用到一个很实用的API, Rigidbody.M…

基于springboot的宠物店系统的设计与实现

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式 🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 &…

Beyond Compare 30天试用到期的2024最新解决办法

目录 BeyondCompare:你的30天评估期已经结束 beyond Compare 3: 1)WinRun: regedit ,打开注册表 2. 删除项⽬:计算机\HKEY_CURRENT_USER\Software\Scooter Software\Beyond Compare 3\CacheId beyond Compare 4: …

备战蓝桥杯---数据结构与STL应用(进阶4)

今天主要围绕并查集的一些今典题目展开: 在这里,我们把逻辑真的组合,用并查集即可。一开始,我觉得把a,b,c等价,把第一个赋a,接下来推即可,但这样在判断矛盾时还需要选择合适的点find,于是我们把…

【数据库】分区的优点和缺点

​ 🍎个人博客:个人主页 🏆个人专栏:数据库 ⛳️ 功不唐捐,玉汝于成 目录 前言 正文 优点: 缺点: 结语 我的其他博客 ​ 前言 数据库中的分区技术为处理大规模数据提供了一种有效的手段…

2024美赛预测算法 | 回归预测 | Matlab基于WOA-LSSVM鲸鱼算法优化最小二乘支持向量机的数据多输入单输出回归预测

2024美赛预测算法 | 回归预测 | Matlab基于WOA-LSSVM鲸鱼算法优化最小二乘支持向量机的数据多输入单输出回归预测 目录 2024美赛预测算法 | 回归预测 | Matlab基于WOA-LSSVM鲸鱼算法优化最小二乘支持向量机的数据多输入单输出回归预测预测效果基本介绍程序设计参考资料 预测效果…

Python||五城P.M.2.5数据分析与可视化_使用华夫图分析各个城市的情况(中)

目录 1.上海市的空气质量 2.成都市的空气质量 【沈阳市空气质量情况详见下期】 五城P.M.2.5数据分析与可视化——北京市、上海市、广州市、沈阳市、成都市,使用华夫图和柱状图分析各个城市的情况 1.上海市的空气质量 import numpy as np import pandas as pd impor…