康谋方案 | BEV感知技术:多相机数据采集与高精度时间同步方案

news2025/3/11 5:16:44

随着自动驾驶技术的快速发展,车辆准确感知周围环境的能力变得至关重要。BEV(Bird's-Eye-View,鸟瞰图)感知技术,以其独特的视角和强大的数据处理能力,正成为自动驾驶领域的一大研究热点。

一、BEV感知技术概述

BEV感知技术,是一种从鸟瞰图视角(俯视图)出发的环境感知方法。与传统的正视图相比,BEV视角具有尺度变化小、视角遮挡少的显著优势,有助于网络对目标特征的一致性表达。基于这样的优势,可以更有效的对车辆周围环境进行感知。

图1:BEV 感知图

因此,在自动驾驶感知任务中,BEV感知算法通常包括分类、检测、分割、跟踪、预测、计划和控制等多个子任务,共同构建起一个完整的感知框架。

BEV感知算法的数据输入主要有图像和点云两种形式。根据数据源不同,BEV算法主要分为BEV Camera(纯视觉)、BEV LiDAR(基于激光雷达)和BEV Fusion(多模态融合)三类。其中,图像数据具有纹理丰富、成本低的优势,此外,基于图像的任务、基础模型相对成熟和完善,比较容易扩展到 BEV 感知算法中。

为了更好的训练BEV Camera感知算法,往往需要先搭建一个高质量的数据集。而搭建一套BEV感知数据采集系统,通常包括以下几个关键环节:

1. 硬件选型与集成:选合适的摄像头和计算采集平台,集成稳定系统。

2. 数据采集:在实际环境中采集图像数据,覆盖不同场景、光照和天气。

3. 时间同步:确保不同传感器数据时间精确同步,是后续算法训练的必要前提。

4. 系统调试和部署:调试系统确保组件协同工作,部署到实际应用环境。

因此,在实际搭建过程中,常会遇到技术复杂性高、成本投入大、数据质量与时间同步实现难、系统稳定性与可靠性要求高等挑战。针对这些问题,康谋推出一套BEV Camera数据采集方案,能高效搭建高质量的BEV感知数据集,加速算法研发和训练。

二、BEV Camera数据采集系统方案

BEV Camera数据系统采集方案以BRICKplus为核心系统平台,通过扩展PCIe Slot ETH6000模块连接6个iDS相机,利用GPS接收模块获取卫星时钟信号,提供XTSS时间同步服务,并支持13路(g)PTP以太网接口,确保高精度时间同步。

BRICKplus搭载BRICK STORAGEplus硬盘,提供大容量高速存储,满足高带宽数据采集需求,确保数据的完整性可靠性

图2:系统集成

三、数据采集

在BEV Camera数据采集方案中,难点在于如何同步多相机的采集动作、确保数据的高精度时间同步以及高效传输。因此,在整个软件方面,我们采用ROS+PEAK SDK方案进行深度集成,实现了多相机的参数配置、数据采集与传输。

为了更灵活应对实际采集环境需求,对相机(如曝光时间、帧率和分辨率等)参数进行了统一管理和存储,这些参数可在节点启动时通过配置文件动态加载,为相机的初始化提供了灵活性。

图3:相机参数配置

为实现多相机的同步采集和高效传输,我们利用了ROS的多线程和节点管理功能。通过为每个相机创建独立的采集线程,并启动采集循环,确保了每个相机的采集过程独立且高效。引入全局控制信号与信号处理机制,确保了统一管理所有相机的采集和同步结束状态。

图4:相机实时可视化

四、时间同步

为了实现多相机的时间同步,一般有两种方式:软时间同步和硬件时间同步。软时间同步主要依赖于软件层面的算法和协议来实现时间同步。其精度通常在微秒级别,适用于对时间同步精度要求不是较高的场景。

图5:多相机软件时间同步

为了应对时间同步精度要求较高的采集场景,如自动驾驶和高精度测量等。在BEV Camera数据采集方案中,进一步支持相机进行硬件时间同步。通过XTSS软件可以有效管理数采平台的时间同步功能,能够快速轻便配备各个传感器的时间同步配置。

图6:XTSS 时间同步管理

通过GPS模块提供高精度的时间基准,并利用支持硬件时间戳的以太网接口直接捕获数据包的时间戳。其时间同步精度可以达到纳秒级别,具备高稳定性,不受软件和网络延迟影响。

图7:多相机硬件时间同步

五、总结

在自动驾驶技术的快速发展中,BEV Camera数据采集系统的构建至关重要。通过采用BRICKplus平台,结合PCIe Slot ETH6000模块和iDS相机,我们实现了多相机的高效数据采集和存储。通过ROS+PEAK SDK的深度集成,实现了多相机的参数配置、数据采集与传输。利用GPS接收模块和XTSS时间同步服务,确保了多相机的高精度时间同步

康谋的BEV Camera数据采集方案有效解决了多相机同步采集和高精度时间同步的难题,还提供了灵活的相机参数配置和高效的数据传输,能够满足自动驾驶和高精度测量等场景的需求。


 我是分析自动驾驶技术的康谋

期待与您的进一步交流。

时间同步方案 - 高精度时间同步方案 | (g)PTP以太网时间同步方案 | 高精度硬件晶振时间同步 | 康谋科技https://keymotek.com/solution_time-synchronization/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2294301.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

更换IP属地会影响网络连接速度吗

在数字化时代,网络连接速度对于个人用户和企业来说都至关重要。无论是日常浏览网页、观看视频,还是进行在线办公、游戏娱乐,网络速度都直接影响着我们的体验。而IP属地,作为网络连接中的一个重要元素,其变动是否会引发…

深入探索 C++17 特征变量模板 (xxx_v)

文章目录 一、C++类型特征的前世今生二、C++17特征变量模板闪亮登场三、常见特征变量模板的实际应用(一)基本类型判断(二)指针与引用判断四、在模板元编程中的关键作用五、总结与展望在C++的持续演进中,C++17带来了许多令人眼前一亮的特性,其中特征变量模板(xxx_v)以其…

无用知识研究:std::initializer_list的秘密

先说结论,用std::initializer_list初始化vector,内部逻辑是先生成了一个临时数组,进行了拷贝构造,然后用这个数组的起终指针初始化initializer_list。然后再用initializer_list对vector进行初始化,这个动作又触发了拷贝…

web安全:任意文件下载漏洞

背景: 点击对应名字,下载对应图片。但服务器还存在其他文件,只是前端没有展示出来。通过模拟路径下载,可以获取到意想不到的数据。 看点击代码: 如果模拟没有前端的图片,也会发现下载了 所以这个叫任…

oracle:索引(B树索引,位图索引,分区索引,主键索引,唯一索引,联合索引/组合索引,函数索引)

索引通过存储列的排序值来加快对表中数据的访问速度,帮助数据库系统快速定位到所需数据,避免全表扫描 B树索引(B-Tree Index) B树索引是一种平衡树结构,适合处理范围查询和精确查找。它的设计目标是保持数据有序,并支持高效的插入…

【CPP】CPP经典面试题

文章目录 引言1. C 基础1.1 C 中的 const 关键字1.2 C 中的 static 关键字 2. 内存管理2.1 C 中的 new 和 delete2.2 内存泄漏 3. 面向对象编程3.1 继承和多态3.2 多重继承 4. 模板和泛型编程4.1 函数模板4.2 类模板 5. STL 和标准库5.1 容器5.2 迭代器 6. 高级特性6.1 移动语义…

C++11详解(三) -- 可变参数模版和lambda

文章目录 1.可变模版参数1.1 基本语法及其原理1.2 包扩展1.3 empalce系列接口1.3.1 push_back和emplace_back1.3.2 emplace_back在list中的使用(模拟实现) 2. lambda2.1 lambda表达式语法 1.可变模版参数 1.1 基本语法及其原理 1. C11支持可变参数模版&…

网站打开提示不安全

当网站打开时显示“不安全”提示(通常表现为浏览器地址栏中出现“不安全”字样或红色警告图标),这意味着网站未使用有效的SSL证书或HTTPS协议,导致浏览器认为连接不安全。以下是解决这一问题的详细步骤: 一. 原因分析 …

OpenCV:特征检测总结

目录 一、什么是特征检测? 二、OpenCV 中的常见特征检测方法 1. Harris 角点检测 2. Shi-Tomasi 角点检测 3. Canny 边缘检测 4. SIFT(尺度不变特征变换) 5. ORB 三、特征检测的应用场景 1. 图像匹配 2. 运动检测 3. 自动驾驶 4.…

python学opencv|读取图像(五十七)使用cv2.bilateralFilter()函数实现图像像素双边滤波处理

【1】引言 前序学习过程中,已经掌握了对图像的基本滤波操作技巧,具体的图像滤波方式包括均值滤波、中值滤波和高斯滤波,相关文章链接有: python学opencv|读取图像(五十四)使用cv2.blur()函数实现图像像素…

【SQL技术】不同数据库引擎 SQL 优化方案剖析

一、引言 在数据处理和分析的世界里,SQL 是不可或缺的工具。不同的数据库系统,如 MySQL、PostgreSQL(PG)、Doris 和 Hive,在架构和性能特点上存在差异,因此针对它们的 SQL 优化策略也各有不同。这些数据库中…

链式结构二叉树(递归暴力美学)

文章目录 1. 链式结构二叉树1.1 二叉树创建 2. 前中后序遍历2.1 遍历规则2.2 代码实现图文理解 3. 结点个数以及高度等二叉树结点个数正确做法: 4. 层序遍历5. 判断是否完全二叉树 1. 链式结构二叉树 完成了顺序结构二叉树的代码实现,可以知道其底层结构…

技术文档管理最佳实践:高效、专业、可持续

文章目录 技术文档管理最佳实践:高效、专业、可持续1. 技术文档的核心价值1.1 降低知识流失风险1.2 提升开发效率1.3 增强团队协作1.4 规范技术资产管理 2. 技术文档分类与规范2.1 代码相关文档2.2 过程与运维文档2.3 知识与培训文档 3. 工具选型:自动化…

56. Uboot移植实验

一、NXP官方Uboot编译与测试 1、将NXP提供的uboot拷贝到ubuntu中。 一个开发板也好运行uboot,DDR或者叫DRAM,串口,SD、EMMC、NAND。板子能工作。 测似结果: 1、uboot能正常启动 2、LCD驱动要根据所使用的屏幕修改。 3、NET初始…

AI大模型:本地部署deepseek

一、安装lmstudio 1、下载网站: LM Studio - Discover, download, and run local LLMs 2、直接安装即可,记住安装的路径 二、下载deepseek模型 2.1、下载的流程 1、下载网站 https://huggingface.co/models 2、在搜索框输入:deepseek …

RK3588平台开发系列讲解(DMA篇)DMA engine使用

文章目录 一、DMA 使用步骤二、DMA接口2.1、DMA 通道管理相关接口2.2、DMA 描述符相关接口2.3、DMA 启动与控制接口2.4、DMA 状态检查接口2.5、 DMA 缓存管理接口2.6、DMA 中断与同步机制沉淀、分享、成长,让自己和他人都能有所收获!😄 Linux 内核的 DMA 引擎提供了一组完整…

报名 | IEEE ICME 2025 音频编码器能力挑战赛正式开启

音频编码器是多模态大模型的重要组件,优秀的音频编码器在构建多模态系统中至关重要。在此背景下,小米集团、萨里大学、海天瑞声共同主办了 IEEE International Conference on Multimedia & Expo (ICME) 2025 Audio Encoder Capability Challenge。 …

ASP.NET Core标识框架Identity

目录 Authentication与Authorization 标识框架(Identity) Identity框架的使用 初始化 自定义属性 案例一:添加用户、角色 案例二:检查登录用户信息 案例三:实现密码的重置 步骤 Authentication与Authorizatio…

PFAS(全氟烷基和多氟烷基物质)测试流程详细介绍

PFAS(全氟烷基和多氟烷基物质)测试详细介绍 什么是PFAS? PFAS是(Per-and polyfluoroalkyl substances)的简称,中文名:全氟烷基和多氟烷基物质,是一系列合成有机氟化物的总称,是指至少含有一个…

宝塔面板端口转发其它端口至MySQL的3306

最近需要把服务器的MySQL服务开放给外网,但又希望公开给所有人。也不想用默认的3306端口。同时也不想改变MySQL的默认端口。 这时候最好的办法就是用一个不常用的端口来转发至3306上去。例如使用49306至3306,外网通过49306来访问,内网依然使用…