大模型时代下的自动驾驶研发测试工具链-SimCycle

news2024/11/19 2:40:55

前言:

最近OpenAI公司的新产品Sora的发布,正式掀起了AI在视频创作相关行业的革新浪潮,AI不再仅限于文本、语音和图像,而直接可以完成视频的生成,这是AI发展历程中的又一座重要的里程碑。AI正在不断席卷着过去与我们息息相关的每一个行业,而自动驾驶行业更是AI发展的重要应用方向之一,从原来的仅在感知层面应用AI算法到如今的端到端全栈AI,自动驾驶算法的研发也不断在革新,与此同时伴随研发的一系列测试验证方法以及工具链也在不断更新突破,今天将分享我们的自动驾驶研发测试工具链解决方案-SimCycle

数据闭环的差异:

提及自动驾驶研发,就不得不提到一个概念——数据闭环。数据闭环的概念实际上也并不是自动驾驶领域的专属名词,在传统的软件工程中就有这个概念,我们可以看一下传统的数据闭环和自动驾驶的数据闭环的差异:

       可以看出,AI模型的加入使得传统数据闭环衍生出了一条分支,而这条分支就是AI迭代的流程。采用数据闭环来驱动AI算法迭代,目前已经被公认为是提升自动驾驶能力的必经之路。因此与之相对应的工具链需求也就应运而生。

SimCycle工具介绍:

       SimCycle是东信创智推出的云端数据闭环工具,是围绕自动驾驶算法开发、测试验证、仿真评价等迭代流程的一系列闭环解决方案,其核心亮点是具备完整的闭环方案,涵盖“数据采集、数据处理、数据挖掘、数据合规、数据管理、数据标注、模型训练、数据监控、数据仿真、评价”等模块,通过SimCycle可以帮助客户构建一条具有完整的自动驾驶算法研发流水线的自动化数据工厂,加速自动驾驶的研发。

工具特点:

       目前自动驾驶算法按照架构来区分,包含两个非常重要的核心算法:感知和规控。它们各自拥有自己的闭环。感知算法是AI算法模型,从研发模式来讲属于AI数据闭环,而规控算法的研发模式则更接近于传统数据闭环。两条环路在算法集成阶段正式进行汇融,进入算法的整体迭代流程,这是当前阶段的研发特点。而由特斯拉引起的基于端到端全栈AI算法的测试和验证方案我们仍然在持续探索。

  1. 数据采集与回灌

数据采集是获取数据的关键方法,根据数据的最终用途,会分为总线类和原始感知类数据,针对不同类型的数据又会有不同形式的采集设备的需要,东信创智目前可以提供全量数据的采集与回灌解决方案,包含车辆CAN/LIN/FlexRay/车载以太网等总线、摄像头、激光雷达、毫米波雷达、超声波雷达、组合惯导、IO等信号的采集与回灌。

  1. 数据管理与处理

数据管理与处理模块,主要解决当前阶段自动驾驶系统的非结构化、半结构化数据、多模态数据的存储和利用问题。不同的行驶数据,包括车端、云端数据最终都会统一进入相应的数据库,落成统一的数据格式,再进入后续的数据处理流水线中。

数据处理流程则包括基于AI模型的数据脱敏合规、预处理、切片清洗筛选等步骤,为后续的数据标注、场景挖掘、模型训练、数据仿真等流程提供标准化的输入物。

  1. 数据标注

数据标注通过云端AI大模型的部署,可以大大的提升标注效率。标注内容支持3D、4D标注、图片分类、语义分割等,通过AI大模型的自动化预标注,可以让人工标注的工作量减到 5% 左右,95% 的数据都可以通过自动化标注来完成,自动识别率可以达到90%以上。标注后的数据将会被打上标签信息,这些数据既可以用于模型训练,也可以用于算法评价,同时生成的标签还可以用于数据集的检索。用户可以更加快速和便捷地对数据集进行管理和操作,从而提高使用效率。

  1. 数据仿真与评价

数据仿真包含Logsim与Worldsim两种模式。Logsim是基于实采数据以回放的形式进行开环测试的方法,用于验证迭代后的算法,可以对感知、规划、预测、定位等模块单独进行验证也可以集成验证,是一种十分有效的回归测试方法。但是这种方法的核心是回归,即复现实车遇到过的场景case从而进行验证,而无法解决未知场景下的验证。而Worldsim则可以补足这个缺点,Worldsim是基于建模的原则,根据需要搭建仿真场景,包含交通规则、环境、道路等多种因素,实现虚拟场景的自由创建、场景可泛化,是真正意义上的仿真,通过搭建场景模型、交通模型、动力学模型、传感器模型、控制器模型等还可以实现算法接入后的完整闭环。但是Worldsim也有其局限性,虽然Worldsim可以实现云端高并发仿真,大大提升仿真效率,但当前阶段多数仿真仅限于规控算法的闭环,未考虑场景高精度渲染,同时仿真场景的构建较为复杂,存在搭建难度大、人力消耗大、仿真还原度低等问题。所以Log2world的概念也随之衍生出来,Log2world即路采数据通过数据挖掘、特征提取以及数字孪生等技术,可以转换为Worldsim运行所需要的场景标准格式文件如OpenX等,从而实现对路采数据的仿真转换,并可以进一步对场景进行泛化等操作。

在此基础之上,东信创智还提供大量的自动驾驶功能评价算子,覆盖感知、规控等多个模块和多个维度,用于在仿真过程中给客户提供更精准的反馈,指导算法改进,同时也开放评价管理接口,用于客户开发自定义评价算法。

  1. 模型训练及部署服务

东信创智整合了一些国内知名的云商资源,在可以提供上述工具解决方案以外,还可以提供模型训练、仿真测试以及云上部署等服务,满足客户私有云、公有云以及弹性混合云的需求,提供全栈式服务和解决方案。

总结:

智能驾驶行业正处于高速发展的阶段,同时大模型技术的兴起也正在不断的对以往技术进行革新,自动驾驶需要发展的道路还很长,东信创智将持续挖掘和整合最前沿的AI技术,为客户提供最有效、最落地、最先进的解决方案,成为客户最值得信赖的伙伴,共同助力自动驾驶时代的到来!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1500925.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

万字详解,Java实现低配版线程池

文章目录 1.什么是线程池2.线程池的优势3.原理4.代码编写4.1 阻塞队列4.2 ThreadPool线程池4.3 Worker工作线程4.4 代码测试 5. 拒绝策略5.1 抽象Reject接口5.2 BlockingQueue新增tryPut方法5.3 修改ThreadPool的execute方法5.4 ThreadPool线程池构造函数修改5.5 拒绝策略实现1…

python 基础知识点(蓝桥杯python科目个人复习计划60)

今日复习计划:做题 例题1:可构造的序列总数 问题描述: 构造王国一年一度的构造大赛又开始了,这次构造王国的国王将只给出两个数k和n,需要大家回答出能够构造多少个符合以下条件的序列: 序列的长度为n&a…

机器学习笔记 计算机视觉中的测距任务常见技术路线

一、计算机视觉中的测距任务 测距是计算机视觉中的一项关键任务,涉及测量物体和相机之间的距离。这些信息可用于多种应用,包括机器人、自动驾驶汽车和增强现实。测距技术有很多种,包括主动式和被动式,每种技术都有自己的优点和局限性。主动测距技术,例如飞行时间、结构光和…

达梦数据库将DMHR模式下的表(迁移)导出为EXCEL文件

数据库迁移工具(Data Transfer Service)位于/dm8/tool/dts.其中/dm8是数据库安装目录。 在创建数据库时我们如果勾选了 “创建示例库DMHR(R)”,数据库实例中就带有这个数据库。 这里是用MobaXterm客户端远程控制ip地址为192.168.148.130的虚…

微服务架构 | 多级缓存

INDEX 通用设计概述2 优势3 最佳实践 通用设计概述 通用设计思路如下图 内容分发网络(CDN) 可以理解为一些服务器的副本,这些副本服务器可以广泛的部署在服务器提供服务的区域内,并存有服务器中的一些数据。 用户访问原始服务器…

如何将github上代码克隆到本地

1、需求 想把github上一篇论文的代码下载到本地。 2、前提 本地电脑已经安装了Git。(没有安装需要到官网下载安装) 3、解决方法 大功告成

20 卷积层里的填充和步幅【李沐动手学深度学习v2课程笔记】

1. 填充和步幅 在上下左右分别填充一些0 2. 代码实现 2.1 填充 我们创建一个高度和宽度为3的二维卷积层,并在所有侧边填充1个像素。给定高度和宽度为8的输入,则输出的高度和宽度也是8。 import torch from torch import nn# 为了方便起见,…

【前端】-初始前端以及html的学习

💖作者:小树苗渴望变成参天大树🎈 🎉作者宣言:认真写好每一篇博客💤 🎊作者gitee:gitee✨ 💞作者专栏:C语言,数据结构初阶,Linux,C 动态规划算法🎄 如 果 你 …

实用干货:分享4个冷门但非常实用的HTML属性

大家好,我是大澈! 本文约1100字,整篇阅读大约需要2分钟。 关注微信公众号:“程序员大澈”,免费加入问答群,一起交流技术难题与未来! 现在关注公众号,免费送你 ”前后端入行大礼包…

详解float函数类型转换

函数描述 float([x]) 函数将数字或数字的字符串表示形式转换为与它等效的有符号浮点数。如果参数x是一个字符串(十进制表示的数字串),数字前面可以添加符号来表示正数,或负数。符号和数字之间不能出现空格,但是符号前…

AI数据分析软件-BeepBI的诞生结束了传统BI时代,引领了数据分析零门槛的时代

#AI数据分析# 随着人工智能(AI)的日益成熟,数据分析领域正迎来一场革命性的变革。在这场变革中,DeepBI凭借实现了用ai数据分析,与传统BI工具相比,展现出了前所未有的便捷性和易上手特性,真正实现了数据分析的零门槛。…

灵魂指针,教给(二)

欢迎来到白刘的领域 Miracle_86.-CSDN博客 系列专栏 C语言知识 先赞后看,已成习惯 创作不易,多多支持! 目录 一、数组名的理解 二、使用指针访问数组 三、一维数组传参本质 四、冒泡排序 五、二级指针 六、指针数组 七、指针数组…

JavaWeb——014SpringBoot原理(配置优先级、Bean管理、SpringBoot原理)

SpingBoot原理 目录 SpingBoot原理1. 配置优先级2. Bean管理2.1 获取Bean2.2 Bean作用域2.3 第三方Bean 3. SpringBoot原理3.1 起步依赖3.2 自动配置3.2.1 概述3.2.2 常见方案3.2.2.1 概述3.2.2.2 方案一3.2.2.3 方案二 3.2.3 原理分析3.2.3.1 源码跟踪3.2.3.2 Conditional 3.2…

Threejs用切线实现模型沿着轨道行驶

这次讲一个经常遇到的使用场景,让模型沿着轨迹运动,这个场景需要解决两个问题,第一是让模型沿着轨迹运动,第二是在沿着轨迹运动的同时,要保持模型的头部也时刻保持前方,而不是单纯的只是更新模型位置。 还是…

Type-C接口PD协议统一:引领电子科技新纪元的优势解析

在电子科技日新月异的今天,充电接口的统一化已经成为了业界的一大趋势。其中,Type-C接口凭借其传输速度快、使用便捷等优点,迅速成为了市场上的主流选择。而PD(Power Delivery)协议的统一,更是为Type-C接口…

jenkins+selenium+python实现web自动化测试

jenkinsselenium可以做到对web自动化的持续集成。 Jenkins的基本操作: 一、新建视图及job 新建视图: 新建job: 可以选择构建一个自由风格的软件项目或者复制已有的item 二、准备工作: 安装Jenkins插件,SSH plugin …

零基础,学6个月嵌入式,能找到工作吗?

今天看到一个老铁问,他报了个班,学6个月,学完能找到工作吗? 我看了下他的学习内容,包含C语言、数据结构、系统编程、网络编程、STM32、RTOS、物联网通讯协议、Linux内核驱动,这是大纲,细节的课程…

混合输入矩阵乘法的性能优化

作者 | Manish Gupta OneFlow编译 翻译|宛子琳、杨婷 AI驱动的技术正逐渐融入人们日常生活的各个角落,有望提高人们获取知识的能力,并提升整体生产效率。语言大模型(LLM)正是这些应用的核心。LLM对内存的需求很高&…

Haproxy介绍、安装

Haproxy介绍、安装 文章目录 Haproxy介绍、安装1.Haproxy介绍1.1 企业版1.2 社区版1.3 版本对比1.4 HAProxy功能 2.HAProxy安装2.1 主机初始化2.1.1 设置网卡名和ip地址2.1.2 配置镜像源2.1.3 关闭防火墙2.1.4 禁用SELinux2.1.5 设置时区 2.2 包安装2.2.1 Ubuntu 安装2.2.2 Cen…

透视B站财报:从前景看“钱景”

3月7日晚,哔哩哔哩发布了2023年度及第四季度财报。 财报显示,哔哩哔哩2023年总营收225亿元,净亏损同比大幅收窄49%,其中第四季度总营收达63.5亿元。 在后续电话会议上,哔哩哔哩管理层对市场上重点关注的“B站2024年能…