车辆轨迹预测系列 (二):常见数据集介绍

news2024/10/4 21:32:45

车辆轨迹预测系列 (二):常见数据集介绍

文章目录

  • 车辆轨迹预测系列 (二):常见数据集介绍
      • 1、NuScenes (2020):
        • 1、下载
        • 2、说明
      • 2、Waymo Open Dataset (2020):
        • 1、介绍
        • 2、概述
        • 3、下载
        • 4、教程
        • 5、参考
      • 3、Lyft Level 5 (2020):
        • 1、官方
        • 2、数据集
        • 3、备注
      • 4、Argoverse (2019):
        • 1、数据下载
        • 2、参考
      • 5、INTERACTION (2019):
        • 1、数据请求
      • 6、HighD (2018):
        • 1、介绍
        • 2、数据请求
      • 7、Apolloscape (2018):
        • 1、数据下载
        • 2、数据请求
      • 8、KITTI (2013):
        • 1、轨迹检测
        • 2、数据集下载
      • 9、NGSIM (2006):
        • 1、数据下载

image-20240621113630003

  1. Dataset:数据集名称及参考文献编号。
  2. Year:数据集发布的年份。
  3. Agents:数据集中涉及的代理对象,包括行人(pedestrians)、骑行者(cyclists)和车辆(vehicles)。
  4. Sensors:数据集中使用的传感器类型,包括激光雷达(lidar)、摄像头(camera)和无人机(drone)。
  5. Scene:数据采集的场景类型,包括城市(urban)和高速公路(highway)。
  6. Duration and tracking quantity:数据集的持续时间和跟踪数据的数量。包括驾驶场景的数量、数据时长、车辆数量等。
  7. Data type:数据的类型,包括轨迹(trajectories)、高清地图(HD map)、图像(image)、点云(point cloud)等。
  8. Typical methods:针对该数据集常用的典型方法或模型。

详细分析

1、NuScenes (2020):

  • Agents:行人、骑行者、车辆
  • Sensors:激光雷达、摄像头
  • Scene:城市
  • Duration and tracking quantity:1000个驾驶场景
  • Data type:轨迹、高清地图
  • Typical methods:MHA-JAM, Trajectron++
  • Download Link: nuScenes Dataset
  • Paper Link:https://arxiv.org/abs/1903.11027 nuScenes: A multimodal dataset for autonomous driving

优点:

  • 多模态数据:包括雷达、激光雷达(LiDAR)、摄像头和GPS数据。
  • 高质量标注:详细的目标检测和跟踪,包含场景理解、行为预测和3D物体检测。
  • 场景丰富:包括城市和高速公路场景,覆盖多种天气和时间条件。

缺点:

  • 数据量较大:需要较大的存储和计算资源。
  • 标注成本高:数据标注的工作量大,成本较高。

适用场景:

  • 适合需要多传感器融合、场景理解和行为预测的研究和开发工作。
  • 高质量的数据需求,尤其是在复杂城市环境中的自动驾驶开发。

详细介绍

数据集是一个带有3d对象注释的大规模自动驾驶数据集。

●全传感器套件(1倍激光雷达,5倍雷达,6倍摄像头,IMU, GPS)

●1000个20秒的场景

●140万张相机图像

●39万次激光雷达扫描

●两个不同的城市:波士顿和新加坡

●左侧与右侧交通

●详细地图信息

●1.4M 3D边框手动标注23个对象类

●新增:为32个类别手动标注了1.1亿个激光雷达点

1、下载

完整的nuScenes数据集包含1000个场景,Mini中包含10个场景

  • https://www.nuscenes.org/download

  • 深入nuScenes数据集(1/6)-https://www.linpx.com/p/deep-into-the-nuscenes-dataset-16.html

  • https://github.com/nutonomy/nuscenes-devkit/blob/master/docs/schema_nuscenes.md

image-20240621180944566

顺带一提,这里面还有一个nuScenes预测任务的比赛

image-20240621181320329

预测nuScenes数据集中物体的未来轨迹。 轨迹是x-y位置的序列。对于这个挑战,预测时间为6秒,采样时间为 2赫兹。

image-20240621180229101

2、说明

image-20240621212806448

2、Waymo Open Dataset (2020):

  • Agents:行人、骑行者、车辆

  • Sensors:激光雷达、摄像头

  • Scene:城市

  • Duration and tracking quantity:103354个10Hz段,20秒每段

  • Data type:轨迹、高清地图

  • Typical methods:DenseTNT, Scene Transformer

  • Download Link: Waymo Open Dataset

  • Paper Link:https://openaccess.thecvf.com/content/ICCV2021/html/Ettinger_Large_Scale_Interactive_Motion_Forecasting_for_Autonomous_Driving_The_Waymo_ICCV_2021_paper.html Large Scale Interactive Motion Forecasting for Autonomous Driving: The Waymo Open Motion Dataset

优点:

  • 高质量的LiDAR数据:提供了丰富的3D点云数据,标注精确。
  • 开放数据集:数据集开放,易于获取和使用。
  • 多样化场景:涵盖城市道路和高速公路,支持多种驾驶场景。

缺点:

  • 数据规模大:需要较高的计算和存储能力。
  • 标注复杂:高精度的标注要求较高的处理和计算资源。

适用场景:

  • 适用于需要高质量LiDAR数据和复杂场景理解的研究。
  • 特别适合3D物体检测、跟踪和行为预测算法的开发。
1、介绍

官方数据集中包含两类MotionPreception,由于本文重点在于轨迹预测,因此仅介绍Motion数据

image-20240621183532502

**Motionhttps://waymo.com/open/data/motion/**用于Sim Agents (2024 version), Motion Prediction (2024 version), Occupancy and Flow Prediction (2024 version), and Interaction Prediction.等内容

image-20240621183859899

**Perceptionhttps://waymo.com/open/data/perception/**用于 3D Semantic Segmentation, 3D Camera-Only Detection, Real-time 3D Detection, Real-time 3D Tracking, 2D Detection, 2D Tracking, and Domain Adaptation.等内容

image-20240621183653478

2、概述

动作数据集以包含协议缓冲区数据的分片TFRecord格式文件的形式提供。数据被分成训练集、测试集和验证集,其中70%的训练集、15%的测试集和15%的验证集。该数据集由103354个片段组成,每个片段包含20秒的10Hz目标轨迹和片段所覆盖区域的地图数据。这些片段被进一步分解为9秒的窗口(1秒的历史数据和8秒的未来数据),这些窗口有不同的重叠。数据以两种形式提供。第一种形式存储为场景协议缓冲区。第二种形式将场景原型转换为tf。示例protos包含用于构建模型的张量。这两种格式的详细信息在本页的末尾。

训练集或验证集中的每9秒序列都包含1秒的历史数据、1个当前时间的样本和8秒的未来数据,采样频率为10 Hz。这对应于10个历史样本、1个当前时间样本和80个未来样本,总共91个样本。测试集隐藏了总共11个样本(10个历史样本和1个当前时间样本)的真实未来数据。

Scenario Proto format 场景原型格式

https://images.ctfassets.net/e6t5diu0txbw/5F0OTYxcAhO8AFOqWSinuY/90c849459a962141d105ea120de30168/unnamed.gif?fm=webp

3、下载

需要注册账号选择需要的数据集下载即可

image-20240621185206411

4、教程

如果您想要直接进入,请查看这里的教程。Github repo还包括一个快速入门,其中包含Waymo开放数据集支持代码的安装说明。

https://github.com/waymo-research/waymo-open-dataset/blob/master/tutorial/tutorial_motion.ipynb

5、参考
  • Waymo数据集使用介绍(waymo-open-dataset)

  • Waymo的自动驾驶训练数据集WOD

3、Lyft Level 5 (2020):

  • Agents:行人、骑行者、车辆
  • Sensors:激光雷达、摄像头
  • Scene:城市
  • Duration and tracking quantity:1000+小时,从23辆车中收集16K英里的数据
  • Data type:轨迹、高清地图
  • Typical methods:Graph-LSTM
  • Download Link: Lyft Level 5 Dataset
  • Paper Link: https://proceedings.mlr.press/v155/houston21a.html One Thousand and One Hours: Self-driving Motion Prediction Dataset

优点:

  • 多传感器数据:包括摄像头、雷达和LiDAR数据。
  • 城市环境:重点覆盖城市环境,适合城市自动驾驶研究。
  • 高精度标注:标注数据详细,支持多种任务。

缺点:

  • 需要高性能计算:处理数据的计算资源需求较高。

适用场景:

  • 适用于城市环境下的自动驾驶研究和开发,特别是多传感器数据融合和场景理解。
1、官方
  • Unlocking Self-Driving Research: The Lyft Level 5 Perception Dataset and Competition
2、数据集
  • https://woven-planet.github.io/l5kit/dataset.html

image-20240621193222612

3、备注

这个项目视乎已终止且未得到积极维护

image-20240621193252893

image-20240621193319386

4、Argoverse (2019):

  • Agents:车辆
  • Sensors:激光雷达、摄像头
  • Scene:城市
  • Duration and tracking quantity:324,557个有趣的车辆轨迹,1000个驾驶小时
  • Data type:轨迹、高清地图
  • Typical methods:VectorNet, LaneRCNN
  • Download Link: Argoverse Dataset
  • Paper Link: https://arxiv.org/abs/2301.00493Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting

优点:

  • 多样化的场景:包括城市和高速公路环境。
  • 丰富的标注:提供了高质量的标注,涵盖对象检测、轨迹预测等任务。
  • 数据格式标准化:数据格式标准化,便于使用和开发。

缺点:

  • 数据规模大:需要较多的存储和计算资源。
  • 标注成本高:数据标注工作量大。

适用场景:

  • 适合复杂场景下的自动驾驶算法开发,特别是在城市环境中的应用研究。
  • 强调场景理解和轨迹预测的任务。
1、数据下载

Argoverse包含两个版本Argoverse 1Argoverse 2

image-20240621195902545

点击下载

image-20240621200155449

https://www.argoverse.org/av2.html#download-link

image-20240621200255481

image-20240621212949349

2、参考
  • GitHub - jchengai/forecast-mae

  • Argoverse2数据集的导入-CSDN博客

  • Argoverse数据集可视化/Argoverse-api-CSDN博客

  • GitHub - argoverse/argoverse-api: Official GitHub repository for Argoverse dataset 可视化

5、INTERACTION (2019):

  • Agents:车辆、行人
  • Sensors:无人机、摄像头
  • Scene:城市、高速公路
  • Duration and tracking quantity:11个地点,40,000辆车
  • Data type:轨迹、高清地图
  • Typical methods:IPTM
  • Download Link: INTERACTION Dataset
  • Paper Link: https://arxiv.org/abs/1910.03088 INTERACTION Dataset: An INTERnational, Adversarial and Cooperative moTION Dataset in Interactive Driving Scenarios with Semantic Maps

优点:

  • 专注于行为预测:特别适合研究交通参与者之间的互动和行为预测。
  • 多场景数据:涵盖多种场景和交通情况,数据丰富。

缺点:

  • 数据标注需求高:高质量的标注需要较多的人力和时间。

适用场景:

  • 适合行为预测和交通参与者互动研究,尤其是在复杂交通场景中的应用。
1、数据请求
  • 特点: INTERACTION 数据集包含各种交通场景下的车辆轨迹数据,涵盖城市交叉口、环形交叉口等多样场景,适合研究车辆间交互影响的预测问题。
  • 链接: INTERACTION Dataset
  • 备注:需要单独请求,随后会发到邮箱

image-20240620175623802

image-20240621201342111

6、HighD (2018):

  • Agents:车辆
  • Sensors:无人机
  • Scene:高速公路
  • Duration and tracking quantity:110500辆车,147驾驶小时
  • Data type:轨迹、车道
  • Typical methods:MHA-LSTM
  • Download Link: HighD Dataset
  • Paper Link: https://arxiv.org/abs/1910.03088 The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems

优点:

  • 高速公路数据:专注于高速公路场景,数据集质量高。
  • 数据标注细致:包括多种车辆和道路标志的标注,适合路径规划研究。

缺点:

  • 数据场景有限:主要集中在高速公路场景,适用范围有限。

适用场景:

  • 适合高速公路场景下的自动驾驶研究和路径规划算法开发。
1、介绍

image-20240621201620741

2、数据请求

按照官方的要求,需要填写申请表,笔者正在申请

image-20240621201726617

7、Apolloscape (2018):

  • Agents:行人、骑行者、车辆
  • Sensors:激光雷达、摄像头
  • Scene:城市
  • Duration and tracking quantity:1000公里轨迹
  • Data type:轨迹
  • Typical methods:GRIP
  • Download Link: Apolloscape Dataset
  • Paper Link: https://ieeexplore.ieee.org/abstract/document/8753527 The ApolloScape Open Dataset for Autonomous Driving and Its Application

优点:

  • 多传感器数据:包括摄像头、LiDAR和雷达数据。
  • 数据覆盖广:涵盖城市、农村和高速公路场景,数据丰富。

缺点:

  • 数据标注复杂:标注过程复杂,需要较高的技术支持。
  • 数据处理要求高:处理和存储数据需要较高的计算资源。

适用场景:

  • 适合多场景下的自动驾驶研究,特别是需要多传感器数据融合的应用。
1、数据下载

image-20240621202824709

image-20240621202938873

image-20240621202912095

我们的轨迹数据集包括基于相机的图像, 激光雷达扫描点云,并手动注释轨迹。它被收集在各种 照明条件和交通密度。更具体地说,它包含高度复杂的流量 车流中混杂着车辆、乘客和行人。

2、数据请求

官方提供了一些样本数据,完整版数据仍需邮件联系apolloscape.auto@gmail.com,全部数据笔者正在申请

image-20240621202957735

8、KITTI (2013):

  • Agents:行人、骑行者、车辆
  • Sensors:激光雷达、摄像头
  • Scene:城市、高速公路
  • Duration and tracking quantity:50个序列
  • Data type:图像、点云
  • Typical methods:DESIRE, MANTRA
  • Download Link: KITTI Dataset
  • Paper Link: https://journals.sagepub.com/doi/full/10.1177/0278364913491297 Vision meets robotics: The kitti dataset

优点:

  • 经典数据集:在自动驾驶领域广泛使用,数据格式标准化。
  • 易于获取和使用:数据集公开,易于下载和使用。

缺点:

  • 数据更新不频繁:数据集较老,部分数据不再符合当前技术水平。
  • 场景较为简单:主要集中在城市和高速公路,复杂场景较少。

适用场景:

  • 适用于入门级的自动驾驶研究和基准测试,特别是计算机视觉和深度学习算法的开发。
1、轨迹检测

image-20240621204047681

image-20240621204210321

2、数据集下载

https://www.cvlibs.net/datasets/kitti/eval_tracking.php

image-20240621204405136

image-20240621204503630

9、NGSIM (2006):

  • Agents:车辆
  • Sensors:摄像头
  • Scene:高速公路
  • Duration and tracking quantity:两段高速公路的90分钟记录
  • Data type:轨迹、车道
  • Typical methods:CS-LSTM, TS-GAN
  • Download Link: NGSIM Dataset Next Generation Simulation (NGSIM) Vehicle Trajectories and Supporting Data
  • Paper Link: Traffic analysis tools, Accessed: Jan. 6, 2021. [Online]. Available: https://ops.fhwa.dot.gov/trafficanalysistools/index.htm

优点:

  • 交通流数据:专注于交通流和车流数据,适合交通流分析和交通管理研究。
  • 数据覆盖广:涵盖多种交通情况和时间段,数据丰富。

缺点:

  • 数据标注有限:标注信息相对简单,缺少复杂的物体检测和行为标注。
  • 场景局限性:数据集主要集中在高速公路和城市道路,场景较为单一。

适用场景:

  • 适合交通流分析、交通预测和交通管理研究,尤其是交通行为建模和流量预测。
1、数据下载

Next Generation Simulation (NGSIM) Vehicle Trajectories and Supporting Data

image-20240621204951963

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1847514.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Ubuntu系统如何配置通过图形界面登录root用户

Ubuntu系统中的root账号默认是锁定的,但可以通过设置密码来启用。 需要注意的是,由于root用户具有对系统完全控制的权限,因此在使用root账户时应格外小心。一个错误的命令可能会导致系统损坏,这就是为什么Ubuntu默认不启用root账户…

ELK Kibana搜索框模糊搜索包含不包含

默认是KQL,点击切换Lucene搜索,搜索日志中包含Exception关键字,不包含BizException、IllegalArgumentException、DATA_SYNC_EXCEPTION关键字的日志,如下: message: *Exception AND !(message : *BizException OR message : *Ille…

五十三、openlayers官网示例Layer Spy解析——跟随鼠标透视望远镜效果、图层剪裁

官网demo地址: Layer Spy 这篇实现了鼠标跟随望远镜效果,鼠标移动时绘制一个圆形的剪裁区剪裁上层图层。 container.addEventListener("mousemove", function (event) {mousePosition map.getEventPixel(event);map.render();});container.a…

工具分享:Search_Viewer

文章目录 前言Search_Viewer介绍安装方式使用方式 前言 本文推荐工具Search_Viewer,详细介绍其安装和使用方式。 Search_Viewer介绍 集Fofa、Hunter鹰图、Shodan、360 quake、Zoomeye 钟馗之眼、censys 为一体的空间测绘gui图形界面化工具,支持一键采…

【Python】成功解决TypeError: missing 1 required positional argument

【Python】成功解决TypeError: missing 1 required positional argument 下滑即可查看博客内容 🌈 欢迎莅临我的个人主页 👈这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地!🎇 🎓 博主简介&#xff1…

事件驱动架构详解:触发与响应构建高效系统

目录 前言1. 事件驱动架构概述1.1 什么是事件1.2 事件驱动架构的核心概念 2. 事件驱动架构的实现2.1 基于消息队列的实现2.2 基于发布-订阅模式的实现2.3 基于流处理的实现 3. 事件驱动架构的优势3.1 松耦合性3.2 可扩展性3.3 异步处理3.4 灵活性 4. 事件驱动架构的应用场景4.1…

【论文复现|智能算法改进】改进麻雀算法的无人机三维路径规划

目录 1.UAV路径规划数学模型2.改进点3.结果展示4.参考文献5.代码获取 1.UAV路径规划数学模型 【智能算法应用】蜣螂优化算法DBO求解UAV路径规划 2.改进点 Logistics混沌映射 X n 1 μ X n ( 1 − X n ) , X n ∈ ( 0 , 1 ) (1) X_{_{n1}} \mu X_{_n}( 1 - X_{_n} ) ,\qua…

CSS属性选择器具有不区分大小写的模式

今天,我偶然发现了 caniuse.com 项目的一期,其中提到了新的和即将推出的 CSS Level 4 选择器。 这个列表很长,并且有许多新的选择器正在开发中。一个新的选择器标志引起了我的注意;属性选择器将变成一个 i 标志,这使得…

CRMEB PRO企业微信通讯录配置

企业微信通讯录配置 登录企业微信管理后台 企业微信 1、点击【管理工具】找到【通讯录同步】点击进入 2、点击【开启API接口同步】 进入设置【通讯录同步】页面后,权限一栏,勾选【API编辑通讯录】勾选【开启手动编辑】; 3、点击下图箭头所…

服务端代码编写中MySql大小写在Java中报错问题解决

报错信息: 原因:MySql和Java变量大小写产生的冲突。 经过查阅各个博客等,得出浅显结论(不一定对):MySql大小写不敏感,Java大小写敏感,当Javabean转为MySql数据库表时,Ja…

Linux企业 集群批量管理-秘钥认证

集群批量管理-秘钥认证 概述 管理更加轻松:两个节点,通过秘钥认证形成进行访问,不需要输入密码,单向服务要求(应用场景): 一些服务在使用前要求我们做秘钥认证 手动写批量管理脚本名字&#x…

Swift Combine — Subject Publishers(PassthroughSubject CurrentValueSubject)

本文主要介绍一下Subject&#xff0c;Subject 本身也是一个 Publisher&#xff0c;其定义如下&#xff1a; public protocol Subject<Output, Failure> : AnyObject, Publisher {func send(_ value: Self.Output)func send(completion: Subscribers.Completion<Self.…

基于jeecgboot-vue3的Flowable流程-自定义业务表单处理(一)支持同一个业务多个关联流程的选择支持

因为这个项目license问题无法开源&#xff0c;更多技术支持与服务请加入我的知识星球。 这部分先讲讲支持自定义业务表单一个业务服务表单多个流程的支持处理 1、后端mapper部分 如下&#xff0c;修改selectSysCustomFormByServiceName为list对象&#xff0c;以便支持多个 &…

苹果手机短信删除了怎么恢复?有那些方法?

IPhone短信删除怎么恢复&#xff1f;现在大多数人都会使用社交软件沟通交流&#xff0c;短信的用武之地已经没以前那么多&#xff0c;但是它的重要性一点都不能忽视&#xff0c;有些重要的短信内容值得我们保留&#xff0c;如果不小心删除了这些短信内容该怎么恢复&#xff1f;…

全网首测!文生软件平台码上飞CodeFlying,效果炸裂!

前言&#xff1a; 提到AIGC&#xff0c;在大家的印象中应该就是让AI自己生成文字&#xff0c;图片等内容吧。随着今年Sora&#xff0c;Suno的爆火&#xff0c;将AIGC的应用场景又拉到了一个新的高度&#xff0c;为人们带来了更多的遐想。在未来&#xff0c;或许可以用AI来生成…

【LLM-多模态】高效多模态大型语言模型综述

一、结论写在前面 模型规模的庞大及训练和推理成本的高昂&#xff0c;限制了MLLMs在学术界和工业界的广泛应用。因此&#xff0c;研究高效轻量级的MLLMs具有巨大潜力&#xff0c;特别是在边缘计算场景中。 论文深入探讨了高效MLLM文献的领域&#xff0c;提供了一个全面的视角…

简易人工智能入门

一、监督or非监督 监督学习&#xff08;Supervised Learning&#xff09;&#xff1a;训练集有标记信息&#xff08;Y&#xff09;&#xff0c;学习方式有分类和回归 无监督学习&#xff08;Unsupervised Learning&#xff09;&#xff1a;训练集没有标记信息&#xff0c;学习…

20240621将需要自启动的部分放到RK3588平台的Buildroot系统的rcS文件中

20240621将需要自启动的部分放到RK3588平台的Buildroot系统的rcS文件中 2024/6/21 17:15 开发板&#xff1a;飞凌OK3588-C SDK&#xff1a;Rockchip原厂的Buildroot 缘起&#xff1a;在凌OK3588-C的LINUX R4系统启动的时候&#xff0c;需要拉高GPIO4_B5、GPIO3_B7和GPIO3_D0。…

高通Android 12 aapt报错问题踩坑

背景 最近因为要做多module模块&#xff0c;出现aapt报错&#xff0c;于是简单记录下&#xff0c;踩坑过程。 1、我一开始项目中三个module&#xff0c;然后在build.gradle设置androidApplication plugins {alias(libs.plugins.androidApplication) }2、运行完之后都是报下面…

中服云产品远程运维系统

中服云产品远程运维系统主要针对设备售后市场服务的管理&#xff0c;利用工业物联网技术&#xff0c;一方面面向设备生产厂商&#xff0c;将分散的经销商、客户、销售出去的设备统一管理&#xff1b;另一方面面向设备使用厂家&#xff0c;实现设备实时运行监控&#xff1b;系统…