在撰写论文时,接触到一个自动驾驶数据集Waymo Dataset
论文链接为:https://arxiv.org/abs/1912.04838v7
项目链接为:https://github.com/waymo-research/waymo-open-dataset
数据集链接为:https://waymo.com/open
waymo
提供了两种数据集,motion
与perception
两种,其中motion
是鸟瞰图,官网中有介绍,主要用于轨迹预测之类的任务,perception
主要用于目标检测跟踪之类的任务,是第一视角,有相机和雷达信息。
由于该数据集极为庞大,因此要想使用完整版只能前往官网下载。由于博主研究的是2D
目标检测,因此只需要使用v1.1
版本即可,该数据集提供了两个下载链接,一个是封装好的tar文件,另一个是单个文件,我们分别下载了两个数据集文件进行解析。
在实验中,并不需要将所有的数据集,因此博主只下载了train_0000.tar
文件,该数据集也达到近23G
。
tar
文件展示:
里面的内容是tensorflow读取格式的文件。
如果觉得23个G下载起来太过费时,也可以选择下载单个文件。
将数据集下载完毕后,该数据集的内容是无法查看的,因为其使用的是Tensorflow读取格式。
那么接下来便有两条路,一条是将我们的模型中的数据集加载方式改为Tensorflow
形式,另一种则是将Tensorflow格式的数据集文件重新解码,转换为我们平时使用的数据集形式,博主果断采用第二种。
由于博主使用的数据集类型是COCO
格式,因此可以使用下面的方法将Waymo
数据集转换为COCO
格式。代码下载地址如下:
https://github.com/shinya7y/WaymoCOCO
在该项目的readme中记录了Linux
系统下载Waymo
数据集并转换的过程,这里博主由于使用的是Windows
系统,因此这里博主就不按照他的要求进行了,只需要下载protbuf
依赖包即可。
随后按照下面的格式运行代码即可。
python convert_waymo_to_coco.py
--tfrecord_dir ${HOME}/data/waymotfrecord/validation/ #tfrecord的存放文件夹路径
--work_dir ${HOME}/data/waymococo_f0/ #保存文件夹地址
--image_dirname val2020 #保存的图片路径
--image_filename_prefix val #val
--label_filename instances_val2020.json #保存的json文件
--add_waymo_info
--frame_index_ones_place 0 #保存的index
之后便将原本tensorflow格式的数据转换为COCO格式了。