文章目录
- 前言
- 一、adj_METR-LA.pkl文件
- 读取子文件1
- 读取子文件2
- 读取子文件3
- 二、METR-LA.h5文件
前言
最近做的实验比较多,对于交通预测数据的各种文件和文件中的数据格式理解愈加混乱,因此打算重新做一遍梳理来加深实验数据集的理解,本文章作为一个记录。
注意:本文主要以BasicTS中的数据文件作为例子,因为该工具库整理的数据和模型比较有体系,在此附上github链接和数据集下载路径。网盘密码:6v0a
BasicTS官方Github
BasicTS数据集百度网盘下载
该数据集主要包括以下文件(可以理解为图矩阵和特征矩阵两文件)
一、adj_METR-LA.pkl文件
该pkl文件包含三个子文件:
- 长度为207的graph_sensor_ids.txt文件存放了传感器的id,用于生成子文件2
- 根据文件1的graph_sensor_ids.txt生成的 {sensor_id :index}的字典,表示下标与传感器id一一对应
- 一个207 * 207的带权非对称邻接矩阵dist_mx(有向图),其index通过上面的字典对应sensor_id,权值的计算原理是利用阈值高斯核,其中相当于做了归一化和稀疏化,将距离值映射到0-1之间,并将低于阈值的值置0。(权重是根据存放传感器之间的距离distances_la_2012.csv文件获取,该文件包含了{源传感器id,目标传感器id,cost代价}信息)
可以结合该博客理解https://zhuanlan.zhihu.com/p/685638258
import pandas as pd
import numpy as np
df1 = pd.read_pickle("adj_METR-LA.pkl")
读取子文件1
读取子文件2
读取子文件3
二、METR-LA.h5文件
34272条207个传感器的每五分钟检测交通速度值(特征矩阵)
交通速度参考取值范围:
- 城市道路:30-50公里/小时(约20-30英里/小时)
- 郊区道路:50-70公里/小时(约30-45英里/小时)
- 郊区道路:80-120公里/小时(约50-75英里/小时)