Deep Learning for Spatio-Temporal Data Mining: A Survey

被引用次数：392

[Submitted on 11 Jun 2019 (v1), last revised 24 Jun 2019 (this version, v2)]

主要内容： 该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数据挖掘的背景和意义，然后详细介绍了深度学习在时空数据挖掘中的应用，包括卷积神经网络（CNN）、循环神经网络（RNN）等模型在时空数据中的特征学习、时空数据的表示方法、时空数据的预测和分类等任务。此外，论文还介绍了一些深度学习在时空数据挖掘中的应用案例，如交通流量预测、犯罪预测等。

Ⅰ. introduction

• 介绍了时空数据挖掘的背景和意义

  • 时空数据挖掘是指从时空数据中发现有用的知识和模式的过程。
  • 时空数据挖掘在很多领域都有应用，如交通、气象、医疗等，可以帮助人们更好地理解和预测现象。

• 传统数据挖掘方法在处理时空数据时的局限性。

  • 随着时空数据集的数量、体积和分辨率的迅速增加，传统的数据挖掘方法，特别是基于统计的方法，已经无法处理这些数据。

  因此，深度学习技术的发展为时空数据挖掘提供了新的机会和挑战。

Ⅱ. categorization of spatio-temporal data

• 数据类型
  • 点数据
  • 线数据
  • 面数据
• 数据来源
  • 传感器数据
  • 人工采集数据
  • 模拟数据
• 数据表示
  • 矢量数据
  • 栅格数据

Ⅲ. Framework

• ADAIN model ：包括了多源数据的特征提取和融合、FNN和RNN模型的特征学习、全连接层的预测等步骤。
• ST-ResNet ： 基于残差神经网络，用于预测城市中每个区域的人流量。该模型框架包括了外部特征和人流量数据的特征提取和融合、残差神经网络的特征学习等步骤。

Ⅳ. Deep Learning Models for addressing different STDM problems

主要介绍了基于深度学习模型解决不同时空数据管理问题的方法。

• 首先将时空数据管理问题分为不同的类别，包括预测、表示学习、检测、分类、推断/估计、推荐等。
• 介绍了针对不同类别问题所提出的深度学习模型，包括卷积神经网络、循环神经网络、自编码器、生成对抗网络等。
• 总结了当前深度学习模型在不同领域的应用，包括交通、气候和天气、人类移动性、基于位置的社交网络、犯罪分析和神经科学等。

Ⅴ. Applications

• 交通流量预测
• 按需服务
• 气候/天气
• 人流预测
• 基于位置的社交网络(LBSN)
• 犯罪预测
• 神经科学

Ⅵ. Open Problem

• 模型可解释性
• 深度学习模型选择
• STDM任务的扩展应用
• ST数据集多模态融合

Spatio-Temporal Data Mining: A Survey of Problems and Methods

被引用次数：418

[Submitted on 13 Nov 2017 (v1), last revised 17 Nov 2017 (this version, v2)]

问题&方法

• 1.轨迹模式挖掘
  • 基于聚类的方法：基于密度聚类、基于网络聚类、基于子轨迹聚类
  • 基于序列模式挖掘的方法：频繁序列挖掘、序列聚类
  • 基于分类的方法：基于决策树分类、基于SVM分类
  • 基于关联规则方法：频繁模式挖掘、关联规则挖掘
• 2.时空聚类
  • 传统聚类方法：K-means、层次聚类、共享最近邻聚类、归一化割聚类
  • 混合模型方法：高斯混合模型、隐马尔可夫模型
  • 密度聚类方法：DBSCAN聚类、OPTICS聚类
  • 基于图的聚类方法：谱聚类，模块度最优化聚类
  • 基于子序列聚类方法：基于动态时间规整的子序列聚类
• 3.时空分类
  • 基于统计学习的方法：支持向量机、决策树、随机森林
  • 基于聚类的方法：K-mean聚类、层次聚类、DBSCAN聚类
  • 基于贝叶斯网络的方法：动态贝叶斯网络、半马尔可夫决策过程
  • 基于规则的方法：分类规则、关联规则
  • 基于神经网络的方法：卷积神经网络、循环神经网络
• 4.时空关联规则挖掘
  • 基于时空窗口的方法：滑动时空窗口、固定时空窗口
  • 基于序列模式挖掘的方法：频繁序列挖掘、序列聚类
  • 基于关联规则挖掘的方法：频繁模式挖掘、关联规则挖掘
• 5.时空异常检测
  • 基于统计学习的方法：支持向量机、随机森林、神经网络
  • 基于聚类的方法：K-means、DBSCAN聚类
  • 基于密度的方法：LOF、OPTICS
  • 基于时空窗口的方法：滑动时空窗口、固定时空窗口
  • 基于时空关联规则的方法：时空关联规则挖掘
• 6.时空预测
  • 基于时间序列的方法：ARIMA模型、指数平滑模型、状态空间模型
  • 基于回归的方法：线性回归、岭回归、Lasso回归
  • 基于机器学习的方法：支持向量机、随机森林、神经网络
  • 基于时空关联规则的方法：时空关联规则挖掘
  • 基于深度学习的方法：卷积神经网络、循环神经网络

Transformers in Time Series: A Survey

被引用次数：188

[Submitted on 15 Feb 2022 (v1), last revised 11 May 2023 (this version, v5)]

主要内容

本论文是一篇关于时间序列Transformer的综述，系统地回顾了Transformer在时间序列建模中的应用。论文首先介绍了Transformer的基本概念，然后从网络修改和应用领域的角度提出了一个新的分类法。在网络修改方面，论文讨论了对Transformer进行的低层次（即模块）和高层次（即架构）的改进，以优化时间序列建模的性能。在应用方面，论文分析和总结了用于流行的时间序列任务（包括预测、异常检测和分类）的Transformer。对于每个时间序列Transformer，论文分析了其见解、优点和局限性。为了提供有效使用Transformer进行时间序列建模的实用指南，论文进行了广泛的实证研究，包括鲁棒性分析、模型大小分析和季节趋势分解分析。最后，论文讨论了时间序列Transformer的未来发展方向。

主要贡献

本论文的主要贡献在于系统地回顾了Transformer在时间序列建模中的应用，提出了一个新的分类法，并分析了每个时间序列Transformer的见解、优点和局限性。此外，论文还进行了广泛的实证研究，为使用Transformer进行时间序列建模提供了实用指南。

网络修改方面的改进

• 位置编码：将输入时间序列的位置信息编码为向量，并注入到模型中作为一个额外的输入。
• 门控线性单元：GLU可以在Transformer中引入非线性性，从而提高模型的表达能力。
• 多层感知机：可以使用MLP来提高模型的表达能力。
• 自适应注意力（Adaptive Attention）：可以根据输入序列的特征自适应地调整注意力权重，从而提高模型的性能。
• 时间卷积（Temporal Convolution）：可以提高模型的表达能力。
• 时序卷积网络（Temporal Convolutional Networks，TCN）
• 时序自注意力（Temporal Self-Attention）

Table 1: Complexity comparisons of popular time series Transformers with different attention modules.

	Training		Testing
Methods	Time	Memory	Steps
Transformer	O(N^2)	O(N^2)	N
LogTrans	O(NlogN)	O(NlogN)	1
Informer	O(NlogN)	O(NlogN)	1
Autoformer	O(NlogN)	O(NlogN)	1
Pyraformer	O(N)	O(N)	1
Quatformer	O(2cN)	O(2cN)	1
FEDformer	O(N)	O(N)	1
Crossformer	O(DN^2/(Lseg^2))	O(N)	1

Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey

被引用次数：9

[Submitted on 25 Mar 2023 (v1), last revised 27 Apr 2023 (this version, v2)]

本文的主要内容是关于Spatio-Temporal Graph Neural Networks（STGNN）在城市计算中的预测学习应用。文章介绍了STGNN技术的基本原理、应用场景、算法模型和实验结果，并探讨了STGNN在城市交通、气象预测、社交网络等领域的应用前景。

STGNN应用于城市计算

STGNN基本原理

将图神经网络（GNNs）和各种时间学习方法相结合，以提取复杂的时空依赖关系。具体来说，STGNN通过构建时空数据，将空间信息和时间信息相结合，然后使用GNNs对空间信息进行建模，使用时间学习方法对时间信息进行建模，最后将两者结合起来，以实现对复杂时空依赖关系的建模和预测。

基本架构

• GNN
  • Spectral Graph Convolutional Network
  • Spatial Graph Convolutional Network
  • Graph Attention Network
• Recurrent Neural Networks
  • Long-Short Term Memory Network
  • Gated Recurrent Unit Network
• Temporal Convolutional Netowrks
  • Gated Temporal Convolutional Network
  • Causal Temporal Convolutional Network
• Temporal Self-Attention Networks
• Spatio-Temporal Fusion Neural Architecture
  • Factorized Neural Architecture
  • Coupled Neural Architecture

应用场景

• 交通方面
  • 交通需求预测
  • 交通意外预测
  • 交通用时预测
  • 交通轨迹预测
• 环境方面
  • 空气质量预测
  • 气候预测
• 公共安全方面
  • 犯罪频率预测
  • 灾难方位预测
• 公共健康方面
  • 传染病预测
  • 救护车需求预测
• 其他应用领域：能源、经济、金融、生产

STGNN变体

• 空间学习方法
  • Multi-Graph Convolution
  • Adaptive Graph Learning
  • Muti-Scale Spatial Learning
  • Heterogeneous spatial learning
• 时间学习方法
  • Multi-Scale Temporal Learning
  • Multi-Granularity Temporal Learning
  • Decomposition Temporal Learning
• 时空融合方法
  • Spatio-Temporal Joint Modeling
  • Automated Spatio-Temporal Fusion

先进学习框架

• Adversarial Learning
• Meta Learning
• Self-Supervised Learning
• Continuous Spatio-Temporal modeling
• Physics-Informed Learning
• Transfer Learning