论文阅读--《FourierGNN:从纯图的角度重新思考多元时间序列预测》

news2024/11/15 11:29:13

Yi K, Zhang Q, Fan W, et al. FourierGNN: Rethinking multivariate time series forecasting from a pure graph perspective[J]. Advances in Neural Information Processing Systems, 2024, 36.

本次介绍的文章来自NeurIPS 2023,关于多变量时间序列的预测

摘要

痛点问题:当前最先进的基于图神经网络(GNN)的预测方法通常需要图网络(如GCN)和时间网络(如LSTM)来分别捕获序列间(空间)动态和序列内(时间)依赖关系。然而,两种网络的不确定兼容性给手工制作的模型设计带来了额外的负担。此外,分离的时空建模自然违背了现实世界中统一的时空相互依赖关系,这在很大程度上影响了预测效果。

解决方案:从纯图角度重新思考MTS预测

主要内容:首先定义了一种新的数据结构,hypervariate graph,它将每个序列值(无论变量或时间戳)视为一个图节点,并将滑动窗口表示为时空全连接图。该视角统一考虑时空动态,将经典的MTS预测重新表述为对超变量图的预测。然后,我们提出了一种新的傅立叶图神经网络(FourierGNN)架构,通过堆叠我们提出的傅立叶图算子(FGO)在傅立叶空间中执行矩阵乘法。FourierGNN具有较强的表达能力和较低的复杂度,能够有效地完成预测。此外,我们的理论分析揭示了FGO在时域上与图卷积的等价性,进一步验证了FourierGNN的有效性。在七个数据集上进行的大量实验表明,与最先进的方法相比,我们的性能更优,效率更高,参数更少。

一、介绍

多变量时间序列的预测:交通系统中的交通流量预测,天气预报中的温度估计,能源市场中的电力消耗规划等

传统方法:RNN、CNN、Informer ,但没有捕获序列的空间关系

基于GNN预测的方法(如STGCNTAMPS2GCNets)严重依赖于预定义的图结构来指定;

后来的高级方法(如StemGNN[10]、MTGNN[13]、AGCRN[2])可以在没有预定义先验的情况下自动学习序列间相关性并相应地建模空间动力学,但几乎所有方法都是通过堆叠图网络(如GCN和GAT)来捕获空间动力学,通过堆叠图网络(如LSTM和GRU)来捕获时间依赖性。然而,图网络与时态网络的不确定兼容性给手工模型设计带来了额外的负担,影响了预测效果。

研究问题:即使没有时间网络,纯图网络也能捕获空间动态和时间依赖性吗?

提出的解决方案:提出了一种新的方法,称为傅里叶图神经网络(FourierGNN)。考虑将时域信息转移到频域,在傅里叶空间内利用纯图方法捕获时间序列的时空关系。

 创新点

(1)时间上和空间上分别建图,破坏了时空整体性 -> 因此提出纯图网络捕获空间动态和时间依赖性

(2)纯图网络的特征挖掘开销大,计算成本高 -> 将时域上的计算转移到频域,利用傅里叶图算子(FGO)进行特征挖掘

(3)利用数学知识证明了在傅里叶空间中进行矩阵乘法等价于时间域中的图卷积

(4)实验十分丰富,数据集涵盖范围广,实验对比丰富,消融实验、可解释性实验都很丰富

 二、相关工作

三、问题定义

给定一个多变量时间序列输入:

最终的预测任务是: 

 其中F是预测函数,Y是最终的预测值

四、方法

模型整体结构:

 过程:(1)建图:构建全连通变量图 (2)节点嵌入:使用嵌入矩阵为每个节点嵌入d维向量 (3)离散傅里叶变换:将时域转到频域 (4)在傅里叶空间进行一系列递归乘法 (5)进行逆傅里叶变换:转回时域 (6)使用两层前馈网络FNN投影

1、建图

构建一个全连通变量图

 

这里的节点代表每个序列的采样点,边是全连通的,对于一个长度为T有N元的时间序列来说,超图具有NT个节点。

2、节点嵌入和离散傅里叶变换

 使用嵌入矩阵E_\phi为每个节点分配一个d维向量,即

然后进行离散傅里叶变换:离散傅里叶变换(Discrete Fourier Transform)是信号分析中的一种基本方法,将离散时序信号从时间域变换到频率域,是傅里叶变换在时域和频域都呈离散的形式

3、 傅里叶图算子(Fourier Graph Operator)

给定一个图G=(X,A) 节点特征邻接矩阵引入一个权重矩阵

有一个特定的Green Kernel: 满足关系(平移不变性)

定义为傅里叶图算子(FGO) 其中F为离散傅里叶变换 将节点特征的傅里叶变换与FGO的乘积表示为:

上述式子的原理来源于卷积定理:它表示两个信号卷积的傅里叶变换等于它们的傅里叶变换在频域中的点积

最终得到频域的卷积公式:

 

4、FourierGNN中的FGO应用

 定义k层傅立叶图神经网络为:

 其中表示第k层的FGO,σ是激活函数,bk是偏置

递归乘法在傅里叶空间中等效于时域中的多阶卷积: 

 

这种方法确保了FourierGNN在傅里叶空间中的操作与传统的时域卷积在理论上的一致性。

5、时间复杂度分析

 假设有 𝑛个节点和 𝑑维特征,FourierGNN的时间复杂度可以分为以下几个部分:

(1)离散傅里叶变换(DFT)

DFT用于将节点特征从时域转换到傅里叶空间。对 𝑛个节点进行 DFT 的时间复杂度为O(nlogn)   由于有d维特征,因此总的时间复杂度为:O(ndlogn)

(2)傅里叶空间中的矩阵乘法

在傅里叶空间中进行的矩阵乘法涉及节点特征矩阵 𝑋和傅里叶图算子 𝑆的乘法 假设 𝑋的尺寸为 𝑛×𝑑,𝑆的尺寸为 𝑑×𝑑这种矩阵乘法的时间复杂度为

(3)逆离散傅里叶变换(IDFT)

IDFT用于将傅里叶空间中的结果转换回时域。IDFT的时间复杂度与DFT相同,为 O(nlogn)由于有d维特征,因此总的时间复杂度为:O(ndlogn)

因此FGO的总时间复杂度为:

而传统卷积的时间复杂度为:

 因此,FGO的复杂度明显低于传统的图卷积操作,尤其是在处理大规模图数据时,优势更加显著

五、结果

1、数据集

Solar: 这个数据集是关于国家可再生能源实验室收集的太阳能。我们选择佛罗里达州的发电厂数据点作为数据集,该数据集包含593个点。数据采集时间为2006年1月1日至2016年12月31日,每隔1小时采样一次。

Wiki: 该数据集包含了不同维基百科文章的每日浏览量,收集时间为2015/7/1至2016/12/31。它由大约145k个时间序列组成,我们随机从中选择2k个作为我们的实验数据集。

交通: 该数据集包含963个旧金山高速公路车道的每小时交通数据。流量数据从2015/01/01开始采集,每隔1小时采样一次。

ECG: 该数据集是关于UCR时间序列分类档案中的心电图(ECG)。它包含140个节点,每个节点的长度为5000。

electry: 该数据集包含370个客户的用电量,从2011年1月1日开始收集。每隔15分钟采样一次。

COVID-19: 该数据集是关于2020年2月1日至2020年12月31日美国加利福尼亚州COVID-19住院情况的数据集,由约翰霍普金斯大学提供,采样间隔为每一天。

METR-LA: 该数据集包含2012年3月1日至2012年6月30日洛杉矶县高速公路环路探测器收集的交通信息。包含207个传感器,每5分钟采样一次。

 2、基线方法

3、实验结果

 4、敏感性分析

(1)针对预测长度不同的敏感性分析

 ECG数据集:

(2)针对节点数的敏感性分析

 (3)针对不同扩散步的敏感性分析

高阶扩散信息有利于提高预测精度,但随着阶数的增加,扩散信息的影响会逐渐减弱,甚至会给预测带来噪声

(4)针对输入窗口和嵌入维度的敏感性分析

 图7显示,随着输入回看窗口长度的增加,FourierGNN的性能(包括RMSE和MAPE)越来越好这表明FourierGNN可以从长MTS输入中学习到一个全面的超变量图,以捕获空间和时间依赖性。 图8显示,随着嵌入尺寸的增加,性能(RMSE和MAPE)先增加后降低,这是因为大的嵌入尺寸提高了FourierGNN的拟合能力,但也容易导致过拟合问题,尤其是当嵌入尺寸过大时。

5、消融实验

(1) w/o Embedding:  FourierGNN的一个变体将原始MTS输入而不是将其嵌入到傅里叶空间的图卷积中

(2) w/o Dynamic FGO: FourierGNN的一种变体对所有扩散步骤使用相同的FGO,而不是在不同的扩散步骤中应用不同的FGO它对应于一个普通的图过滤器。

(3) w/o Residual: FourierGNN的变体在求和中没有K = 0层输出,即

(4) w/o Summation: FourierGNN的一种变体采用最后一阶(层)输出作为FourierGNN的最终频率输出

 

 6、可视化

将不同变量的时间邻接矩阵可视化 从COVID-19数据集中随机选择8个县,计算每个县连续12个时间步长的关系,可视化邻接矩阵 结果表明,FourierGNN在每个县学习到不同的时间模式,这表明该超变量图可以编码丰富的、有区别的时间依赖性。 

 

将基于FourierGNN在METR-LA数据集上学习到的表示生成的邻接矩阵可视化

随机选择了20个检测器,并通过热图可视化它们对应的邻接矩阵 通过结合实际路线图检查邻接矩阵,我们观察到: (1) 探测器(7、8、9、11、13、18)在物理距离上非常接近,对应于它们在热图中相互关联的高值; (2) 探测器4、14、16距离其他探测器较远,整体相关值较小; (3) 与探测器14、16相比,探测器4与其他探测器如7、8、9的相关值略高,这是因为探测器4、7、8、9虽然相距较远,但在同一条路上 结果验证了超变量图结构可以表示高度可解释的相关性 

六、总结

总结:

1、从纯图的角度直接应用图网络进行MTS预测

2、提出傅立叶图算子(Fourier graph Operator, FGO)叠加在傅立叶空间中进行矩阵乘法的傅立叶神经网络,该网络具有足够的学习表现力,且复杂度较低

3、FourierGNN以更高的效率和更少的参数实现了最先进的性能,并且超变量图结构表现出强大的编码时空相互依赖关系的能力

思考:

1、关于论文写作:作者的写作思路很顺利,从发现问题,到一步步解决问题,想法和做法都顺理成章,有很好的创新点

2、实验的丰富性:做了大量的对比实验,工作量很大,还附带有可解释性的图

3、从时域转到频域,注重学科交叉,将其他学科的知识应用到自己的领域,产生了很好的效果 

源代码链接:

GitHub - aikunyi/FourierGNN: Official implementation of the paper "FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective" 


都看到这里了~给个小心心♥呗~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1861230.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

以创新赋能引领鸿蒙应用开发,凡泰极客亮相华为HDC2024

6月21日至23日,华为开发者大会2024在松山湖举行。大会现场,华为发布了HarmonyOS、盘古大模型等方面最新进展。国内外众多企业齐聚一堂,共迎新商机、共创新技术、共享新体验。 凡泰极客作为鸿蒙生态的重要战略合作伙伴,同时也是鸿…

【 IM 服务】开通全量消息路由服务

前提条件 在生产环境中,仅 IM 旗舰版、IM 尊享版可开通该服务。 操作说明 控制台 - 应用配置 - IM 服务管理 页面开通 可自助配置(配置名:多设备消息同步)收费配置(开发环境下免费) image1575645 48.4 K…

安达发|生产计划排产软件推动制造业的高质量发展

在全球经济一体化的大背景下,制造业正面临着前所未有的挑战与机遇。随着智能化技术的不断进步,生产计划排产软件作为推动制造业高质量发展的重要工具,已经成为行业转型升级的关键。 制造业作为国民经济的重要支柱,其发展水平直接关…

2024年全国VUE考试中心大全!

大家好,华为HCIA、HCIP、HCIE的笔试部分,都需要在VUE考试中心进行预约。但是很多同学都不知道当地VUE考试中心在哪里! 为了解决大家的问题,这边整理了全国各大城市的VUE考试中心名称和详细地址。需要的小伙伴们可以来看看&#x…

项目实训-vue(十一)

项目实训-vue&#xff08;十一&#xff09; 文章目录 项目实训-vue&#xff08;十一&#xff09;1.概述2.页顶导航栏3.导航信息4.总结 1.概述 本篇博客将记录我在图片上传页面中的工作。 2.页顶导航栏 <divstyle"display: flex;justify-content: space-between;alig…

2732. 找到矩阵中的好子集

题目 给你一个下标从 0 开始大小为 m x n 的二进制矩阵 grid。 从原矩阵中选出若干行构成一个行的非空子集&#xff0c;如果子集中任何一列的和至多为子集大小的一半&#xff0c;那么我们称这个子集是好子集。 更正式的&#xff0c;如果选出来的行子集大小&#xff08;即行的…

考研数学|线代零基础,听谁的课比较合适?

线性代数是数学的一个重要分支&#xff0c;对于考研的学生来说&#xff0c;掌握好这门课程是非常关键的。由于你之前没有听过线性代数课&#xff0c;选择一个合适的课程和老师就显得尤为重要。 以下是一些建议&#xff0c;希望能帮助你找到合适的课程资源。 首先&#xff0c;…

迁移方案详解|使用YMP从异构数据库迁移到YashanDB

数据迁移简介 01典型场景与需求 在国产化浪潮下&#xff0c;数据库系统的国产化替代成为了一个日益重要的议题&#xff0c;有助于企业降低对外依赖&#xff0c;提升信息安全和自主性。 以Oracle、MySQL为代表的传统关系型数据库管理系统&#xff0c;在企业应用中占据了重要的…

食品供应链管理商城系统的设计、实现和代码

上线食品供应链管理商城系统的设计与实现是一项复杂且重要的任务&#xff0c;它不仅涉及到技术层面的具体实现&#xff0c;还包括业务流程的优化和用户体验的提升。本文将从系统设计、功能模块、技术选型以及实现步骤等方面进行详细探讨。 ### 系统设计 在设计食品供应链管理…

cad转换pdf怎么转换?介绍四个转换方法

cad转换pdf怎么转换&#xff1f;在数字化办公日益盛行的今天&#xff0c;CAD图纸的转换与处理成为许多专业人士不可或缺的技能。特别是在需要将CAD图纸转换为PDF格式时&#xff0c;一款功能强大的软件能够大大提高工作效率。今天&#xff0c;就为大家推荐四款CAD转PDF的神器&am…

Docker 安装Nginx部署网站 防火墙端口 数据卷挂载

拉取镜像 docker pull nginx#不写版本号 表示最新版本查看是否拉取成功 docker images#成功 nginx latest 605c77e624dd 2 years ago 141MB mysql 8.0 3218b38490ce 2 years ago 516MB mysql latest 3218b38490ce 2 years ago 5…

【乐吾乐2D可视化组态编辑器】水位随数据动态变化

External Player - 哔哩哔哩嵌入式外链播放器 示例&#xff1a;进度条&#xff0c;通常用来展示水位变化 乐吾乐2D可视化组态编辑器demo&#xff1a;https://2d.le5le.com/ 示例&#xff1a;乐吾乐2D可视化 (le5le.com)

项目实训-vue(十三)

项目实训-vue&#xff08;十三&#xff09; 文章目录 项目实训-vue&#xff08;十三&#xff09;1.概述2.处理按钮 1.概述 本篇博客将记录我在图片上传页面中的工作。 2.处理按钮 实现了图片的上传之后&#xff0c;还需要设置具体的上传按钮。 这段代码使用 Element UI 的 …

使用API有效率地管理Dynadot域名,为文件夹中的域名进行域名停放

关于Dynadot Dynadot是通过ICANN认证的域名注册商&#xff0c;自2002年成立以来&#xff0c;服务于全球108个国家和地区的客户&#xff0c;为数以万计的客户提供简洁&#xff0c;优惠&#xff0c;安全的域名注册以及管理服务。 Dynadot平台操作教程索引&#xff08;包括域名邮…

探讨数字化背景下VSM(价值流程图)的挑战和机遇

在信息化、数字化飞速发展的今天&#xff0c;各行各业都面临着前所未有的挑战与机遇。作为源自丰田生产模式的VSM&#xff08;价值流程图&#xff09;&#xff0c;这一曾经引领制造业革命的工具&#xff0c;在数字化背景下又将如何乘风破浪&#xff0c;应对新的市场格局和技术变…

linux用户使用资源限制

linux用户使用资源限制 1. 概述2. 特殊权限&#xff08;SUID,SGID,SBIT&#xff09;3. 访问控制列表&#xff08;ACL&#xff09;4. 磁盘空间限制&#xff08;quota&#xff09;5. 进程资源限制5.1 ulimit5.2 cgroup 前言&#xff1a;linux是一个遵循POSIX的多用户、多任务、支…

车辆网络安全开发

随着智能汽车的快速发展&#xff0c;车载软件的数量和复杂性不断增加&#xff0c;同时也带来了网络安全风险。智能汽车软件开发是实现车辆智能化、信息化的重要手段。在智能汽车软件的开发过程中&#xff0c;开发人员需要遵循一定的规范和标准&#xff0c;以确保软件的质量和安…

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程 关于猫头虎 大家好&#xff0c;我是猫头虎&#xff0c;别名猫头虎博主&#xff0c;擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评…

解决GPU 显存未能完全释放

一、 现象 算法同学反馈显存未能完全释放。 二、解决方法 一条命令搞定 注意&#xff1a;执行时注意不要误杀其他的python进程&#xff0c;需要确认好。 我的这条命令是将所有python进程都杀死了 ps -elf | grep python | awk {print $4} | xargs kill -s 9

挑战极限外,交易无疆界

交易&#xff0c;并非是仅限于金融行业的专属舞台&#xff01;在Eagle Trader&#xff0c;我们深信&#xff0c;无论您来自何方&#xff0c;都怀揣着独特的视角和优势&#xff0c;能在交易场上展现出别具一格的策略。 我们热烈欢迎来自各行各业的交易者&#xff0c;因为正是你…