LSTM与GNN强强结合！全新架构带来10倍推理速度提升

news2024/11/15 21:50:11

今天来推荐一个深度学习领域很有创新性的研究方向：LSTM结合GNN。

GNN擅长处理图数据关系和特征，而LSTM擅长处理时间序列数据及长期依赖关系。通过将两者结合，我们可以有效提升时间序列预测的准确性和效率，尤其是在处理空间和时间数据时。

比如一种用于出租车需求和供应预测的hetGNN-LSTM算法，结合了异构图神经网络和LSTM，比现有SOTA推理速度快了10倍！

目前这种策略已经被广泛应用于交通流量预测等多个场景，创新空间十分可观。于是我这次整理了8种最新的LSTM+GNN结合创新方案（附代码），并简单提炼了可参考的idea，希望能给各位的论文添砖加瓦。

论文原文+开源代码需要的同学看文末

Semi-decentralized Inference in Heterogeneous Graph Neural Networks for Traffic Demand Forecasting: An Edge-Computing Approach

方法：论文提出了一种结合了异构图神经网络（hetGNN）和长短期记忆网络（LSTM）的算法，用于出租车需求和供应预测。与现有最先进方法相比，hetGNN-LSTM实现了大约10倍的推理时间减少，并在不同的分散化设置中显示出高准确性预测的性能。

创新点：

提出了基于hetGNN-LSTM的出租车需求和供应预测算法，将出租车作为图的节点，并利用不同类型的边来建模节点之间的关系，通过利用这些关系来改善预测性能。
提出了半分散的GNN方法，通过使用多个云设备（cloudlet）进行分散计算，减少了中心化和分散化GNN方法的通信开销和计算复杂度。
提出了自适应节点-CLN分配方案，通过最小切割图分区将共享子图中的节点分配给相邻的云设备，最小化云设备之间的边数，从而减少云设备之间的通信。

Generating Occupancy Profiles for Building Simulations Using a Hybrid GNN and LSTM Framework

方法：论文开发了一种混合模型，通过结合图神经网络（GNN）和长短期记忆（LSTM）神经网络，预测办公环境中各个房间的占用情况，该模型在具有高时空依赖性的任务中表现出色。

创新点：

提出了一种新颖的神经网络，将图神经网络和LSTM相结合，用于预测办公室布局中各个房间的占用情况。这种图LSTM结构在高时空依赖性任务中表现出色。
提出了一种解决训练模型中过拟合问题的方法，包括减少隐藏层数量、预处理训练数据和调整早停设置。这些措施可以在未来的模型改进中进行测试。

A GNN-based Day Ahead Carbon Intensity Forecasting Model for Cross-Border Power Grids

方法：论文提出了一个基于图神经网络（GNN）和长短期记忆网络（LSTM）的碳强度预测模型，用于跨境电网的日前（day-ahead）碳强度预测。与现有技术相比，该模型实现了平均26.46%的准确率提升，以及在特定情况下对某些国家预测精度的显著提高。

创新点：

提出了一种新的跨境电网碳强度预测问题，并构建了一个基于图神经网络（GNN）和长短期记忆（LSTM）的CFCG模型，以捕捉空间和时间依赖关系。
开发了多周期模式编码和节点感知嵌入等新设计，以更好地捕捉跨境电网中的复杂空间和时间依赖关系。

SIG-Net: GNN based dropout prediction in MOOCs using Student Interaction Graph

方法：论文提出了一个基于图神经网络（GNN）的模型，称为SIG-Net，通过从学生交互图中提取子图，并利用这些子图中包含的学生与课程的交互来预测辍学。模型中使用了关系图卷积神经网络（RGCN）来生成子图嵌入，并采用了双向长短期记忆网络（Bi-LSTM）来进行时间序列的预测任务，从而实现对辍学的预测。