码住！热门且创新idea：GNN+强化学习！

news2024/9/22 3:51:50

如何提高学习效率、优化策略，并解决复杂的图结构相关问题？或许你可以考虑：GNN+强化学习。

GNN结合强化学习是当前的热门创新方向，它通过利用GNN在图形数据上的强大表示能力与强化学习在决策制定中的优势，不仅能够有效处理复杂的图结构数据，还能解决需要序列决策的实际问题，给我们提供解题的新思路。

但这种策略也存在挑战，如需大量数据、计算资源等。目前的研究也着力于改善这一结合的有效性和效率。比如最新提出的MAG-GNN，利用强化学习来提高GNN的效率和表达力，在减少计算复杂度的同时，也能提升模型的性能。

今天我从这些最新研究中挑选了12个高质量成果供同学们参考学习，开源的代码也整理了，帮助各位寻找灵感、打磨论文。

论文原文+开源代码需要的同学看文末

MAG-GNN: Reinforcement Learning Boosted Graph Neural Network

方法：本文提出了一种基于强化学习的图神经网络方法，称为MAG-GNN，通过使用强化学习（RL）来定位具有区分性的子图集合，从而降低了子图GNN的计算复杂度，同时保持了良好的表达能力。实验结果表明，MAG-GNN在多个数据集上取得了与最先进方法相竞争的性能，并且比许多子图GNNs取得了更好的效果。

创新点：

MAG-GNN通过使用强化学习代理来更新子图，从而找到具有最高区分力的子图集合。该方法将子图枚举的指数复杂度降低为常数复杂度的子图搜索算法，同时保持了良好的表达能力。
提出的MAG-GNN方法在许多数据集上进行了广泛实验，表明其具有竞争力的性能，甚至超过了许多子图图神经网络。实验还表明，MAG-GNN有效地减少了子图图神经网络的运行时间。
证明了MAG-GNN的优越性，通过比较MAG-GNN和其他采样方法（如PF-GNN和DropGNN），表明MAG-GNN选择了具有更高区分力的子图，从而提高了效率和效果。

Reinforcement learning-based SDN routing scheme empowered by causality detection and GNN

方法：论文提出了一种结合了强化学习、因果推断和图神经网络的SDN（Software-Defined Networking）路由方案。在GEANT2网络拓扑的实验中，SAC-CAI-EGCN方法在数据包丢失率上优于SPR约66.4%，在延迟上减少了约65.0%，并在吞吐量上提高了约23.8%。这些数据表明SAC-CAI-EGCN在网络性能上实现了显著的改进。

创新点：

该研究首次有效地将因果推断和强化学习相结合，显著提高了网络路由问题的性能。
通过量化动作对环境的因果影响和GNN，提出了一种基于强化学习的SDN路由方法，能够实现高效的SDN路由策略的生成，同时改善了QoS指标，如丢包率、延迟和吞吐量。

AttackGNN: Red-Teaming GNNs in Hardware Security Using Reinforcement Learning

方法：作者提出了一种新颖的强化学习（RL）代理程序AttackGNN，用于生成对抗性示例（即电路），以欺骗GNN技术。为了克服功能性、可扩展性和普适性方面的挑战，作者设计了一种新的RL代理程序，并对其进行了优化。该方法可以针对四种关键的硬件安全问题（IP盗版、检测/定位硬件木马、逆向工程和硬件混淆技术破解）生成成功的对抗性示例。

创新点：

AttackGNN是一种基于强化学习的对抗样本生成技术，首次应用于硬件安全的GNN。
AttackGNN对目标GNN架构和训练过程是无关的。它只假设对目标GNN模型具有黑盒访问权限。
AttackGNN通过设计有效且具有普适性的操作、稀疏的奖励和上下文马尔科夫决策过程的多任务学习，对RL代理进行了优化。这使得AttackGNN能够在硬件安全中生成成功的对抗样本，并且对不同的硬件安全问题具有通用性。

Cooperating Graph Neural Networks with Deep Reinforcement Learning for Vaccine Prioritization

方法：论文探讨了一种结合图神经网络（GNN）和深度强化学习（DRL）的疫苗优先分配策略，旨在有限的疫苗供应下减少疫情的整体负担。在模拟评估中，该框架实现了比基线策略减少7%到10%的感染和死亡，展示了其在优化疫苗分配策略方面的显著效果。

创新点：

将微地理级别的流动性纳入疾病传播模型，并提出了Trans-vaccine-SEIR模型来模拟疾病传播。通过在传统SEIR模型中引入移动性接触风险的异质性，从而改进了疾病传播的复杂模拟。
提出了一种RL-GNN框架来寻找最优的疫苗分配策略。在这个框架中，深度强化学习被用来在高度时空动态的疾病传播图中找到最优解。具体而言，图神经网络被视为一个策略逼近器，可以有效地捕捉流动性接触网络的结构特性和提取动态疾病特征。