当深度强化学习（DRL）遇见图神经网络（GNN）

news2024/11/28 6:32:25

本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在学习摘录和笔记专栏：

学习摘录和笔记（23）---《当深度强化学习（DRL）遇见图神经网络（GNN）》

当深度强化学习（DRL）遇见图神经网络（GNN）

原文/论文出处：

题目：《当深度强化学习遇见图神经网络》
时间：2019-10-21
来源：专知

1 图神经网络（GNN）

将图神经网络（GNN）与深度强化学习（DRL）相结合。新的DRL+GNN体系结构能够在任意网络拓扑图上学习、操作和生成。

图神经网络(Graph Neural Networks，GNN)是一种新型的神经网络，用于对图结构信息进行操作。它们的基本形式是将一些初始状态与图中的不同元素相关联，然后结合这些元素在图中的相互关系。迭代算法更新状态元素并使用最终状态产生输出.

2 深度强化学习（DRL）

DRL算法的目标是学习一种策略，使优化问题的累积报酬最大化。

该学习过程由一组动作A和一组状态S组成。给定一个状态s∈S，Agent将执行一个a∈A的动作，该动作产生一个新的状态s∈S的转换，并提供一个奖励r，这个优化问题可以被建模为一个马尔可夫决策过程（MDP）。然而，对于MDP的解决方案，需要评估状态-动作对的所有可能组合。

3 DRL训练伪代码

提出了DRL+GNN智能体，智能体实现了DQN算法，其中Q值函数是用GNN建模的。伪代码如下：

//Algorithm 1 DRL Agent Training algorithm
for it in Iterations do
    for episode in Training_eps do
        s, d,src,dst <– env.reset_env()
        reward – 0
        while TRUE do
            a, s' <– agt.act(s, d, src, dst)
            r, done, d', src', dst' <– env.step(s')
            agt.rmb(s,d,src,dst, a,r,s',d',src',dst')
            reward <– reward + r
            If done == TRUE : break
            If len(agt.mem) > batch_size : agt.replay()
            d <- d',s <- s', dst <- dst'
    for episode in Evaluation_eps do
        s, d, src,dst <– env.reset_env()
        reward – 0
        while TRUE do
        a, s' <– agt.act(s, d, src, dst)
        r, done,d',src', dst' – env.step(s')
        reward – reward + r
        If done then break