强化学习的数学原理（十-1）Actor-Critic初步

news2025/1/18 5:14:51

Actor-Critic的方法是PG方法的一种，它把PG方法与value function结合起来了。

一、基本介绍

Actor：代表 policy update。算法中采用Actor来产生动作。

Critic：代表 policy evaluation 或者 value estimation。算法中采用Critic来评价policy，或者做一些值的估计。

二、QAC

之前介绍的REINFORCE算法是PG+MC。而PG+TD（实际是值函数近似的Sarsa）就是QAC算法，同样也是On-policy的算法。

且其本身就具有探索能力（也是被逼无奈）。

对于每个step：

通过 $\pi \left ( a|s_{t},\theta_{t} \right )$ 选取动作 $a_{t}$ ，获取到 $r_{t+1}$ ，状态转移到 $s_{t+1}$

通过 $\pi \left ( a|s_{t+1},\theta_{t} \right )$ 选取动作 $a_{t+1}$

Critic-更新q函数：

$w_{t+1}=w_{t}+\alpha _{w}\left [ r_{t+1}+\gamma q\left ( s_{t+1},a_{t+1},w_{t} \right )-q\left ( s_{t},a_{t},w_{t} \right ) \right ]\triangledown q\left ( s_{t},a_{t},w_{t} \right )$

Actor-更新policy函数：

$\theta _{t+1}=\theta _{t}+\alpha _{\theta }\triangledown _{\theta }\ln\pi \left ( a|s_{t},\theta _{t} \right )q\left ( s_{t}, a_{t},w_{t+1}\right )$

三、A2C

A2C主要是在QAC的基础上引入偏置量，达到“在采样梯度的时候，随机变量的方差很小”的效果

梯度表达式的性质介绍：

$\mathbb{E}\left [ \bigtriangledown_{\theta }\ln\pi \left ( A|S,\theta \right )q_{\pi }\left ( S,A \right )\right ]=\mathbb{E}\left [ \bigtriangledown_{\theta }\ln\pi \left ( A|S,\theta \right )\left ( q_{\pi }\left ( S,A \right )-b\left ( S \right ) \right )\right ]$

在式子中引入 $b\left ( s \right )$ 不影响梯度的平均值，但会影响梯度的估计方差。

性质证明

...

定义一个新的随机变量 $X$ ，满足：

$X\left ( S,A \right )=\bigtriangledown_{\theta }\ln\pi \left ( A|S,\theta \right )\left ( q_{\pi }\left ( S,A \right )-b\left ( S \right ) \right )$

即：

$\bigtriangledown _{\theta }J_{\theta }=\mathbb{E}\left [ X \right ]$

证明 $X$ 的方差受引入的偏置 $b\left ( S \right )$ 影响

...book

对于梯度估计来说， $X$ 的方差当然越小越好

证明最好的 $b\left ( S \right )$ 形式是

...book

最优的 $b\left ( S \right )$ 太复杂了，实际应用的时候会去掉表达式中的权重：

$b\left ( s \right )=\mathbb{E}_{A\sim \pi }\left [ q\left ( s,A \right ) \right ]=v_{\pi }\left ( s \right )$

最后发现这个 $b\left ( s \right )$ 就是 $v_{\pi }\left ( s \right )$

把上面介绍的“梯度表达式的性质”引入QAC算法，就得到了A2C算法。

A2C的梯度上升公式：

$\theta _{t+1}=\theta _{t}+\alpha \mathbb{E}\left [ \bigtriangledown_{\theta }\ln\pi \left ( A|S,\theta \right )\left ( q_{\pi }\left ( S,A \right )-v_{\pi }\left ( S \right ) \right )\right ]$

$\theta _{t+1}=\theta _{t}+\alpha \mathbb{E}\left [ \bigtriangledown_{\theta }\ln\pi \left ( A|S,\theta \right ) \delta _{\pi }\left ( S,A \right ) \right ]$

其中：

$\delta _{\pi }\left ( S,A \right )=q_{\pi }\left ( S,A \right )-v_{\pi }\left ( S \right )$

称为优势函数（advantage function）：描述的是 $q_{\pi }$ 与 $v_{\pi }$ 之间的差值， $v_{\pi }$ 在意义上是 $q_{\pi }$ 的期望，也就是说，如果一个a的q大于均值，说明他是好的，有一定优势的。（有点抽象）

在应用之前，还可以把 $\delta$ 拆开，这里还是近似替换：

$\delta_{t}=q_{t}\left ( s_{t},a_{t} \right )-v_{t}\left ( s_{t} \right )\rightarrow \delta_{t}=r_{r+1}+\gamma v_{t}\left ( s_{t+1} \right )-v_{t}\left ( s_{t} \right )$