Lecture 10: Actor-Critic Methods

The simplest actor-critic (QAC)

回顾 policy 梯度的概念：

1、标量指标 $J(\theta )$，可以是 ${\bar{v}}_{\pi }$ 或 ${\bar{r}}_{\pi }$。

2、最大化 $J(\theta )$ 的梯度上升算法为：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha {\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)]\end{array}$$
3、随机梯度上升算法是：
$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)$$
从以上算法中，可以看到“actor”和”critic“：

• 这个算法对应的是actor。
• 估计$q_t(s,a)$的算法对应于critic。

How to get $q_t(s_t,a_t)$?

• Monte Carlo learning：如果使用MC，相应的算法称为REINFORCE或Monte Carlo policy gradient。
• Temporal-difference learning：如果使用TD，这种算法通常称为actor-critic。

• critic 对应的是“SARSA+价值函数近似”。
• actor 对应于 policy 更新算法。
• 该算法是 on-policy的。由于 policy 是随机的，因此无需使用 $\epsilon$-greedy 等技术。
• 这种特定的 actor-citric 算法有时称为 Q Actor-Critic (QAC)。
• 该算法揭示了 actor-citric 方法的核心思想。 它可以扩展以生成许多其他算法。

Advantage actor-critic (A2C)

Baseline invariance

属性：policy 梯度对于附加 baseline 是不变的：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)]\\ & ={\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)(q_{\pi }(S,A)-b(S))\right]\end{array}$$
其中，附加 baseline $b(S)$ 是 $S$ 的标量函数。

有效性证明：
$${\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)b(S)]=0$$
上式的具体细节为：
$$\begin{array}{rl}{\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)b(S)\right]& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t){\nabla }_{\theta }\ln \pi (a|s,{\theta }_t)b(s)\\ & \begin{array}{rl}& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)b(s)\end{array}\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t)\\ & \begin{array}{r}=\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }1=0\end{array}\end{array}$$
因此，在添加 baseline 后，对 policy 的期望没有影响。

有用性证明：

设梯度为 ${\nabla }_{\theta }J(\theta )=\mathbb{E}[X]$，其中：
$$X(S,A)\doteq {\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)[q_{\pi }(S,A)-b(S)]$$
可得：

$\mathbb{E}[X]$ 对于 $b(S)$是不变的。

$\text{var}(X)$ 对于 $b(S)$ 来说是变化的。

因为 $\mathrm{tr}[\mathrm{var}(X)]=\mathbb{E}[X^{T}X]-{\bar{x}}^T\bar{x}$，且
$$\begin{array}{c}\mathbb{E}[X^{T}X]=\mathbb{E}\left[({\nabla }_{\theta }\ln \pi {)}^T({\nabla }_{\theta }\ln \pi )(q_{\pi }(S,A)-b(S){)}^2\right]\\ =\mathbb{E}\left[\Vert {\nabla }_{\theta }\ln \pi {\Vert }^2(q_{\pi }(S,A)-b(S){)}^2\right]\end{array}$$
因此，目标为选择最佳 baseline $b$ 以最小化 $\text{var}(X)$。

这样做的优势是：当使用随机样本来近似 $\mathbb{E}[X]$ 时，估计方差也会很小。

可以最小化$\text{var}(X)$ 的最佳基线是，对于任何 $s\in S$：
$$b^{\ast }(s)=\frac{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2{q}_{\pi }(s,A)]}{{\mathbb{E}}_{A\sim \pi }[\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2]}.$$
尽管这个 baseline 是最佳的，但它很复杂。

可以删除权重 $\Vert {\nabla }_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2$ 并选择次优 baseline：
$$b(s)={\mathbb{E}}_{A\sim \pi }[q_{\pi }(s,A)]=v_{\pi }(s)$$
这是 s 的 state value。

The algorithm of advantage actor-critic

当 $b(s)=v_{\pi }(s)$ 时，

梯度上升算法是：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha \mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)[q_{\pi }(S,A)-v_{\pi }(S)]]\\ & \dot{=}{\theta }_t+\alpha \mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t){\delta }_{\pi }(S,A)]\end{array}$$
其中：
$${\delta }_{\pi }(S,A)\doteq q_{\pi }(S,A)-v_{\pi }(S)$$
该算法的随机版本是：
$$\begin{array}{rl}{\theta }_{\mathbf{t}+1}& \begin{array}{r}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)[q_t(s_t,a_t)-v_t(s_t)]\end{array}\\ & ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\delta }_t(s_t,a_t)\end{array}$$
此外，该算法可以重新表示为：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\delta }_t(s_t,a_t)\\ & ={\theta }_t+\alpha \frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}{\delta }_t(s_t,a_t)\\ & ={\theta }_t+\alpha \underset{\text{step size}}{\underbrace{\left(\frac{{\delta }_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}\right)}}{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$$
步长与相对值 ${\delta }_t$ 成正比，而不是与绝对值 $q_t$ 成正比，更合理。

它仍然可以很好地平衡探索和开发。

此外，优势函数由 TD error 近似：
$${\delta }_t=q_t(s_t,a_t)-v_t(s_t)\to r_{t+1}+\gamma v_t(s_{t+1})-v_t(s_t)$$
这个近似是合理的，因为：
$$\mathbb{E}[q_{\pi }(S,A)-v_{\pi }(S)|S=s_t,A=a_t]=\mathbb{E}[R+\gamma v_{\pi }(S^{\prime })-v_{\pi }(S)|S=s_t,A=a_t]$$
好处：只需要一个网络来近似 $v_{\pi }(s)$，而不需要两个网络来近似 $q_{\pi }(s,a)$ 和 $v_{\pi }(s)$。

这是on-policy的。 由于策略 $\pi ({\theta }_t)$ 是随机的，因此无需使用 $\epsilon$-greedy等技术。

Off-policy actor-critic

Illustrative examples

考虑一个随机变量 X ∈ X = { + 1 , − 1 } X \in \mathcal{X} = \{+1, −1\} X∈X={+1,−1}。

如果 $X$ 的概率分布为 $p_0$：
$$p_0(X=+1)=0.5,p_0(X=-1)=0.5$$
那么$X$的期望是：
$${\mathbb{E}}_{X\sim p_0}[X]=(+1)\cdot 0.5+(-1)\cdot 0.5=0.$$
使用样本 { x i } \{x_i\} {xi​}估计$\mathbb{E}[X]$：

Case 1：

根据 $p_0$ 生成样本 { x i } \{x_i\} {xi​}：
$$\mathbb{E}[x_i]=\mathbb{E}[X],\text{var}[x_i]=\text{var}[X]$$
然后，平均值可以收敛到期望值：
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i\to \mathbb{E}[X],\text{as }n\to \infty$$
因为：
$$\mathbb{E}[\bar{x}]=\mathbb{E}[X],\mathrm{var}[\bar{x}]=\frac{1}{n}\mathrm{var}[X]$$
Case 2：

样本 { x i } \{x_i\} {xi​} 是根据另一个分布 $p_1$ 生成的：
$$p_1(X=+1)=0.8,p_1(X=-1)=0.2$$
期望是：
$${\mathbb{E}}_{X\sim p_1}[X]=(+1)\cdot 0.8+(-1)\cdot 0.2=0.6$$
如果使用样本的平均值，那么；
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i\to {\mathbb{E}}_{X\sim p_1}[X]=0.6\ne {\mathbb{E}}_{X\sim p_0}[X]$$
使用 { x i } ∼ p 1 \{x_i\} \sim p_1 {xi​}∼p1​ 来估计 ${\mathbb{E}}_{X\sim p_0}[X]$ ：

估计 ${\mathbb{E}}_{A\sim \pi }[\ast ]$，其中 $\pi$ 是基于行为policy（behavior policy） $\beta$ 样本的目标policy（target policy）。

可以通过使用重要性采样（importance sampling）技术来实现这一点。

Importance sampling

因为：
$${\mathbb{E}}_{X\sim p_0}[X]=\sum _x{p}_0(x)x=\sum _x{p}_1(x)\underset{f(x)}{\underbrace{\frac{p_0(x)}{p_1(x)}x}}={\mathbb{E}}_{X\sim p_1}[f(X)]$$
因此，我们可以估计 ${\mathbb{E}}_{X\sim p_1}[f(X)]$ 来估计 ${\mathbb{E}}_{X\sim p_0}[X]$。

使，
$$\bar{f}\doteq \frac{1}{n}\sum _{i=1}^{n}f(x_i),\text{ where }{x}_i\sim p_1$$
那么：
$$\begin{array}{c}{\mathbb{E}}_{X\sim p_1}[\bar{f}]={\mathbb{E}}_{X\sim p_1}[f(X)]\\ {\mathrm{var}}_{X{\sim }_{p_1}}[\bar{f}]=\frac{1}{n}{\mathrm{var}}_{X\sim p_1}[f(X)]\end{array}$$
因此， $\bar{f}$ 是 ${\mathbb{E}}_{X\sim p_1}[f(X)]={\mathbb{E}}_{X\sim p_0}[X]$ 的良好近似：
$${\mathbb{E}}_{X\sim p_0}[X]\approx \overline{f}=\frac{1}{n}\sum _{i=1}^{n}f(x_i)=\frac{1}{n}\sum _{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i$$
$\frac{p_0(x_i)}{p_1(x_i)}$被称为重要性分数（importance weight）。

如果 $p_1(x_i)=p_0(x_i)$，则重要性权重为 1，而 $\bar{f}$ 变为 $\bar{x}$。

如果 $p_0(x_i)\ge p_1(x_i)$，则 $p_0$ 比 $p_1$ 更频繁地对 $x_i$ 进行采样。 重要性权重（>1）可以强调这个样本的重要性。

其适用于给定$x$很容易计算$p_0(x)$，但计算期望却很困难的情况。

例如，连续情况、$p_0$ 的复杂表达或 $p_0$ 不表达（例如，$p_0$ 由神经网络表示）。

总结：

如果 { x 1 } ∼ p 1 \{ x_1 \} \sim p_1 {x1​}∼p1​，

那么：
$$\begin{array}{c}\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i\to {\mathbb{E}}_{X\sim p_1}[X]\\ \begin{array}{r}\bar{f}=\frac{1}{n}\sum _{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i\to {\mathbb{E}}_{X\sim p_0}[X]\end{array}\end{array}$$

The theorem of off-policy policy gradient

与之前的 on-policy 情况一样，需要推导 off-policy 情况下的 policy 梯度。

假设 $\beta$ 是生成经验样本的 behavior policy。

目标是使用这些样本来更新target policy $\pi$，以最小化指标：
$$J(\theta )=\sum _{s\in \mathcal{S}}{d}_{\beta }(s)v_{\pi }(s)={\mathbb{E}}_{S\sim d_{\beta }}[v_{\pi }(S)]$$
其中 $d_{\beta }$ 是policy $\beta$ 下的平稳分布。

Theorem (Off-policy policy gradient theorem)：

在 discounted 情况下，$\gamma \in (0,1)$，$J(\theta )$ 的梯度为：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho ,A\sim \beta }\left[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)\right]$$
其中 $\beta$ 是behavior policy，$\rho$ 是 state 分布。

The algorithm of off-policy actor-critic

off-policy 的 policy 梯度对于 baseline $b(s)$ 也是不变的。

特别来说：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho ,A\sim \beta }\left[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )\left(q_{\pi }(S,A)-b(S)\right)\right]$$
为了减少估计方差，我们可以选择 baseline 为 $b(S)=v_{\pi }(S)$ 并得到：
$${\nabla }_{\theta }J(\theta )=\mathbb{E}\left[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )(q_{\pi }(S,A)-v_{\pi }(S))\right]$$
相应的随机梯度上升算法是：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)(q_t(s_t,a_t)-v_t(s_t))$$
与 on-policy 案例类似：
$$q_t(s_t,a_t)-v_t(s_t)\approx r_{t+1}+\gamma v_t(s_{t+1})-v_t(s_t)\doteq {\delta }_t(s_t,a_t)$$
那么算法就变成了：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\delta }_t(s_t,a_t)$$
因此：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\left(\frac{{\delta }_t(s_t,a_t)}{\beta (a_t|s_t)}\right){\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$$

Deterministic actor-critic (DPG)

The theorem of deterministic policy gradient

之前介绍的 policy 梯度定理仅适用于随机 policy 。

如果 policy 必须是确定性的，必须推导出一个新的 policy 梯度定理。

考虑 discounted 情况下平均 state value 的指标：
$$J(\theta )=\mathbb{E}[v_{\mu }(s)]=\sum _{s\in \mathcal{S}}{d}_0(s)v_{\mu }(s)$$
其中 $d_0(s)$ 是满足 ${\sum }_{s\in \mathcal{S}}{d}_0(s)=1$ 的概率分布。

• $d_0$ 被选择为独立于 $\mu$。 这种情况下的梯度更容易计算。

• 选择 $d_0$ 有两种特殊但重要的情况:

  第一个特殊情况是 $d_0(s_0)=1$ 且 $d_0(s\ne s_0)=0$，其中 $s_0$ 是感兴趣的特定起始 state。

  第二个特殊情况是 $d_0$ 是与 $\mu$ 不同的 behavior policy 的平稳分布。

Theorem (Deterministic policy gradient theorem in the discounted case)：

在折扣情况下，$\gamma \in (0,1)$，$J(\theta )$ 的梯度为：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{\rho }_{\mu }(s){\nabla }_{\theta }\mu (s)\left({\nabla }_a{q}_{\mu }(s,a)\right){|}_{a=\mu (s)}\\ & ={\mathbb{E}}_{S\sim {\rho }_{\mu }}\left[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}\right]\end{array}$$

The algorithm of deterministic actor-critic

基于 policy 梯度，最大化 $J(\theta )$ 的梯度上升算法为：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\mathbb{E}}_{S\sim {\rho }_{\mu }}\left[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}\right]$$
相应的随机梯度上升算法是：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t)({\nabla }_a{q}_{\mu }(s_t,a)){|}_{a=\mu (s_t)}$$

这是一种 off-policy 实现，其中 behavior policy $\beta$ 可能与 $\mu$ 不同。

$\beta$ 也可以用 $\mu +\text{noise}$ 代替。

选择函数来表示 $q(s,a,w)$：

• 线性函数：$\begin{array}{r}q(s,a,w)={\varphi }^T(s,a)w\end{array}$，其中 $\varphi (s,a)$ 是特征向量。
• 神经网络：深度确定性策略梯度（DDPG）方法。

Summary

• The simplest actor-critic
• Advantage actor-critic
• Off-policy actor-critic
• Deterministic actor-critic

以上内容为B站西湖大学智能无人系统 强化学习的数学原理 公开课笔记。