深度强化学习（九）（改进策略梯度）

一.带基线的策略梯度方法

Theorem:

设 $b$ 是任意的函数, $b$与$A$无关。把 $b$ 作为动作价值函数 $Q_{\pi }(S,A)$ 的基线, 对策略梯度没有影响:
$${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })={\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim \pi (\cdot \mid S;\mathbf{\theta })}\left[\left(Q_{\pi }(S,A)-b\right)\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (A\mid S;\mathbf{\theta })\right]\right].$$

proof:
$$\begin{array}{rl}{\mathbb{E}}_S[{\mathbb{E}}_{A\sim \pi (\cdot \mid S;\mathbf{\theta })}[b\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (A\mid S;\mathbf{\theta })]]& ={\mathbb{E}}_{A,S}[b\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (A\mid S;\mathbf{\theta })]\\ & =\sum _{A,S}b\cdot {\nabla }_{\mathbf{\theta }}\pi (a\mid s;\mathbf{\theta })\frac{p(a,s)}{\pi (a\mid s;\mathbf{\theta })}\\ & =\sum _{A,S}b\cdot {\nabla }_{\mathbf{\theta }}\pi (a\mid s;\mathbf{\theta })\cdot p(s)\\ & =\sum _S[b\cdot p(s)\sum _A{\nabla }_{\mathbf{\theta }}\pi (a\mid s;\mathbf{\theta })]\\ & =\sum _S[b\cdot p(s){\nabla }_{\mathbf{\theta }}\sum _A\pi (a\mid s;\mathbf{\theta })]\\ & =\sum _S[b\cdot p(s){\nabla }_{\mathbf{\theta }}1]\\ & =0\end{array}$$
所以策略梯度 ${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$ 可以近似为下面的随机梯度:
$${\mathbf{g}}_b(s,a;\mathbf{\theta })=\left[Q_{\pi }(s,a)-b\right]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (a\mid s;\mathbf{\theta })$$
无论$b$取何值，${\mathbb{E}}_{A,S}[{\mathbf{g}}_b(s,a;\mathbf{\theta })]$都是策略梯度的无篇估计，但是随着$b$取值的变化，方差会出现变化。
$$\begin{array}{rl}\mathbb{V}ar& ={\mathbb{E}}_{A,S}[({\mathbf{g}}_b(S,A;\mathbf{\theta })-{\nabla }_{\mathbf{\theta }}J(\mathbf{\theta }){)}^2]\\ & ={\mathbb{E}}_{A,S}[{\mathbf{g}}_b(S,A;\mathbf{\theta }{)}^2]-[{\nabla }_{\mathbf{\theta }}J(\mathbf{\theta }){]}^2\\ & ={\mathbb{E}}_{A,S}[(Q_{\pi }(S,A)-b{)}^2{\nabla }_{\mathbf{\theta }}^2\ln \pi (A\mid S;\mathbf{\theta })]-[{\nabla }_{\mathbf{\theta }}J(\mathbf{\theta }){]}^2\end{array}$$

由于${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$是与$b$无关的常数，所以仅需极小化${\mathbb{E}}_{A,S}[(Q_{\pi }(S,A)-b{)}^2{\nabla }_{\mathbf{\theta }}^2\ln \pi (A\mid S;\mathbf{\theta })]$
$$\begin{array}{rl}{\mathbb{E}}_{A,S}[(Q_{\pi }(S,A)-b{)}^2{\nabla }_{\mathbf{\theta }}^2\ln \pi (A\mid S;\mathbf{\theta })]& ={\mathbb{E}}_S[{\mathbb{E}}_{A\sim \pi (A\mid S;\mathbf{\theta })}[(Q_{\pi }(S,A)-b{)}^2{\nabla }_{\mathbf{\theta }}^2\ln \pi (A\mid S;\mathbf{\theta })]]\\ & ={\mathbb{E}}_S[{\mathbb{E}}_{A\sim \frac{{\nabla }_{\mathbf{\theta }}^2\pi (A\mid S;\mathbf{\theta })}{\pi (A\mid S;\mathbf{\theta })}}[(Q_{\pi }(S,A)-b{)}^2]]\end{array}$$
所以要最小化方差，令$A\sim \frac{{\nabla }_{\mathbf{\theta }}^2\pi (A\mid S;\mathbf{\theta })}{\pi (A\mid S;\mathbf{\theta })}$为N-K密度，则
$$\begin{array}{rl}b& ={\mathbb{E}}_{A\sim \frac{{\nabla }_{\mathbf{\theta }}^2\pi (A\mid S;\mathbf{\theta })}{\pi (A\mid S;\mathbf{\theta })}}[Q_{\pi }(S,A)]/{\mathbb{E}}_{A\sim \frac{{\nabla }_{\mathbf{\theta }}^2\pi (A\mid S;\mathbf{\theta })}{\pi (A\mid S;\mathbf{\theta })}}[]\\ & =\frac{{\mathbb{E}}_{A\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(A\mid S{)}^T{\nabla }_{\theta }\log \pi (A\mid S)Q(S,A)\right]}{{\mathbb{E}}_{A\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(A\mid S{)}^T{\nabla }_{\theta }\log {\pi }_{\theta }(A\mid S)\right]}\end{array}$$

，我们使用$b={\mathbb{E}}_{A\sim \pi (A\mid S)}[Q_{\pi }(S,A)]=V_{\pi }(S)$作为近似代替。

我们使用状态价值 $V_{\pi }(s)$ 作基线，得到策略梯度的一个无偏估计：
$$\mathbf{g}(s,a;\mathbf{\theta })=\left[Q_{\pi }(s,a)-V_{\pi }(s)\right]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (a\mid s;\mathbf{\theta }).$$

REINFORCE使用实际观测的回报 $u$ 来代替动作价值 $Q_{\pi }(s,a)$ 。此处我们同样用 $u$ 代替 $Q_{\pi }(s,a)$ 。此外, 我们还用一个神经网络 $v(s;\mathbf{w})$ 近似状态价值函数 $V_{\pi }(s)$ 。这样一来, $\mathbf{g}(s,a;\mathbf{\theta })$ 就被近似成了:
$$\tilde{\mathbf{g}}(s,a;\mathbf{\theta })=[u-v(s;\mathbf{w})]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (a\mid s;\mathbf{\theta }).$$

可以用 $\tilde{\mathbf{g}}(s,a;\mathbf{\theta })$ 作为策略梯度 ${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$ 的近似, 更新策略网络参数:
$$\mathbf{\theta }\leftarrow \mathbf{\theta }+\beta \cdot \tilde{\mathbf{g}}(s,a;\mathbf{\theta })$$
训练价值网络的方法是回归 (regression)。回忆一下, 状态价值是回报的期望：
$$V_{\pi }\left(s_t\right)=\mathbb{E}\left[U_t\mid S_t=s_t\right],$$

期望消掉了动作 $A_t,A_{t+1},\cdots ,A_n$ 和状态 $S_{t+1},\cdots ,S_n$ 训练价值网络的目的是让 $v\left(s_t;\mathbf{w}\right)$拟合 $V_{\pi }\left(s_t\right)$, 即拟合 $u_t$ 的期望。定义

损失失函数:
$$L(\mathbf{w})=\frac{1}{2n}\sum _{t=1}^n{\left[v\left(s_t;\mathbf{w}\right)-u_t\right]}^2.$$

设 ${\hat{v}}_t=v\left(s_t;\mathbf{w}\right)$ 。损失函数的梯度是:
$${\nabla }_{\mathbf{w}}L(\mathbf{w})=\frac{1}{n}\sum _{t=1}^n\left({\hat{v}}_t-u_t\right)\cdot {\nabla }_{\mathbf{w}}v\left(s_t;\mathbf{w}\right).$$

做一次梯度下降更新 $\mathbf{w}$ :
$$\mathbf{w}\leftarrow \mathbf{w}-\alpha \cdot {\nabla }_{\mathbf{w}}L(\mathbf{w}).$$
接下来的训练过程与$reinforce$一样。

二.Advantage Actor-Critic (A2C)

训练价值网络：reinforce使用蒙特卡洛方法直接求出了所有$u_t$,从而可以直接训练$v_{\pi }(s)$而在$actor-critic$中并未使用蒙特卡洛方法，我们依据贝尔曼方程进行自举训练。
$$\begin{array}{rl}{V}_{\pi }\left(s_t\right)& ={\mathbb{E}}_{A_t,S_{t+1}}\left[R_t+\gamma \cdot V_{\pi }\left(S_{t+1}\right)\mid S_t=s_t\right]\\ & ={\mathbb{E}}_{A_t}[{\mathbb{E}}_{S_{t+1}}[R_t+\gamma \cdot V_{\pi }(S_{t+1})\mid S_t=s_t,A_t]\mid S_t=s_t]\end{array}$$
从初始状态$s_t$出发，依据策略$\pi (A\mid S)$选取动作$a_t$,再依据状态转移概率$p(S_{t+1}\mid A_t,S_t)$,选中下一刻状态$s_{t+1}$，得出$r_t$.

则$y_t=r_t+v_{\pi }(s_{t+1};\mathbf{w})$

具体这样更新价值网络参数 $\mathbf{w}$ 。定义损失函数
$$L(\mathbf{w})\triangleq \frac{1}{2}{\left[v\left(s_t;\mathbf{w}\right)-\widehat{y_t}\right]}^2.$$

设 ${\hat{v}}_t\triangleq v\left(s_t;\mathbf{w}\right)$ 。损失函数的梯度是:
$${\nabla }_{\mathbf{w}}L(\mathbf{w})=\underset{\text{TD 误差 }{\delta }_t}{\underbrace{\left({\hat{v}}_t-{\hat{y}}_t\right)}}\cdot {\nabla }_{\mathbf{w}}v\left(s_t;\mathbf{w}\right).$$
定义 TD 误差为 ${\delta }_t\triangleq {\hat{v}}_t-{\hat{y}}_t$ 。做一轮梯度下降更新 $\mathbf{w}:$
$$\mathbf{w}\leftarrow \mathbf{w}-\alpha \cdot {\delta }_t\cdot {\nabla }_{\mathbf{w}}v\left(s_t;\mathbf{w}\right).$$

训练策略网络：贝尔曼公式:
$$Q_{\pi }\left(s_t,a_t\right)={\mathbb{E}}_{S_{t+1}\sim p\left(\cdot \mid s_t,a_t\right)}\left[R_t+\gamma \cdot V_{\pi }\left(S_{t+1}\right)\right].$$

把近似策略梯度 $\mathbf{g}\left(s_t,a_t;\mathbf{\theta }\right)$ 中的 $Q_{\pi }\left(s_t,a_t\right)$ 替换成上面的期望, 得到:
$$\begin{array}{rl}\mathbf{g}\left(s_t,a_t;\mathbf{\theta }\right)& =\left[Q_{\pi }\left(s_t,a_t\right)-V_{\pi }\left(s_t\right)\right]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;\mathbf{\theta }\right)\\ & =\left[{\mathbb{E}}_{S_{t+1}}\left[R_t+\gamma \cdot V_{\pi }\left(S_{t+1}\right)\right]-V_{\pi }\left(s_t\right)\right]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;\mathbf{\theta }\right).\end{array}$$

当智能体执行动作 $a_t$ 之后, 环境给出新的状态 $s_{t+1}$ 和奖励 $r_t$; 利用 $s_{t+1}$ 和 $r_t$ 对上面的期望做蒙特卡洛近似, 得到:
$$\mathbf{g}\left(s_t,a_t;\mathbf{\theta }\right)\approx \left[r_t+\gamma \cdot V_{\pi }\left(s_{t+1}\right)-V_{\pi }\left(s_t\right)\right]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;\mathbf{\theta }\right).$$

进一步把状态价值函数 $V_{\pi }(s)$ 替换成价值网络 $v(s;\mathbf{w})$, 得到:
$$\tilde{\mathbf{g}}\left(s_t,a_t;\mathbf{\theta }\right)\triangleq [\underset{\mathrm{TD}\text{ 目标 }{\hat{y}}_t}{\underbrace{r_t+\gamma \cdot v\left(s_{t+1};\mathbf{w}\right)}}-v\left(s_t;\mathbf{w}\right)]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;\mathbf{\theta }\right)$$

前面定义了 TD 目标和 TD 误差：
$${\hat{y}}_t\triangleq r_t+\gamma \cdot v\left(s_{t+1};\mathbf{w}\right)\text{ 和 }{\delta }_t\triangleq v\left(s_t;\mathbf{w}\right)-{\hat{y}}_t.$$

因此, 可以把 $\tilde{\mathbf{g}}$ 写成:
$$\tilde{\mathbf{g}}\left(s_t,a_t;\mathbf{\theta }\right)\triangleq -{\delta }_t\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;\mathbf{\theta }\right).$$
$\tilde{\mathbf{g}}$ 是 $\mathbf{g}$ 的近似，所以也是策略梯度 ${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$ 的近似。用 $\tilde{\mathbf{g}}$ 更新策略网络参数 $\mathbf{\theta }$ :
$$\mathbf{\theta }\leftarrow \mathbf{\theta }+\beta \cdot \tilde{\mathbf{g}}\left(s_t,a_t;\mathbf{\theta }\right).$$
训练流程。设当前策略网络参数是 ${\mathbf{\theta }}_{\text{now }}$, 价值网络参数是 ${\mathbf{w}}_{\text{now }}$ 。执行下面的步骤, 将参数更新成 ${\theta }_{\text{new }}$ 和 ${\mathbf{w}}_{\text{new }}$ :

1. 观测到当前状态 $s_t$, 根据策略网络做决策: $a_t\sim \pi \left(\cdot \mid s_t;{\mathbf{\theta }}_{\text{now }}\right)$, 并让智能体执行动作 $a_t$ 。
2. 从环境中观测到奖励 $r_t$ 和新的状态 $s_{t+1}$ 。
3. 让价值网络打分:
   $${\hat{v}}_t=v\left(s_t;{\mathbf{w}}_{\text{now }}\right)\text{ 和 }{\hat{v}}_{t+1}=v\left(s_{t+1};{\mathbf{w}}_{\text{now }}\right)$$
4. 计算 TD 目标和 TD 误差:
   $${\hat{y}}_t=r_t+\gamma \cdot {\hat{v}}_{t+1}\text{ 和 }{\delta }_t={\hat{v}}_t-{\hat{y}}_t.$$
5. 更新价值网络：
   $${\mathbf{w}}_{\text{new }}\leftarrow {\mathbf{w}}_{\text{now }}-\alpha \cdot {\delta }_t\cdot {\nabla }_{\mathbf{w}}v\left(s_t;{\mathbf{w}}_{\text{now }}\right).$$
6. 更新策略网络:
   $${\mathbf{\theta }}_{\text{new }}\leftarrow {\mathbf{\theta }}_{\text{now }}-\beta \cdot {\delta }_t\cdot {\nabla }_{\mathbf{\theta }}\ln \pi \left(a_t\mid s_t;{\mathbf{\theta }}_{\text{now }}\right).$$