v3 链接

9.3.2 无折扣情形下的梯度推导

平均奖励 ${\bar{r}}_{\pi }$ 的定义对折扣和无折扣情况都有效。在折扣情况下的梯度是一个近似值，它在无折扣情况下的梯度更优雅。

因为 无折扣奖励和 $\mathbb{E}[R_{t+1}+R_{t+2}+R_{t+3}+\cdots |S_t=s]$ 可能发散，因此以特别的方式定义 状态价值 和 动作价值：
  ~  
$v_{\pi }(s)\doteq \mathbb{E}[(R_{t+1}-{\bar{r}}_{\pi })+(R_{t+2}-{\bar{r}}_{\pi })+(R_{t+3}-{\bar{r}}_{\pi })+\cdots |S_t=s]$
  ~  
$q_{\pi }(s,a)\doteq \mathbb{E}[(R_{t+1}-{\bar{r}}_{\pi })+(R_{t+2}-{\bar{r}}_{\pi })+(R_{t+3}-{\bar{r}}_{\pi })+\cdots |S_t=s,A_t=a]$

其中 ${\bar{r}}_{\pi }$ 是平均奖励，它是在给定策略 $\pi$ 下确定的。
在文献中，$v_{\pi }(s)$ 有不同的名称，如差异奖励[65]或偏差。可以验证，上面定义的状态值满足如下 Bellman-like 公式:

$v_{\pi }(s)=\sum _a\pi (a|s,\theta )[\sum _{r}p(r|s,a)(r-{\bar{r}}_{\pi })+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })](9.22)$

由于 $v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s,\theta )q_{\pi }(s,a)$，
则 $q_{\pi }(s,a)=\sum _{r}p(r|s,a)(r-{\bar{r}}_{\pi })+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$

式 (9.22) 的矩阵形式为 $v_{\pi }=r_{\pi }-{\bar{r}}_{\pi }{1}_n+P_{\pi }{v}_{\pi }(9.23)泊松公式$

其中 $1_n=[1,\cdots ,1{]}^T\in {\mathbb{R}}^n$

如何求解 $v_{\pi }$ 呢？

定理 9.4 ： 泊松公式的解

令 $v_{\pi }^{\ast }=(I_n-P_{\pi }+1_n{d}_{\pi }^T{)}^{-1}{r}_{\pi }(9.24)$

$v_{\pi }^{\ast }$ 是 式 (9.23) 中的泊松公式的解。

此外，泊松公式的任意解都具有以下形式 $v_{\pi }=v_{\pi }^{\ast }+c{1}_n$
其中 $c\in \mathbb{R}$

这个理论表明 泊松公式的解可能不唯一。

Box 9.5: Proof of Theorem 9.4

证明分 3 步
1、证明 式 (9.24) 中的 $v_{\pi }^{\ast }$ 是泊松公式的一个解。

令 $A\doteq I_n-P_{\pi }+1_n{d}_{\pi }^T$
根据 式 (9.24)，有 $v_{\pi }^{\ast }=A^{-1}{r}_{\pi }$。$A$ 是可逆的，将在第 3 步中证明。
将 $v_{\pi }^{\ast }=A^{-1}{r}_{\pi }$ 代入 式 (9.23)， 有

$A^{-1}{r}_{\pi }=r_{\pi }-1_n{d}_{\pi }^T{r}_{\pi }+P_{\pi }{A}^{-1}{r}_{\pi }$
  ~  
$(-A^{-1}+I_n-1_n{d}_{\pi }^T+P_{\pi }{A}^{-1})r_{\pi }=0$
  ~  
$(-I_n+A-1_n{d}_{\pi }^{T}A+P_{\pi })A^{-1}{r}_{\pi }=0$将 $A^{-1}$ 提出来
  ~  
上式 括号里的项为 0。因为
$-I_n+A-1_n{d}_{\pi }^{T}A+P_{\pi }=-I_n+(I_n-P_{\pi }+1_n{d}_{\pi }^T)-1_n{d}_{\pi }^T(I_n-P_{\pi }+1_n{d}_{\pi }^T)+P_{\pi }=0$将 $A\doteq I_n-P_{\pi }+1_n{d}_{\pi }^T$ 代入
  ~  
因此 (9.24) 中的 $v_{\pi }^{\ast }$ 是 泊松公式 (9.23) 的一个解。

第 2 步： 解的一般表达式

将 ${\bar{r}}_{\pi }=d_{\pi }^T{r}_{\pi }$ 代入 (9.24)， 得
  ~  
$v_{\pi }=r_{\pi }-1_n{d}_{\pi }^T{r}_{\pi }+P_{\pi }{v}_{\pi }(9.25)$
  ~  
$(I_n-P_{\pi })v_{\pi }=(I_n-1_n{d}_{\pi }^T)r_{\pi }(9.26)$
  ~  
注意 $I_n-P_{\pi }$ 是奇异的，因为 对任意 $\pi$， 都有 $(I_n-P_{\pi })1_n=0$。注意 $P_{\pi }{1}_n=1_n$
因此，(9.26) 的解不是唯一的，如果 $v_{\pi }^{\ast }$ 是一个解，那么 $v_{\pi }^{\ast }+x$ 也是任何 $x\in \text{Null}(I_n-P_{\pi })$ 的解。
当 $P_{\pi }$ 不可约时， Null ( I n − P π ) 1 n = span { 1 n } \text{Null}(I_n - P_\pi) {\bf 1}_n= \text{span}\{{\bf 1}_n\} Null(In​−Pπ​)1n​=span{1n​}。
那么泊松方程的任何解都可以表示为 $v_{\pi }^{\ast }+c{1}_n$，其中 $c\in \mathbb{R}$。

第 3 步： 证明 $A=I_n-P_{\pi }+1_n{d}_{\pi }^T$ 是可逆的。

由于 $v_{\pi }^{\ast }$ 涉及 $A^{-1}$，有必要证明 $A$ 是可逆的。

引理 9.3 A 可逆 及其证明

Lemma 9.3. 矩阵 $I_n-P_{\pi }+1_n{d}_{\pi }^T$ 是可逆的，且逆矩阵为 $(I_n-P_{\pi }+1_n{d}_{\pi }^T{)}^{-1}=\sum _{k=1}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)+I_n$

证明：
首先声明一些基本事实
  ~  
令 $\rho (M)$ 为 矩阵 $M$ 的谱半径。
  ~  
如果 $\rho (M)<1$ 则 $I-M$ 可逆。
  ~  
当且仅当 $\underset{k\to \infty }{\lim }{M}^k=0$ 时， $\rho (M)<1$。
——————————
基于以上事实，接下来证明 $\underset{k\to \infty }{\lim }(P_{\pi }-1_n{d}_{\pi }^T{)}^k\to 0$
  ~  
$(P_{\pi }-1_n{d}_{\pi }^T{)}^k=P_{\pi }^k-1_n{d}_{\pi }^T,k\ge 1(9.27)$
  ~  
通过归纳证明 (9.27)
  ~  
当 $k=1$，等式成立。
  ~  
当 $k=2$，
$\begin{array}{rl}(P_{\pi }-1_n{d}_{\pi }^T{)}^2& =(P_{\pi }-1_n{d}_{\pi }^T)(P_{\pi }-1_n{d}_{\pi }^T)\\ & =P_{\pi }^2-P_{\pi }{1}_n{d}_{\pi }^T-1_n{d}_{\pi }^T{P}_{\pi }+1_n{d}_{\pi }^T{1}_n{d}_{\pi }^T\\ & =P_{\pi }^2-1_n{d}_{\pi }^T\end{array}$
  ~  
其中 最后一个等号成立是由于 $P_{\pi }{1}_n=1_n,d_{\pi }^T{P}_{\pi }=d_{\pi }^T,d_{\pi }^T{1}_n=1$
  ~  
类似地， $k\ge 3$
$\begin{array}{rl}(P_{\pi }-1_n{d}_{\pi }^T{)}^3& =(P_{\pi }-1_n{d}_{\pi }^T{)}^2(P_{\pi }-1_n{d}_{\pi }^T)\\ & =(P_{\pi }^2-1_n{d}_{\pi }^T)(P_{\pi }-1_n{d}_{\pi }^T)\\ & =P_{\pi }^3-1_n{d}_{\pi }^T-1_n{d}_{\pi }^T+1_n{d}_{\pi }^T\\ & =P_{\pi }^3-1_n{d}_{\pi }^T\end{array}$
  ~  
因为 $d_{\pi }$ 是状态的平稳分布，有 $\underset{k\to \infty }{\lim }{P}_{\pi }^k=d_{\pi }^T{1}_n$，则
  ~  
$\underset{k\to \infty }{\lim }(P_{\pi }-1_n{d}_{\pi }^T{)}^k=\underset{k\to \infty }{\lim }{P}_{\pi }^k-d_{\pi }^T{1}_n=0$
  ~  
因此， 若是 $\rho (P_{\pi }-1_n{d}_{\pi }^T)<1$，则 $I_n-(P_{\pi }-1_n{d}_{\pi }^T)$ 可逆。
  ~  
其逆 $\begin{array}{rl}(I_n-(P_{\pi }-1_n{d}_{\pi }^T){)}^{-1}& =\sum _{k=0}^{\infty }(P_{\pi }-1_n{d}_{\pi }^T{)}^k???\\ & =I_n+\sum _{k=1}^{\infty }(P_{\pi }-1_n{d}_{\pi }^T{)}^k\\ & =I_n+\sum _{k=1}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)代入式(9.27)Lemma9.3证毕\\ & =\sum _{k=0}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)+1_n{d}_{\pi }^T\end{array}$
  ~  
引理 9.3 的证明受到 [66] 的启发。
然而，在 [66] 中给出的结果 $(I_n-P_{\pi }+1_n{d}_{\pi }^T{)}^{-1}=\sum _{k=0}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)$ 是不准确的，因为 $\sum _{k=0}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)1_n=0$， 则 $\sum _{k=0}^{\infty }(P_{\pi }^k-1_n{d}_{\pi }^T)$ 是奇异的。【奇异矩阵指的是行列式为零的方阵】
引理 9.3 纠正了这个错误。

梯度的推导

尽管在无折扣情况下 $v_{\pi }$ 的值不是唯一的，如定理 9.4 所示，但 ${\bar{r}}_{\pi }$ 的值是唯一的。
特别地，从泊松方程可以得出

$\begin{array}{rl}{\bar{r}}_{\pi }{1}_n& =r_{\pi }+(P_{\pi }-I_n)v_{\pi }\\ & =r_{\pi }+(P_{\pi }-I_n)(v_{\pi }^{\ast }+c{1}_n)\\ & =r_{\pi }+(P_{\pi }-I_n)v_{\pi }^{\ast }\end{array}$

值得注意的是，待定值 $c$ 被消去了，因此 ${\bar{r}}_{\pi }$ 是唯一的。
因此，我们可以计算 ${\bar{r}}_{\pi }$ 未折扣情况下的梯度。
另外，因为 $v_{\pi }$ 不是唯一的，所以 ${\bar{v}}_{\pi }$ 也不是唯一的。
我们不研究未折扣情况下 ${\bar{v}}_{\pi }$ 的梯度。
对于感兴趣的读者，值得一提的是，我们可以添加更多的约束来唯一地从泊松方程解 $v_{\pi }$。
例如，假设存在循环状态，则可以确定该循环状态的状态值[65,Section II]，从而可以确定 $c$。
也有其他的方法来确定。例如，参见 [2] 中的式 (8.6.5)-(8.6.7)。

定理 9.5 无折扣情形下 ${\bar{r}}_{\pi }$ 的梯度

在无折扣情形下， ${\bar{r}}_{\pi }$ 的梯度为：
$\begin{array}{rl}{\nabla }_{\theta }{\bar{r}}_{\pi }& =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)](9.28)\end{array}$

• 其中 $S\sim d_{\pi }$， $A\sim \pi (S,\theta )$
    ~  

严格成立，且 $S$ 符合平稳分布。

Box 9.6: Proof of Theorem 9.5

首先， 有 $v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s,\theta )q_{\pi }(s,a)$
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }(s)& ={\nabla }_{\theta }[\sum _{a\in \mathcal{A}}\pi (a|s,\theta )q_{\pi }(s,a)]\\ & =\sum _{a\in \mathcal{A}}[{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)+\pi (a|s,\theta ){\nabla }_{\theta }{q}_{\pi }(s,a)]\end{array}(9.29)$
  ~  
其中 动作价值 $\begin{array}{rl}{q}_{\pi }(s,a)& =\sum _{r}p(r|s,a)(r-{\bar{r}}_{\pi })+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\\ & =r(s,a)-{\bar{r}}_{\pi }+\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\end{array}$

• 最后一个等号中： $\sum _{r}p(r|s,a)r=r(s,a),\underset{1}{\underbrace{\sum _{r}p(r|s,a)}}{\bar{r}}_{\pi }=r_{\pi }$
    ~  
  ${\nabla }_{\theta }{q}_{\pi }(s,a)=0-{\nabla }_{\theta }{\bar{r}}_{\pi }+\sum _{s^{\prime }}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })$

代回式 (9.29)
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{v}_{\pi }(s)& =\sum _{a\in \mathcal{A}}[{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)+\pi (a|s,\theta )(-{\nabla }_{\theta }{\bar{r}}_{\pi }+\sum _{s^{\prime }}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime }))]\\ & =\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)-{\nabla }_{\theta }{\bar{r}}_{\pi }+\sum _{a\in \mathcal{A}}\pi (a|s,\theta )\sum _{s^{\prime }}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })(9.30)\end{array}$
  ~  
令 $u(s)\doteq \sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$
  ~  
因为 $\sum _{a\in \mathcal{A}}\pi (a|s,\theta )\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a){\nabla }_{\theta }{v}_{\pi }(s^{\prime })=\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s){\nabla }_{\theta }{v}_{\pi }(s^{\prime })$
  ~  
将 式 (9.30) 写成 矩阵形式：
$\underset{{\nabla }_{\theta }{v}_{\pi }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\pi }(s)\\ ⋮\end{array}\right]}}=\underset{u\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ u(s)\\ ⋮\end{array}\right]}}-1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\pi }+(P_{\pi }\otimes I_m)\underset{{\nabla }_{\theta }{v}_{\pi }\in {\mathbb{R}}^{mn}}{\underbrace{\left[\begin{array}{c}⋮\\ {\nabla }_{\theta }{v}_{\pi }(s^{\prime })\\ ⋮\end{array}\right]}}$
  ~  
简写为：
  ~  
${\nabla }_{\theta }{v}_{\pi }=u-1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\pi }+(P_{\pi }\otimes I_m){\nabla }_{\theta }{v}_{\pi }$

• 其中 $n=|\mathcal{S}|$， $m$ 为参数向量 $\theta$ 的维度。
    ~  

$1_n\otimes {\nabla }_{\theta }{\bar{r}}_{\pi }=u+(P_{\pi }\otimes I_m){\nabla }_{\theta }{v}_{\pi }-{\nabla }_{\theta }{v}_{\pi }$
  ~  
两边同乘 $d_{\pi }^T\otimes I_m$
$d_{\pi }^T\otimes I_m{1}_n\otimes {\nabla }_{\theta }{\bar{r}}_{\pi }=d_{\pi }^T\otimes I_{m}u+d_{\pi }^T\otimes I_m(P_{\pi }\otimes I_m){\nabla }_{\theta }{v}_{\pi }-d_{\pi }^T\otimes I_m{\nabla }_{\theta }{v}_{\pi }$
  ~  
$d_{\pi }^T{1}_n\otimes {\nabla }_{\theta }{\bar{r}}_{\pi }=d_{\pi }^T\otimes I_{m}u$
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{\bar{r}}_{\pi }& =d_{\pi }^T\otimes I_{m}u\\ & =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)u(s)参考式(9.30)的矩阵形式记法\\ & =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\end{array}$