Lecture 4: Value Iteration and Policy Iteration

Value Iteration Algorithm

对于Bellman最优公式：
$$\mathbf{v}=f(\mathbf{v})=ma{x}_{\pi }(\mathbf{r}+\gamma {\mathbf{P}}_{\pi }\mathbf{v})$$
在Lecture 3中，已知可以通过contraction mapping原理来提出迭代算法：
$${\mathbf{v}}_{k+1}=f({\mathbf{v}}_k)=ma{x}_{\pi }(\mathbf{r}+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_k)k=1,2,3$$
其中，$v_0$可以是任意的。

上述算法就是所谓的 value iteration（值迭代）。

其可以分为两步：

• step 1: policy update （策略更新）。
  $${\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)$$
  其中，$v_k$是给定的。

• step 2: value update（值更新）。
  $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

注意：$v_k$不是state value，因为其不满足Bellman等式。

Value iteration algorithm分析：

• step 1: policy update
  $${\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)$$
  的元素形式为：
  $$\begin{array}{rl}{\pi }_{k+1}(s)& ={\text{argmax}}_{\pi }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)s\in \mathcal{S}\\ & ={\text{argmax}}_{\pi }\sum _a\pi (a|s)q_k(s,a)\end{array}$$
  解决上述优化问题的最优策略为：
  $${\pi }_{k+1}(a|s)=\{\begin{array}{cc}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$
  其中，$a_k^{\ast }(s)={\text{argmax}}_a{q}_k(a,s)$，${\pi }_{k+1}$是greedy policy（贪心策略），因为其只是简单的选择最大的q-value。

• step 2: value update
  $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$
  的元素形式为：
  $$\begin{array}{rl}{v}_{k+1}(s)& =\sum _a{\pi }_{k+1}(a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)s\in \mathcal{S}\\ & =\sum _a{\pi }_{k+1}(a|s)q_k(s,a)\end{array}$$
  因为${\pi }_{k+1}$是贪心的，上述等式可以简化为：
  $$v_{k+1}(s)={\text{max}}_a{q}_k(a,s)$$

Procedure Summary：
$$v_k(s)\to q_k(s,a)\to \text{greedy policy }{\pi }_{k+1}(a|s)\to \text{new value }{v}_{k+1}\to {\text{max}}_a{q}_k(s,a)$$

Example:

设置：reward: $r_{\text{boundary}}=r_{\text{forbidden}}=-1$，$r_{\text{target}}=1$，discount rate $\gamma =0.9$

其q-table为：

• k=0时，使$v_0(s_1)=v_0(s_2)=v_0(s_3)=v_0(s_4)=0$

step1: policy update
$${\pi }_1(a_5|s_1)=1,{\pi }_1(a_3|s_2)=1,{\pi }_1(a_2|s_3)=1,{\pi }_1(a_5|s_4)=1$$
如上图（b）

step2: value update
$$v_1(s_1)=0,v_2(s_2)=1,v_1(s_3)=1,v_1(s_4)=1$$

• k=1时，因为$v_1(s_1)=0,v_2(s_2)=1,v_1(s_3)=1,v_1(s_4)=1$，可得

  

  step1: policy update
  $${\pi }_2(a_3|s_1)=1,{\pi }_2(a_3|s_2)=1,{\pi }_2(a_2|s_3)=1,{\pi }_2(a_5|s_4)=1$$
  step2: value update
  $$v_1(s_1)=\gamma 1,v_2(s_2)=1+\gamma 1,v_1(s_3)=1+\gamma 1,v_1(s_4)=1+\gamma 1$$
  如上图（c）

• 继续迭代，直到$\Vert v_k-v_{k+1}\Vert$小于预设的阈值。

Policy Iteration Algorithm

Algorithm description：

对于给定的初始随机policy ${\pi }_0$

• step 1: policy evaluation (PE)

  这一步是计算${\pi }_k$的state value
  $${\mathbf{v}}_{{\pi }_k}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}$$
  注意$v_{{\pi }_k}$是state value函数

• step 2: policy improvement (PI)
  $${\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$
  最大化按元素计算

算法会产生如下序列：
$${\pi }_0\stackrel{PE}{\to }{v}_{v_{{\pi }_0}}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }\cdots$$
其中，PE=policy evaluation，PI=policy improvement

三个问题：

In the policy evaluation step, how to get the state value $v_{{\pi }_k}$by solving the Bellman equation?
$${\mathbf{v}}_{{\pi }_k}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}$$

• Close-form解：
  $${\mathbf{v}}_{{\pi }_k}=(I-\gamma {\mathbf{P}}_{{\pi }_k}{)}^{-1}{\mathbf{r}}_{{\pi }_k}$$

• 迭代求解：
  $${\mathbf{v}}_{{\pi }_k}^{(j+1)}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}^{(j)}$$
  policy iteration是一种迭代算法，在policy评估步骤中嵌入了另一种迭代算法！

In the policy improvement step, why is the new policy ${\pi }_{k+1}$ better than ${\pi }_k$?

Lemma (Policy Improvemnent)

如果：
$${\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$
那么，对任意$k$，都有$v_{{\pi }_{k+1}}\ge v_{{\pi }_k}$成立。

Why such an iterative algorithm can finally reach an optimal policy?

已知：
$$v_{{\pi }_0}\le v_{{\pi }_1}\le v_{{\pi }_2}\cdots \le v_{{\pi }_k}\le \cdots v^{\ast }$$
故，每一次迭代都会提高$v_{{\pi }_k}$而且其会收敛，接下来证明其会收敛到$v^{\ast }$。

Theorem (Convergence of Policy Iteration)

由policy iteration算法产生的state value序列 { v π k } k = 0 ∞ \left\{ v_{\pi_k} \right\}^{\infty}_{k=0} {vπk​​}k=0∞​会收敛到最优的state value $v^{\ast }$，因此，policy序列 { π k } k = 0 ∞ \left \{ \pi_k \right \}^{\infty}_{k=0} {πk​}k=0∞​也会收敛到最优的policy。

Policy iteration algorithm分析：

• step 1: policy evaluation

  maxtrix-vector form:
  $${\mathbf{v}}_{{\pi }_k}^{(j+1)}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}^{(j)}j=0,1,2$$
  elementwise form:
  $$v_{{\pi }_k}^{(j+1)}=\sum _a{\pi }_k(a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{{\pi }_k}^{(j)}(s^{\prime })\right),s\in \mathcal{S}$$
  当$j\to \infty$或 $j$ 足够大或$\Vert v_{{\pi }_k}^{(j+1)}-v_{{\pi }_k}^{(j)}\Vert$足够小时，迭代停止。

• step 2: policy improvement

  matrix-vector form:
  $${\pi }_{k+1}={\text{argmax}}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_{{\pi }_k})$$
  elementwise form:
  $$\begin{array}{rl}{\pi }_{k+1}(s)& ={\text{argmax}}_{\pi }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{{\pi }_k}(s^{\prime })\right)s\in \mathcal{S}\\ & ={\text{argmax}}_{\pi }\sum _a\pi (a|s)q_{{\pi }_k}(s,a)\end{array}$$
  其中，$q_{{\pi }_k}$是policy ${\pi }_k$ 下的action value：
  $$a_k^{\ast }(s)={\text{argmax}}_a{q}_{{\pi }_k}(a,s)$$
  greedy policy为：
  $${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& a=a_k^{\ast }(s),\\ 0& a\ne a_k^{\ast }(s).\end{array}$$

Simple example:

reward设置：$r_{\text{boundary}}=-1$，$r_{\text{target}}=1$，discount rate $\gamma =0.9$。

action: $a_{\ell }$，$a_0$，$a_r$代表向左、保持不变和向右。

迭代：$k=0$:

• step1: policy evaluation

  ${\pi }_0$为上图（a），Bellman公式为：
  $$\begin{array}{rl}& v_{{\pi }_0}(s_1)=-1+\gamma v_{{\pi }_0}(s_1)\\ & v_{{\pi }_0}(s_2)=0+\gamma v_{{\pi }_0}(s_1)\end{array}$$
  直接计算等式：
  $$\begin{array}{rl}& v_{{\pi }_0}(s_1)=-10\\ & v_{{\pi }_0}(s_2)=-9\end{array}$$
  迭代计算等式：

  假定初始$v_{{\pi }_0}^{(0)}(s_1)=v_{{\pi }_0}^{(0)}(s_2)=0$，则
  $$\begin{gathered} \begin{array}{rl}& \{\begin{array}{l}{v}_{{\pi }_0}^{(1)}(s_1)=-1+\gamma v_{{\pi }_0}^{(0)}(s_1)=-1\\ v_{{\pi }_0}^{(1)}(s_2)=0+\gamma v_{{\pi }_0}^{(0)}(s_1)=0\end{array}\\ & \{\begin{array}{l}{v}_{{\pi }_0}^{(2)}(s_1)=-1+\gamma v_{{\pi }_0}^{(1)}(s_1)=-1.9\\ v_{{\pi }_0}^{(2)}(s_2)=0+\gamma v_{{\pi }_0}^{(1)}(s_1)=-0.9\end{array}\\ & \{\begin{array}{l}{v}_{{\pi }_0}^{(3)}(s_1)=-1+\gamma v_{{\pi }_0}^{(2)}(s_1)=-2.71\\ v_{{\pi }_0}^{(3)}(s_2)=0+\gamma v_{{\pi }_0}^{(2)}(s_1)=-1.71\end{array}\end{array} \\ \cdots \end{gathered}$$

• step 2: policy improvement

  $q_{{\pi }_k}(s,a)$为：

替换$v_{{\pi }_0}(s_1)=-10$、$v_{{\pi }_0}(s_2)=-9$和$\gamma =0.9$，得：

通过寻找$q_{{\pi }_0}$的最大值，提高的policy为：
$$\begin{gathered} {\pi }_1(a_r|s_1)=1 \\ {\pi }_1(a_0|s_2)=1 \end{gathered}$$
迭代一次之后，policy达到最优

Truncated Policy Iteration Algorithm

Compare value iteration and policy iteration

Policy iteration: 从${\pi }_0$开始

• policy evaluation (PE):
  $${\mathbf{v}}_{{\pi }_k}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}$$

• policy imporovement (PI):
  $${\pi }_{k+1}={\text{argmax}}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_{{\pi }_k})$$

value iteration: 从$v_0$开始

• policy update (PU):
  $${\pi }_{k+1}={\text{argmax}}_{\pi }({\mathbf{r}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{v}}_{{\pi }_k})$$

• value update (VU):
  $${\mathbf{v}}_{k+1}={\mathbf{r}}_{{\pi }_{k+1}}+\gamma {\mathbf{P}}_{{\pi }_{k+1}}{\mathbf{v}}_k$$

两个算法十分相似：

policy iteration: ${\pi }_0\stackrel{PE}{\to }{v}_{{\pi }_0}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }\cdots$

value iteraton: $u_0\stackrel{PU}{\to }{\pi }_1^{\prime }\stackrel{VU}{\to }{u}_1\stackrel{PU}{\to }{\pi }_2^{\prime }\stackrel{VU}{\to }{u}_2\stackrel{PU}{\to }\cdots$

对两个算法详细比较：

• 两个算法的初始条件是相同的

• 两个算法的前三步是相同的

• 两个算法的第四步是不同的：

  在policy iteration中，计算${\mathbf{v}}_{{\pi }_1}={\mathbf{r}}_{{\pi }_1}+\gamma {\mathbf{P}}_{{\pi }_1}{\mathbf{v}}_{{\pi }_1}$需要一个迭代算法

  在value iteration中，计算${\mathbf{v}}_1={\mathbf{r}}_{{\pi }_1}+\gamma {\mathbf{P}}_{{\pi }_1}{\mathbf{v}}_0$是一个one-step算法

考虑计算${\mathbf{v}}_{{\pi }_1}={\mathbf{r}}_{{\pi }_1}+\gamma {\mathbf{P}}_{{\pi }_1}{\mathbf{v}}_{{\pi }_1}$这一步：

• value iteration算法只计算一次
• policy iteraton算法计算“无穷”次
• truncated policy iteration算法计算有限次。剩下的从$j$到$\infty$次的迭代被省略。
  

truncted policy iteration是否会收敛：

考虑解决policy evaluaion的迭代算法：
$${\mathbf{v}}_{{\pi }_k}^{(j+1)}={\mathbf{r}}_{{\pi }_k}+\gamma {\mathbf{P}}_{{\pi }_k}{\mathbf{v}}_{{\pi }_k}^{(j)}j=0,1,2,\cdots$$
如果初始状态$v_{{\pi }_k}^{(0)}=v_{{\pi }_{k-1}}$，那么：
$$v_{{\pi }_k}^{(j+1)}\ge v_{{\pi }_k}^{(j)}$$
对所有 $j$ 成立。

由上图可知，因为policy iteration和value iteration都会收敛到optimal state value，并且truncated policy iteration夹在两者之间，则由夹逼准则可知，其一定会收敛到最优。

例子：

如上图为初始状态，定义$\Vert v_k-v^{\ast }\Vert$为在步骤$k$时的state error。算法停止的标准为$\Vert v_k-v^{\ast }\Vert <0.01$

• truncated policy iteration-$x$代表truncated policy iteration算法中policy evaluation的迭代次数。
• $x$越大代表值估计收敛的越快。
• 当$x$不断增加时，其对收敛速度的贡献越来越小。
• 因此，实际上，仅迭代少数几次就已足够。

Summary

Value iteration:

求解Bellman最优等式的迭代算法，给定初始value $v_0$
$$\begin{gathered} v_{k+1}=ma{x}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k) \\ \Updownarrow \\ \{\begin{array}{l}\text{Policy update}:{\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)\\ \text{Value update}:v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k\end{array} \end{gathered}$$
Policy iteration: 给定初始 policy ${\pi }_0$
$$\{\begin{array}{l}\text{Policy evaluation}:v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}\\ \text{Policy improvement}:{\pi }_{k+1}={\text{argmax}}_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})\end{array}$$
Truncated policy iteration



以上内容为B站西湖大学智能无人系统 强化学习的数学原理 公开课笔记。