0 专栏介绍

本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时，辅以各种机器学习、数据处理技术，扩充人工智能的底层知识。

🚀详情：《Pytorch深度强化学习》

---

1 贝尔曼最优方程

在Pytorch深度强化学习1-3：策略评估与贝尔曼期望方程详细推导中，我们介绍了贝尔曼递推公式(Bellman Equation)或称贝尔曼期望方程，如下

$$\{\begin{array}{l}{V}_{\gamma }^{\pi }\left(s\right)={\sum }_{a\in A}\pi \left(s,a\right){\sum }_{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma V_{\gamma }^{\pi }\left(s^{\prime }\right)\right]\\ Q_{\gamma }^{\pi }\left(s,a\right)={\sum }_{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma {\sum }_{a^{\prime }\in A}\pi \left(s^{\prime },a^{\prime }\right)Q_{\gamma }^{\pi }\left(s^{\prime },a^{\prime }\right)\right]\end{array}$$

贝尔曼期望方程用于策略评估，即衡量策略的好坏。

自然地，我们会想到，能否计算出最优策略呢？这就引出本节的主题——贝尔曼最优方程。

我们对上面的贝尔曼期望方程做一些变化：将期望视作随机变量不同取值的加权和，权重即为概率分布。现在将随机变量的最大取值权重赋为1，其余取值赋为0，将得到随机变量的最大值。因此随机变量的最大值是一种特殊的期望，符合

$$\mathbb{E}\left(x\right)⩽\max \left(x\right)$$

状态值函数$V^{\pi }\left(s\right)$是期望的形式，欲使$V^{\pi }\left(s\right)$数值最大，最优策略${\pi }^{\ast }$对应的条件概率分布应是0-1序列，其中权重1赋予回报最大的动作，即

$$\{\begin{array}{l}{V}_{\gamma }^{\ast }\left(s\right)=\underset{a\in A}{\max }{\sum }_{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma V_{\gamma }^{\ast }\left(s^{\prime }\right)\right]\\ Q_{\gamma }^{\ast }\left(s,a\right)={\sum }_{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma \underset{a^{\prime }\in A}{\max }{Q}_{\gamma }^{\ast }\left(s^{\prime },a^{\prime }\right)\right]\end{array}$$

这就演化成了最优贝尔曼方程

Richard Ernest Bellman

2 贪心策略与策略改进

设当前策略为$\pi$，则总可以将其改进为${\pi }^{\prime }\left(s\right)=\arg {\max }_{a\in A}{Q}^{\pi }\left(s,a\right)$，也称为贪心策略，记作$G\left(\cdot \right)$

证明

设贝尔曼最优算子为${\mathcal{B}}^{\ast }$，其不依赖于具体策略，则

$$\left|\left({\mathcal{B}}^{\ast }{V}^{\pi }\right)\left(s\right)-\left({\mathcal{B}}^{\ast }{V}^{{\pi }^{\prime }}\right)\left(s\right)\right|=\left|\underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma V^{\pi }\left(s^{\prime }\right)\right]-\underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma V^{{\pi }^{\prime }}\left(s^{\prime }\right)\right]\right|$$

根据不等式

$$\begin{array}{rl}\left|\underset{x}{\max }f\left(x\right)-\underset{x}{\max }g\left(x\right)\right|& =\left|f\left(x^{\ast }\right)-\underset{x}{\max }g\left(x\right)\right|x^{\ast }\text{是}f\left(x\right)\text{最大值}\\ & ⩽\left|f\left(x^{\ast }\right)-g\left(x^{\ast }\right)\right|\\ & ⩽\underset{x}{\max }\left|f\left(x\right)-g\left(x\right)\right|\end{array}$$

可得

$$\begin{array}{rl}\left|\left({\mathcal{B}}^{\ast }{V}^{\pi }\right)\left(s\right)-\left({\mathcal{B}}^{\ast }{V}^{{\pi }^{\prime }}\right)\left(s\right)\right|& ⩽\left|\gamma \underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[V^{\pi }\left(s^{\prime }\right)-V^{{\pi }^{\prime }}\left(s^{\prime }\right)\right]\right|\\ & ⩽\gamma \underset{a\in A}{\max }\left|\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[V^{\pi }\left(s^{\prime }\right)-V^{{\pi }^{\prime }}\left(s^{\prime }\right)\right]\right|\\ & ⩽\gamma \underset{a\in A}{\max }\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left|V^{\pi }\left(s^{\prime }\right)-V^{{\pi }^{\prime }}\left(s^{\prime }\right)\right|\text{绝对值不等式}\\ & =\gamma \sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^{a^{\ast }}\left|V^{\pi }\left(s^{\prime }\right)-V^{{\pi }^{\prime }}\left(s^{\prime }\right)\right|\\ & ⩽\gamma \sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^{a^{\ast }}\underset{s^{\prime \prime }}{\max }\left|V^{\pi }\left(s^{\prime \prime }\right)-V^{{\pi }^{\prime }}\left(s^{\prime \prime }\right)\right|\\ & =\gamma {\Vert V^{\pi }-V^{{\pi }^{\prime }}\Vert }_{\infty }\end{array}$$

同样根据巴拿赫不动点定理可知映射${\mathcal{B}}^{\ast }$存在唯一的不动点。易知当策略取为

$$\begin{array}{rl}{\pi }^{\prime }\left(s\right)& =\arg \underset{a\in A}{\max }{Q}^{\pi }\left(s,a\right)\\ & =\underset{a\in A}{\mathrm{argmax}}\sum _{s^{\prime }\in S}{P}_{s\to s^{\prime }}^a\left[R_{s\to s^{\prime }}^a+\gamma V_{\gamma }^{\pi }\left(s^{\prime }\right)\right]\end{array}$$

与贝尔曼最优方程等价，亦即贪心策略$G\left(V^{\pi }\right)={\pi }^{\prime }$与贝尔曼最优算子${\mathcal{B}}^{\ast }$等价

$${\mathcal{B}}^{\ast }{V}^{\pi }={\mathcal{B}}^{G\left(V^{\pi }\right)}{V}^{\pi }={\mathcal{B}}^{{\pi }^{\prime }}{V}^{\pi }$$

3 策略迭代与价值迭代

贪心策略指向的结果是

$${\mathcal{B}}^{\ast }{V}^{\pi }={\mathcal{B}}^{G\left(V^{\pi }\right)}{V}^{\pi }={\mathcal{B}}^{{\pi }^{\prime }}{V}^{\pi }$$

上式表明，代表策略评估的贝尔曼期望方程 和代表策略改进的贝尔曼最优方程 通过贪心策略联系在一起。

根据最大值和期望值的不等式有${\mathcal{B}}^{\ast }{V}^{\pi }⩾{\mathcal{B}}^{\pi }{V}^{\pi }$。在应用策略改进时，对$\pi$的策略评估应当已经收敛，所以此时${\mathcal{B}}^{\pi }{V}^{\pi }=V^{\pi }$，从而${\mathcal{B}}^{{\pi }^{\prime }}{V}^{\pi }⩾V^{\pi }$。

接着对${\pi }^{\prime }$进行策略评估(应用无穷次期望算子)得到新的状态函数值

$$V^{{\pi }^{\prime }}=\underset{k\to \infty }{\lim }{\left({\mathcal{B}}^{{\pi }^{\prime }}\right)}^k{V}^{\pi }$$

而应用${\mathcal{B}}^{{\pi }^{\prime }}$是使状态函数值单调递增的过程，那么$V^{{\pi }^{\prime }}⩾V^{\pi }$，即策略得到单调性的改善。又因为${\mathcal{B}}^{\ast }$存在唯一的不动点，所以最终会迭代到唯一且最优的策略${\pi }^{\ast }$。

简言之，可以任取一个策略${\pi }^0$按策略改进定理迭代，最终收敛到最优 ，称为策略迭代(policy iteration)

$$\underset{k\to \infty }{\lim }{\left({\mathcal{B}}^{\ast }\right)}^k{V}^{{\pi }^0}=V^{{\pi }^{\ast }}$$

根据不动点定理，状态值函数值$V^{{\pi }^{\ast }}$也是唯一且最优的，因此也可以先计算出$V^{{\pi }^{\ast }}$，再通过贪心策略间接得到最优策略${\pi }^{\ast }$，称为价值迭代(value iteration)

4 算法流程

策略迭代算法流程

价值迭代算法流程

---

🔥 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇