强化学习从入门到精通（马尔科夫决策过程）（7天入门强化学习）

知识二：马尔科夫决策过程

• 先介绍马尔可夫过程（Markov process）以及马尔可夫奖励过程（Markov reward process）。

2.1 马尔可夫过程

2.1.1 马尔可夫性质

• 随机过程，已知现在状态和过去所有状态，未来状态的条件概率分布仅仅依赖于当前状态。由下面公式可以看出，未来状态只和现在的当前状态相关。
  $$p\left(X_{t+1}=x_{t+1}\mid X_{0:t}=x_{0:t}\right)=p\left(X_{t+1}=x_{t+1}\mid X_t=x_t\right)$$

2.1.2 马尔科夫链

• $s_t$是当前时刻状态，$s_{t+1}$是下一时刻状态，$h_t$包含所有状态，马尔可夫过程满足如下公式（只与当前状态有关就是马尔可夫过程）：

$$p\left(s_{t+1}\mid s_t\right)=p\left(s_{t+1}\mid h_t\right)$$

• 离散时间的马尔可夫过程也称为马尔可夫链，就是状态有限，时间离散。我们可以用状态转移矩阵$P$，来表示状态转移$p\left(s_{t+1}=s^{\prime }\mid s_t=s\right):$
  $$\mathbf{P}=\left(\begin{array}{cccc}p\left(s_1\mid s_1\right)& p\left(s_2\mid s_1\right)& \dots & p\left(s_N\mid s_1\right)\\ p\left(s_1\mid s_2\right)& p\left(s_2\mid s_2\right)& \dots & p\left(s_N\mid s_2\right)\\ ⋮& ⋮& \ddots & ⋮\\ p\left(s_1\mid s_N\right)& p\left(s_2\mid s_N\right)& \dots & p\left(s_N\mid s_N\right)\end{array}\right)$$

2.2 马尔科夫奖励过程

• 马尔可夫奖励过程是马尔可夫链加上奖励函数。在马尔可夫奖励过程中，状态转移矩阵和状态都与马尔可夫链一样，只是多了奖励函数。（就是多了个奖励）。

2.2.1 回报与价值函数

• 回报可以定义为奖励的逐步叠加，公式如下：
  $$G_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+{\gamma }^3{r}_{t+4}+\dots +{\gamma }^{T-t-1}{r}_T$$

• 回报用$G_t$表示，$r_{t+1}$是下一时刻的奖励，$r_T$是最优一个时刻的奖励，$\gamma$是折扣系数。（就是重视挨着的下一时刻的奖励，未来的奖励的重视程度逐渐削弱）

• 状态价值函数，公式如下**（注意：有状态价值V和动作价值Q）**：

$$\begin{array}{rl}{V}^t(s)& =\mathbb{E}\left[G_t\mid s_t=s\right]\\ & =\mathbb{E}\left[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\dots +{\gamma }^{T-t-1}{r}_T\mid s_t=s\right]\end{array}$$

• 当前$s$状态的价值用$V^t(s)$表示**（就是**$s$状态下得到的回报），当前时刻到下一时刻的状态**（因为下一时刻的状态有很多，不一定是哪个状态所以用期望的方式取平均）**

2.2.2 贝尔曼方程

• 采用贝尔曼方程计算状态价值$V$:

$$V(s)=R(s)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s\right)V\left(s^{\prime }\right)$$

• 其中$R(s)$是即时奖励**（到状态$s$时的奖励），$V\left(s^{\prime }\right)$是其他所有状态的状态价值，$p\left(s^{\prime }\mid s\right)$是状态转移矩阵（就是在状态$s$到状态$s^{\prime }$的概率），$\gamma$是折扣系数（除了到达$s$的即时奖励，其他状态的奖励都要乘折扣）**。
• 其推到过程如下**（简单看明白就行）**：

$$\begin{array}{rl}V(s)& =\mathbb{E}\left[G_t\mid s_t=s\right]\\ & =\mathbb{E}\left[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\dots \mid s_t=s\right]\\ & =\mathbb{E}\left[r_{t+1}|s_t=s\right]+\gamma \mathbb{E}\left[r_{t+2}+\gamma r_{t+3}+{\gamma }^2{r}_{t+4}+\dots \mid s_t=s\right]\\ & =R(s)+\gamma \mathbb{E}[G_{t+1}|s_t=s]\\ & =R(s)+\gamma \mathbb{E}[V(s_{t+1})|s_t=s]\\ & =R(s)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s\right)V\left(s^{\prime }\right)\end{array}$$

• 从这个公式可以看出，当前$s$状态的价值，可以通过下个$s^{\prime }$状态的价值导出。贝尔曼方程就是当前状态与未来状态的迭代关系。贝尔曼方程的矩阵形式如下：

$$\left(\begin{array}{c}V\left(s_1\right)\\ V\left(s_2\right)\\ ⋮\\ V\left(s_N\right)\end{array}\right)=\left(\begin{array}{c}R\left(s_1\right)\\ R\left(s_2\right)\\ ⋮\\ R\left(s_N\right)\end{array}\right)+\gamma \left(\begin{array}{cccc}p\left(s_1\mid s_1\right)& p\left(s_2\mid s_1\right)& \dots & p\left(s_N\mid s_1\right)\\ p\left(s_1\mid s_2\right)& p\left(s_2\mid s_2\right)& \dots & p\left(s_N\mid s_2\right)\\ ⋮& ⋮& \ddots & ⋮\\ p\left(s_1\mid s_N\right)& p\left(s_2\mid s_N\right)& \dots & p\left(s_N\mid s_N\right)\end{array}\right)\left(\begin{array}{c}V\left(s_1\right)\\ V\left(s_2\right)\\ ⋮\\ V\left(s_N\right)\end{array}\right)$$

• 从而可以导出向量$V$的值，推到过程如下：

$$\begin{array}{rl}\text{V}& =R+\gamma PV\\ \mathbf{I}\mathbf{V}& =R+\gamma PV\\ \text{V}& =(I-\gamma \mathbf{P}{)}^{-1}\mathbf{R}\end{array}$$

• **注：**矩阵求逆的过程一般情况下都是元素个数的3次方。所以通过上述方法去求解，只适用于很小量的马尔可夫奖励过程。

2.2.3 计算马尔可夫奖励过程价值的迭代算法

• 我们可以将迭代的方法应用于状态非常多的马尔可夫奖励过程，比如：动态规划的方法，蒙特卡洛的方法（通过采样的办法计算它），时序差分学习的方法（时序差分学习是动态规划和蒙特卡洛方法的一个结合）。

2.2.3.1 蒙特卡洛方法

• 因为计算到达全部状态的轨迹很多，所以蒙特卡洛（通过采样的办法计算）得到每个轨迹上的奖励，最后加上开始状态的及时回报，就得到了开始状态的价值。（其实就是用局部代替全体的路径，就是一个采样的方法。从而减少用到的计算资源）。

2.2.3.2 动态规划方法

• 就是不停的迭代，更行开始状态的价值，知道更新前后的开始状态价值差别不大，结束迭代。

2.3 马尔可夫决策过程

• 相对于马尔可夫奖励过程，马尔可夫决策过程多了决策（决策是指动作），其他的定义与马尔可夫奖励过程的是类似的。

2.3.1 马尔可夫决策过程中的策略

• 策略就是在某一个状态应该采取什么样的动作。策略函数如下：

$$\pi (a\mid s)=p\left(a_t=a\mid s_t=s\right)$$

• 已知马尔可夫决策过程和策略 $\pi$，我们可以把马尔可夫决策过程转换成马尔可夫奖励过程。在策略 $\pi$下，由$s$状态转移到$s^{\prime }$状态的概率转移矩阵如下：

$$P_{\pi }\left(s^{\prime }\mid s\right)=\sum _{a\in A}\pi (a\mid s)p\left(s^{\prime }\mid s,a\right)$$

• 已知策略$\pi$就是知道在状态$s$时执行每个动作的概率。（所以在状态$s$下和对应动作下$a$的条件下转移到$s’$的概率，把所有动作求和，就得到了在策略$\pi$下从状态$s$转移到$s’$的概率）。
• 对应的在策略$\pi$下的奖励函数如下:

$$r_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)R(s,a)$$

• 在状态$s$和对应动作$a$下的奖励，乘以在状态$s$条件下执行动作$a$的概率。

• 马尔可夫决策过程和马尔可夫过程及其奖励过程的差异如下图。

• 左侧的马尔可夫过程，只有一个随机性（到达下一个状态的随机性）。右侧马尔可夫决策过程，有两个随机性（首先，是到达下一个动作的随机性，其次，是到达下一个状态的随机性）。

2.3.2 马尔可夫决策过程中的价值函数

• 马尔可夫决策过程中的价值函数可定义为：

$$V_{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s\right]$$

• 动作价值函数，即Q函数公式如下：

$$Q_{\pi }(s,a)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s,a_t=a\right]$$

• 这里的期望其实也是基于策略函数的。所以我们需要对策略函数进行一个加和，然后得到它的价值。对$Q$函数中的动作进行加和，就可以得到价值函数：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)Q_{\pi }(s,a)$$

• 此处我们对 $Q$ 函数的贝尔曼方程进行推导：

$$\begin{array}{rl}Q(s,a)& =\mathbb{E}\left[G_t\mid s_t=s,a_t=a\right]\\ & =\mathbb{E}\left[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\dots \mid s_t=s,a_t=a\right]\\ & =\mathbb{E}\left[r_{t+1}|s_t=s,a_t=a\right]+\gamma \mathbb{E}\left[r_{t+2}+\gamma r_{t+3}+{\gamma }^2{r}_{t+4}+\dots \mid s_t=s,a_t=a\right]\\ & =R(s,a)+\gamma \mathbb{E}[G_{t+1}|s_t=s,a_t=a]\\ & =R(s,a)+\gamma \mathbb{E}[V(s_{t+1})|s_t=s,a_t=a]\\ & =R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V\left(s^{\prime }\right)\end{array}$$

• 这个和前面的推到是一样的。

2.3.3 贝尔曼期望方程

• 状态价值$V$的贝尔曼方程如下：

$$V_{\pi }(s)={\mathbb{E}}_{\pi }\left[r_{t+1}+\gamma V_{\pi }\left(s_{t+1}\right)\mid s_t=s\right]$$

• 动作价值$Q$的贝尔曼方程如下：

$$Q_{\pi }(s,a)={\mathbb{E}}_{\pi }\left[r_{t+1}+\gamma Q_{\pi }\left(s_{t+1},a_{t+1}\right)\mid s_t=s,a_t=a\right]$$

• 贝尔曼期望方程定义了当前状态与未来状态之间的关联。我们进一步进行简单的分解，先给下式：

$$\begin{array}{r}{V}_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)Q_{\pi }(s,a)\end{array}$$

• 接着给出

$$Q_{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V_{\pi }\left(s^{\prime }\right)$$

• 将$Q_{\pi }(s,a)$代入$V_{\pi }(s)$得到：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V_{\pi }\left(s^{\prime }\right)\right)$$

• 将$V_{\pi }(s)$代入$Q_{\pi }(s,a)$得到：

$$Q_{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)\sum _{a^{\prime }\in A}\pi \left(a^{\prime }\mid s^{\prime }\right)Q_{\pi }\left(s^{\prime },a^{\prime }\right)$$

• 以上两个公式是贝尔曼方程的另外两种形式

2.3.4 备份图

• 如上图所示，当前状态的价值如下：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V_{\pi }\left(s^{\prime }\right)\right)$$

• 如上图所示，图（b）的计算公式如下：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)Q_{\pi }(s,a)$$

• 图（b）给出了状态价值函数与$ Q $函数之间的关系。图（c）计算$Q$函数为：

$$Q_{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V_{\pi }\left(s^{\prime }\right)$$

• 将$Q_{\pi }(s,a)$代入$V_{\pi }(s)$得：

$$V_{\pi }(s)=\sum _{a\in A}\pi (a\mid s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)V_{\pi }\left(s^{\prime }\right)\right)$$

• 如上图所示，$Q_{\pi }(s,a)$公式如下：

$$Q_{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)\sum _{a^{\prime }\in A}\pi \left(a^{\prime }\mid s^{\prime }\right)Q_{\pi }\left(s^{\prime },a^{\prime }\right)$$

• 如上图（c）所示，$V_{\pi }\left(s^{\prime }\right)$公式如下：

$$V_{\pi }\left(s^{\prime }\right)=\sum _{a^{\prime }\in A}\pi \left(a^{\prime }\mid s^{\prime }\right)Q_{\pi }\left(s^{\prime },a^{\prime }\right)$$

• 将其代入前面的，$Q$函数可以得到未来$Q$函数与当前$Q$函数之间的关联，如下：

$$Q_{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}p\left(s^{\prime }\mid s,a\right)\sum _{a^{\prime }\in A}\pi \left(a^{\prime }\mid s^{\prime }\right)Q_{\pi }\left(s^{\prime },a^{\prime }\right)$$

2.3.5 策略评估

• 策略评估为已知马尔可夫决策过程以及要采取的策略$\pi$ ，计算价值函数$V_{\pi }(s)$​ 的过程。策略评估在有些地方也被称为（价值）预测，也就是预测我们当前采取的策略最终会产生多少价值。通过迭代，由上一次迭代的价值函数，求出这次迭代的价值函数。

2.3.6 预测与控制

• 预测问题是给定一个策略，我们要确定它的价值函数是多少。而控制问题是在没有策略的前提下，我们要确定最佳的价值函数以及对应的决策方案。（策略未知，然后找到最佳的价值函数和最优策略）。

知识一：什么是强化学习，我就没有写，随便刷个短视频就可以知道了。

明天分享动态规划(策略评估、策略改进、策略迭代、价值迭代)，一周快速入门强化学习，请大家多多支持谢谢。开始学很难受，一点一点推到，理解了就行，