前言

最近在学习强化学习的内容，为了更加方便理解强化学习中的各种算法与底层原理，学习了贝尔曼方程以及最优公式，特此记录
参考课程：强化学习的数学原理

什么是贝尔曼方程？

贝尔曼方程，又叫动态规划方程，是以Richard Bellman命名的，表示动态规划问题中相邻状态关系的方程。某些决策问题可以按照时间或空间分成多个阶段，每个阶段做出决策从而使整个过程取得效果最优的多阶段决策问题，可以用动态规划方法求解。某一阶段最优决策的问题，通过贝尔曼方程转化为下一阶段最优决策的子问题，从而初始状态的最优决策可以由终状态的最优决策(一般易解)问题逐步迭代求解。存在某种形式的贝尔曼方程，是动态规划方法能得到最优解的必要条件。绝大多数可以用最优控制理论解决的问题，都可以通过构造合适的贝尔曼方程来求解。

基础知识

名词	解释
智能体	学习器与决策者的角色
环境	智能体之外一切组成的、与之交互的事物
动作	智能体的行为表征
状态	智能体从环境获取的信息
奖励	环境对于动作的反馈
策略	智能体根据状态进行下一步动作的函数
状态转移概率	智能体做出动作后进入下一状态的概率

RL考虑的是智能体（Agent）与环境（Environment）的交互问题：
RL的目标是找到一个最优策略，使智能体获得尽可能多的来自环境的奖励。例如赛车游戏，游戏场景是环境，赛车是智能体，赛车的位置是状态，对赛车的操作是动作，怎样操作赛车是策略，比赛得分是奖励。在论文中中常用观察(Observation)而不是环境，因为智能体不一定能得到环境的全部信息，只能得到自身周围的信息。

学习开始时往往采用随机策略进行实验得到一系列的状态、动作和奖励样本，算法根据样本改进策略，最大化奖励。由于奖励越来越大的特性，这种算法被称作强化学习。

马尔可夫决策过程 (Markov decision process, MDP)

强化学习的数学基础和建模工具是马尔可夫决策过程 (Markov decision process，MDP)
一个 MDP 通常由状态空间、动作空间、状态转移函数、奖励函数、折扣因子等组成。

回报(Return)

回报 (return) 是从当前时刻开始到本回合结束的所有奖励的总和，所以回报也叫做累计奖励 (cumulative future reward)。
把t时刻的回报记作随机变量$U_t$,如果一回合游戏结束，已经观测到所有奖励，那么就把回报记作$u_t$ ,设本回合在时刻n nn结束。定义回报为:
​$U_t=R_t+R_{t+1}+R_{t+2}+R_{t+3}+...+R_n$

回报是未来获得的奖励总和，所以智能体的目标就是让回报尽量大，越大越好。强化学习的目标就是寻找一个策略，使得回报的期望最大化。这个策略称为最优策略 (optimum policy)。

折扣回报(Discounted Return)

在 MDP 中，通常使用折扣回报 (discounted return)，给未来的奖励做折扣。折扣回报的定义如下:
​$G_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+...$
这里的$\gamma \in [0,1]$叫折扣率。对待越久远的未来，给奖励打的折扣越大。
$t$时刻当前状态$s_t$ 和策略函数$\pi (a|s)$选取动作$a_t$,然后状态转移$p_t(s^{\prime }|s,a)=P(S_{t+1}^{\prime }=s^{\prime }|S_t=s,A_t=a)$,选取新的状态$S_{t+1}^{\prime }=s^{\prime }$,奖励$R_i$只依赖于$S_i$ 和$A_i$

​

State Value（状态价值函数）

首先我们采取一个以下的过程

• $t$,$t+1$:时间片段
• $S_t$:在时间$t$下的状态
• $A_t$:在状态$S_T$下采取的动作
• $R_{t+1}$:采取动作$A_t$后获取到的奖励值
• $S_{t+1}$:采取动作$A_t$后到达的状态

这样的一个动作持续下去：

我们通过马尔可夫过程，获得一个累计的折扣奖励：
​$G_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+...$
$\gamma \in [0,1]$

State Value是什么呢？
本质上就是$G_t$的期望，即平均值，在状态$S_t$下可以执行多不同的行为，从而产生多个轨迹$G_t$,State Value就是这多个$G_t$的平均值。
我们用$v_{\pi }$代表State Value

以下是采取不同策略获得的State Value

贝尔曼方程的推导

我们将上方的$G_t$的做一下修改;

可以看到我们将$G_t$分为了两部分

然后我们将其带入到$v_{\pi }(s)$中，可以看到$v_{\pi }(s)$也被分为了两部分

下面我们做的就是分别来分析这两个公式，就可以得到贝尔曼方程

首先第一项是$E[R_{t+1}|S_t=s]$
可以得到

解释：在状态s可以有多个action去执行，执行a的概率为$\pi (a|s)$,然后我们在状态s下执行a，获得奖励r，我们将这多个action执行后获得的奖励求平均即可

本质上就是我们在状态s下执行各种action获得奖励的平均值,为及时奖励

我们再来看第二项

解释：通过马尔可夫的性质：下个状态只与当前状态信息有关,与更早之前的状态无关,即“无记忆性”，我们可以省去$S_t=s$,因为$E[G_{t+1}|S_{t+1}=s^{‘}]$就是下一个状态的$v_{\pi }$，所以可以推导出以上公式
本质上是未来奖励

推导完上面的两项公式，我们将推导的公式代入到$v_{\pi }$，就可以得出贝尔曼方程：

这个公式描述了不同状态之间的关系，因为左边是$v_{\pi }(s)$，右边是$v_{\pi }(s^{’})$

例子：

我们从$s_1$出发，根据贝尔曼方程，我们可以得到
$v_{\pi }(s_1)$ = 0.5[0+γ$v_{\pi }(s_3)+0.5[-1+\gamma v_{\pi }(s_2)]$
从$s_2$、$s_3$、$s_4$，分别可以得到：

贝尔曼方程的矩阵形式

当我们有了一个贝尔曼方程，我们需要求解该贝尔曼方程

对于贝尔曼方程，所有的状态都是适用的，这样我们可以写成一个矩阵的形式，这样方便我们去求解该方程。

我们先令以下公式成立：

然后我们就可以将贝尔曼方程，化简为：

我们将其化为矩阵形式就需要多个状态，我们设有n个状态：

从刚才的公式我们可以得到：

然后我们令：

$[P_{\pi }{]}_{ij}$代表第i行第j列的元素是从$s_i$跳到$s_j$的这样一个概率

之后我们就可以得到，贝尔曼方程的矩阵形式如下：
$v_{\pi }=r_{\pi }+\gamma P_{\pi }$$v_{\pi }$

具体例子如下：
例子1：

例子2：

我们如何求解这个矩阵形式的贝尔曼方程呢？

可以使用迭代的方式去求解
通过$v_0$求出$v_1$，通过$v_1$求出$v_2$，以此迭代下去。

Action Value（动作价值函数）

• State value:从一个状态s出发得到的平均奖励（从状态s出发的多条轨迹的平均奖励）
• Action vlaue:从一个状态出发并选择一个action得到的平均奖励

Action value的定义如下：

我们从数学上看一下 Action value与State value的关系：

因此

我们将上面这个公式与下面的公式做对比

我们可以得到画线的就是Action value
即

所以我们可以得出结论：

• 1、如果我们得到一个状态s下的所有Action value，求平均就可以得到State value
• 2、如果我们得到所有状态的State value，就可以得到所有的Action value

具体例子如下：
首先我们按照箭头的方向做出action，得到以下的Action value
$q_{\pi }(s_1,a_2)=-1+\gamma v_{\pi }(s_2)$

虽然箭头是指向s2的（忽略红色箭头），但是我们依旧可以算其它方向的Action value,例如我们可以计算红色箭头的Action value
$q_{\pi }(s_1,a_3)=0+\gamma v_{\pi }(s_3)$(因为$s_1$到$s_3$都为空白格，所以奖励为0)

贝尔曼最优公式

在强化学习中，我们的目的就是找最优的策略，而贝尔曼方程的最优公式为我们提供了理论支撑

最优的定义：

我们有一个策略${\pi }^{\ast }$，在所有的状态s下以及所有其它策略$\pi$下，存在$v_{{\pi }^{\ast }}(s)$大于所有的$v_{\pi }(s)$
我们称这个策略${\pi }^{\ast }$为最优策略

对于最优，我们有以下问题：

• 1、该策略是否存在？
• 2、该策略是否唯一？
• 3、该策略是确定性的还是非确定性的？
• 4、怎么去得到最优策略？

根据以上问题，我们需要研究贝尔曼最优公式，以下就是贝尔曼最优公式

以下是贝尔曼方程最优公式的矩阵形式：

因为对于求解贝尔曼方程最优公式的推导有些复杂，视频中介绍了contraction mapping theorem来求解贝尔曼最优公式，我这里不详细给出，有兴趣的可以观看视频

我们只要知道，该方程存在一个唯一的解$v^{\ast }$，且唯一存在，同时也可以利用迭代的方法求解出来

求解步骤如下：
1、对于任何状态s,当前的策略为$v_k(s)$（初始化得到的）
2、对于任何action，我们计算

3、我们使用贪婪算法，选择最大的$q_k(s,a)$

4、然后$v_{k+1}(s)$就是最大的$q_k(s,a)$

这个步骤迭代下去，就可以求出一个最优的策略$\pi$