Basic Concepts in Reinforcement Learning

A grid-world example

在该图中：

• 格子被分为三类：可访问的格子、禁止访问的格子、目标格子
• 角色被称为 agent
• agent 的任务就是从 start 开始找到一条“正确”的路径到达 target
• agent 无法越过边界，当 agent 采取越过边界的行为时其会停留在原地

State

将上图中 agent 所处的不同格子定义为不同的 state，定义如下图所示。

则 State space 可以定义为： S = { s i } i = 1 9 \mathcal{S}=\{s_i\}_{i=1}^9 S={si​}i=19​

Action

agent 在每一个 state 都有 5 种可采取的 action，action 的定义如下：

• $a_1$：向上移动
• $a_2$：向右移动
• $a_3$：向下移动
• $a_4$：向左移动
• $a_5$：待在原地

每一个 state 都有一个对应的 action space，其定义为： A ( s i ) = { a i } i = 1 5 \mathcal{A}(s_i)=\{a_i\}_{i=1}^5 A(si​)={ai​}i=15​

State transition

state transition 用于表示 agent 采取 action 之后的 state 变化

例如，$s_1\stackrel{a_2}{⟶}{s}_2$表示 agent 在 $s_1$ 采取 $a_2$ 之后 state 将会转换到 $s_2$

例如，$s_1\stackrel{a_1}{⟶}{s}_1$表示 agent 在 $s_1$ 采取 $a_1$ 之后 state 将会转换到 $s_1$

用表格表示：

	$a_1$	$a_2$	$a_3$	$a_4$	$a_5$
$s_1$	$s_1$	$s_2$	$s_4$	$s_1$	$s_1$
$s_2$	$s_2$	$s_3$	$s_5$	$s_1$	$s_2$
$s_3$	$s_3$	$s_3$	$s_6$	$s_2$	$s_3$
$s_4$	$s_1$	$s_5$	$s_7$	$s_4$	$s_4$
$s_5$	$s_2$	$s_6$	$s_8$	$s_4$	$s_5$
$s_6$	$s_3$	$s_6$	$s_9$	$s_5$	$s_6$
$s_7$	$s_4$	$s_8$	$s_7$	$s_7$	$s_7$
$s_8$	$s_5$	$s_9$	$s_8$	$s_7$	$s_8$
$s_9$	$s_6$	$s_9$	$s_9$	$s_8$	$s_9$

用数学表示：
$$\begin{array}{rl}p(s_2|s_1,a_2)& =1\\ p(s_i|s_1,a_2)& =0\forall i\ne 2\end{array}$$

Policy

Policy 表示在某一个 state agent 需要采取的 action。

Deterministic policy

如使用下图表示 agent 在某一个 state 采取的 action，其中箭头表示 agent 采取的 action。

对于 $s_1$ 的 policy 可用数学表示：
$$\begin{gathered} \pi (a_1|s_1)=0 \\ \pi (a_2|s_1)=1 \\ \pi (a_3|s_1)=0 \\ \pi (a_4|s_1)=0 \\ \pi (a_5|s_1)=0 \end{gathered}$$

Stochastic policy

对于 $s_1$ 的 policy 可以表示为：
$$\begin{array}{rl}\pi (a_1|s_1)& =0\\ \pi (a_2|s_1)& =0.5\\ \pi (a_3|s_1)& =0.5\\ \pi (a_4|s_1)& =0\\ \pi (a_5|s_1)& =0\end{array}$$

Reward

Reward 是 RL 中最为特殊的一个概念，是 agent 采取某一个 action 之后得到的一个具体的值，该值可正可负。一般情况下，当值为正数的时候，表示鼓励 agent 采取这种 action；当值为负数的时候，表示惩罚 agent 采取这种 action。

将 grid-world 中的 reward 定义为：

• 如果 agent 试图越过边界，$r_{bound}=-1$
• 如果 agent 进入了一个禁止访问的格子，$r_{fobid}=-1$
• 如果 agent 到达了目标格子，$r_{target}=+1$
• 其他情况，$r=0$

例如，agent 在 state $s_1$ 采取了 action $a_1$，那么其 reward 为 $-1$，可用数学表示为：$p(r=-1|s_1,a_1)=1$ 和 $p(r\ne -1|s_1,a_1)=0$

Trajectory and return

trajectory 是一条 state-action-reward 链路：
$$s_1\underset{r=0}{\stackrel{a_2}{⟶}}{s}_2\underset{r=0}{\stackrel{a_3}{⟶}}{s}_5\underset{r=0}{\stackrel{a_3}{⟶}}{s}_8\underset{r=1}{\stackrel{a_2}{⟶}}{s}_9$$
一个 trajectory 的 return 是其所有 reward 的和：
$$\mathrm{return}=0+0+0+1=1$$

Discounted return

一个 trajectory 可能是无穷的：
$$s_1\underset{r=0}{\stackrel{a_2}{⟶}}{s}_2\underset{r=0}{\stackrel{a_3}{⟶}}{s}_5\underset{r=0}{\stackrel{a_3}{⟶}}{s}_8\underset{r=1}{\stackrel{a_2}{⟶}}{s}_9\underset{r=1}{\stackrel{a_5}{⟶}}{s}_9\underset{r=1}{\stackrel{a_5}{⟶}}{s}_9\cdots$$
其 return 是：
$$\mathrm{return}=0+0+0+1+1+1+\cdots =\infty$$
对于这种情况，需要引入 discount rate $\gamma \in [0,1)$，则引入 discount rate 的return 称为 discounted return：
$$\begin{array}{rl}\mathrm{discounted}\mathrm{return}& =0+\gamma 0+{\gamma }^{2}0+{\gamma }^{3}1+{\gamma }^{4}1+{\gamma }^{5}1+\dots \\ & ={\gamma }^3(1+\gamma +{\gamma }^2+\dots )\\ & ={\gamma }^3\frac{1}{1-\gamma }\end{array}$$

Episode

agent 按照某中 policy 行动，最终停在某个终止 state，则称这整个 trajectory 为一个 episode。一个 episode 通常是有限的。

实际上，一些任务可能没有终止 state，意味着这项任务永远不会终止，这种任务称为 continuing task。

Markov decision process (MDP)

MDP 的主要组成部分：

• 集合：

  • state：state space $\mathcal{S}$
  • action：action space $\mathcal{A}(s)$
  • reward：reward space $\mathcal{R}(s,a)$

• 条件概率分布：

  • state transition probability：$p(s^{\prime }|s,a)$
  • reward probability：$p(r|s,a)$

• Policy：$\pi (a|s)$

• Markov property: memoryless property
  $$\begin{gathered} p(s_{t+1}|a_t,s_t,\dots ,a_0,s_0)=p(s_{t+1}|a_t,s_t) \\ p(r_{t+1}|a_t,s_t,\dots ,a_0,s_0)=p(r_{t+1}|a_t,s_t) \end{gathered}$$

grid-world 例子可以抽象为一个 Markov process

其中圆圈表示 state，箭头表示 state transition

当 policy 给定时，Markov decision process 就成为 Markov process

Summary

Note 1 主要介绍了 RL 的一些基本概念和术语，分别是：

• State
• Action
• State transition，state transition probability $p(s^{\prime }|s,a)$
• Reward，reward probability $p(r|s,a)$
• Trajectory，episode，return，discount return
• Markov decision process

Reference

【强化学习的数学原理】课程：从零开始到透彻理解（完结）