RL理解要点

1. RL数学基础

1.1 Random Variable 随机变量

1.2 概率密度函数 Probability Density Function(PDF)

1.3 期望 Expectation

1.4 随机抽样 Random Sampling

2. RL术语 Terminologies

2.1 agent、state 和 action

2.2 策略 policy π

2.3 奖励 reward

2.4 状态转移 state transition

2.5 agent environment interaction 环境交互

2.6 强化学习中的随机性 Randomness in Reinforcement Learning

2.7 play the game using AI

2.8 rewards、returns

2.8.1 Discounted return Ut 折扣回报

2.8.2 Random in Returns

2.9 value function 价值函数

2.9.1 Action-value function Qπ(s, a)

2.9.2 Optimal action-value function Q*

2.9.3 State-value function Vπ

3. How does AI control the agent？

3.1 policy function π

3.2 Q*(s, a)函数

3.3 Open AI gym

参考

RL理解要点

RL学什么呢？就是要学习policy策略函数

1. RL数学基础

1.1 Random Variable 随机变量

Random Variable: a variable whose values depend on outcomes of a random event. 随机变量是一个未知的量，它的值取决于随机事件的结果。

用大写字母表示随机变量 random variable，用小写字母表示随机变量观测值 observed value。

1.2 概率密度函数 Probability Density Function(PDF)

本质：就是一个概率分布(0.2, 0.3, 0.5)。

PDF provides a relative likelihood that the value of the random variable would equal that sample.

e.g. Gaussian distribution

连续分布、离散分布。用 $\chi$ 表示其定义域domain

1.3 期望 Expectation

本质：是平均值，是预估结果。

1.4 随机抽样 Random Sampling

2. RL术语 Terminologies

2.1 agent、state 和 action

可以近似理解当前图片frame就是state
agent，翻译为“智能体”
当前state，agent可以做的动作叫action，包括{'left', 'right', 'up'}

2.2 策略 policy π

本质：policy策略是一个概率密度函数，就是根据state生成一个动作action概率分布。

policy根绝观测到状态state，做出决策，然后控制agent运动。

Note that policy函数是随机的。

2.3 奖励 reward

agent做出一个动作，游戏就会给出一个奖励reward

奖励定义的好坏，非常影响强化学习的结果。

2.4 状态转移 state transition

agent做出一个动作，游戏就会给出一个新的状态state，这个过程就叫state transition。

state transition can be random.
randomness is from the environment. 状态转移的随机性是从环境中来的，这里的环境是游戏的程序。

可以把状态转移用p函数来表示，这是个条件概率密度函数，意思是如果观测到当前状态s和动作a ，p函数就表示s prime的概率。

2.5 agent environment interaction 环境交互

agent和environment，agent看到状态st之后，要做出一个动作at，agent做出动作at后，环境environment会更新状态、把状态变成st+1，同时environment还会给agent一个奖励rt。

2.6 强化学习中的随机性 Randomness in Reinforcement Learning

Actions have randomness. actions是根据policy函数随机抽样得到的，我们用policy函数来控制agent，给定当前状态s，agent输出的动作a是根据策略函数policy输出的概率分布来随机抽样。
state transitions have randomness. 假定agent做出了up action，环境environment就要生成下一个状态s'，这个状态s'具有随机性，environment用状态概率转移函数p算出概率，然后用概率来随机抽样得到下一个状态s'，

2.7 play the game using AI

通过强化学习学出policy function π，AI就是用policy函数来控制agent。

游戏当前状态s1，AI用policy函数来算一个概率，然后随机抽样得到动作a1，然后环境会生成下一个状态s2，并且给agent一个奖励r1，然后环境会拿新的状态s2作为输入，并用policy function来算概率，然后随机抽样得到新的动作a2，然后这样一直循环下去，直到打赢游戏或game over。

得到一个轨迹(state, action, reward)trajectory：s1,a1,r1,s2,a2,r2,...,st,at,rt。

2.8 rewards、returns

Return翻译为“回报”，也称作cumulative future reward，“未来的累积奖励”。

$U_{t} = R_{t} + R_{t+1} + R_{t+2} + R_{t+3} + ...$

把t时刻的return记作Ut，就是把从t时刻开始的reward全都加起来，一直加到游戏结束时的最后一个奖励。

Question: Are Rt and Rt+1 equally important?

Future reward is less valuable than present reward.

Rt+1 should be given less weight than Rt. --> Discounted return

2.8.1 Discounted return Ut 折扣回报

γ，折扣率 discount rate gamma(tuning hyper-parameter)，介于[0, 1]。

折扣率是个超参数，需要我们自己来调，折扣率的设置对强化学习的效果有一定的影响。

Ut用来衡量未来总收益。

2.8.2 Random in Returns

Return Ut的随机性。假如游戏已经结束了，所有的奖励已经观测到了，那么奖励是数值，用rt表示；如果在t时刻游戏还没结束，那么奖励还是随机变量，还没被观测到，用Rt表示。

随机性有两个来源：一是action a是从policy概率分布中随机抽样得到的；二是下一状态new state，状态转移函数p输出一个概率分布，environment从中随机抽样得到一个新的状态s'。

For any i ≥ t, the reward Ri depends on Si and Ai. 当前agent处在的状态s和做出的动作a，就决定了奖励Ri是什么。
回报Ut是Rt、Rt+1等等的加权求和，而Ri是由Si和Ai决定的，所以给定st，Ut跟t时刻开始所有的动作At,At+1,At+2,..和状态St+1,St+2,...都有关了。

2.9 value function 价值函数

2.9.1 Action-value function Qπ(s, a)

在t时刻，你并不知道Ut是什么。Ut是个随机变量，它依赖于未来所有的动作At,At+1,At+2,...和未来所有的状态St,St+1,St+2,...

Ut未知，那我该怎么评估当前的形势呢？

对Ut求期望，把里面的随机性都用积分积掉，得到一个实数。

把Ut当作未来所有动作Ai和所有状态Si的一个函数，未来的动作和状态都有随机性，动作Ai的概率密度函数是policy function π，状态Si的概率密度函数是状态转移函数p，期望就是针对未来Si和Ai求得，出了St和At，其余的随机变量都是积分积掉，被积掉的是At+1,At+2等动作、St+1,St+2等动作，求期望得到的动作价值函数Qπ，其只跟当前动作at、状态st有关。

函数Qπ还与policy function π有关，因为积分时会用到policy函数，π函数不一样，Qπ就会不一样。

Qπ的直观意义：如果用状态价值函数Qπ，那么在当前状态st下做动作at是好还是坏。

已知policy函数π，那么Qπ就会给当前状态下所有动作A打分，然后就知道哪个动作好、哪个动作不好。