本文是博主对《Reinforcement Learning- An introduction》的阅读笔记，不涉及内容的翻译，主要为个人的理解和思考。

1. 多臂老虎机问题

 多臂老虎机问题是指存在K个老虎机，每个老虎机的获胜金额是一个未知的概率分布且相互独立，假设我们有N次参与机会，如何选择每次参与的老虎机才能使得累积获胜金额最大？

对于这个问题，我们首先可以知道，每次选择的老虎机应该是期望获胜金额最大的机器，即：

表示第t次选择的老虎机，Q(a)表示老虎机a的期望获胜金额，由于实际上我们只能根据历史数据进行估计，实际的形式为：

所以对于多臂老虎机问题最本质的问题在于对Q(a)的预估，这同强化学习中的价值函数V(s)及Q(s,a)是类似的。Q(a)的计算相对是简单的，其表示的期望可以由历史获胜金额的均值来表示。

上式中的R(a)表示每次选择老虎机a时的奖励，n表示总共选择a的次数，表示前一次选择老虎机a时的奖励预估。上式代表了新Q(a)是通过旧Q(a)进行更新的。

但是由于参与次数是有限的，一方面我们需对每个老虎机a进行大量的参与，才能对Q(a)进行较精确估计，另一方面为了保证整体的收益，我们需要尽可能地参与Q(a)高的老虎机。前者类似于强化学习中的explore过程，后者类似于exploit过程，如何去平衡这两者是balancing exploration and exploitation是多臂老虎机问题的重要难点，下一节我们将考虑几种方法用于解决这个问题。

关于更新权重的问题：

在很多情况下，我们会发现Q(a)的更新式子是如下形式的：

其通过α(a)代替了1/n，同时给出了如下条件下，Q(a)的更新是收敛的：

很多情况下我们会让 α(a)设为某个固定的值α，虽然当奖励分布Q是静态的时（不会随时间变化）并不能保证完全收敛，但是在实际上多数情况下奖励分布Q都是动态的，在这种情况下设为某个固定的值α往往也是可行的。

2. Balance Exploration and Exploitation的基本优化方法

A) ε-greedy

greedy（贪心算法）一般是指每次只选择当前Q最大的，即，而ε-greedy算法是指每次有一定较小的概率ε来平均选择其他项，即

ε-greedy算法提供了最基础的形式来进行探索，通过ε值选择可以确定exploration和exploitation的平衡点。

B) UCB(Upper-Confidence-Bound)

UCB算法在原来的Q预估的基础上添加了一个上界的预估，这个上界当参与次数少的时候会大，而当参与足够多时，上界会收缩，这种方式保证了对未知的探索

上式中的t表示当前总共参与的次数，表示当前a的总共参与次数，c表示上界预估项的权重，通过c值选择可以确定exploration和exploitation的平衡点。

UCB这种方式包含了对Q预估的不确定性的定量估计，但当Q分布是动态变化时（即分布会随时间发生变化），会失去了探索动力，另一方面，当前动作空间特别大时，的计算也很困难。

C) 合理初始值Optimistic Initial Values

这种方式是给Q预估的初始值设置为一个较大值（一般情况下要远大于估计的均值），这种方式能保证在刚开始的情况下，各个机器都有均衡的概率被选择到，这种方式实现上比较简单好用，当各机器的奖励分布是静态时，其可以达到同ε-greedy算法类似的收益，甚至要好。但当机器的奖励分布是动态变化时（nonstationary problems），这种方式经过了长期迭代后，会失去了探索动力，UCB也有类似的问题。

D) 梯度方法Gradient algorithms

梯度方法根据动作的preference函数H(a)来选择参与的机器，其选择方式是通过一个概率决策函数π来确定的

所有机器在t时刻的选择概率之和为1，即

其中preference函数H(a)的计算式子为下式，其中表示t时刻的收益，表示累积到t时刻的平均收益。

这种更新方式为什么被称之为梯度方法呢？实际上preference函数H(a)是为了最大化总体收益即E[R]，因此我们考虑H(a)的更新方向是使得E[R]的最大的梯度方向，即：

这里的E[R]表示是当前收益的期望，q(b)表示机器b的期望收益。

接下来，我们计算梯度：

上式中的X表示一个同所选a不相关的变量，由于下式。

为什么要选择引入这个变量X？首先我们考虑机器b的期望收益q(b)实际上是很难预估的，所以我们实际用R即时收益来代替（称之为随机梯度法），如果设置X=0，仍是会收敛的，但是由于R本身带有一定的随机性，为了避免更新步伐太大，所以一般设置，表示过去平均的总体收益。

E) 贝叶斯方法Bayesian methods

贝叶斯方法的逻辑是假设Q(a)是某种先验分布（如高斯分布，beta分布等），然后随着参与，不断更新Q(a)参数估计。在动作选择时，采用的是类似于后验采样（称之为posterior sampling or Thompson sampling）来选择动作。其原理是每一轮根据不同动作的Q(a)分布采样生成各自Q，然后再选择Q最高的a作为本轮的动作，这种方式兼顾exploration和exploitation。