分为两大类方法：
基于值函数的方法（Temporal Difference Methods, TD Methods）
策略梯度方法（Policy Gradient Methods）。
二者不同之处：
通过值函数来间接表达隐式的策略，一个是直接迭代优化策略。
策略梯度方法就是通过迭代策略Π,不断提升追求最大化价值 Q(s,a)
基于值函数求解贝尔曼方程有三种方法：DP（动态规划），MC（蒙特卡洛），TD（时序差分）
DP方法
MC方法：不需要已知环境动态，直接从经验中学习求期望。一回合更新一次，目的收集真实的回报。
TD方法：每一步都可以更新
TD细分：SARSA、Qlearning、广义上DDPG也属于
蒙特卡洛方法目的是：求价值函数V(s)或状态动作价值函数Q（s,a)
说白就是 通过多的测试 收集某状态S下计算的汇报Gt
当动态特性位未知
