贝尔曼方程（Bellman Equation）

贝尔曼方程（Bellman Equation）是动态规划和强化学习中的核心概念，用于描述最优决策问题中的价值函数的递归关系。它为状态值函数和动作值函数提供了一个重要的递推公式，帮助我们计算每个状态或状态-动作对的预期回报。

贝尔曼方程的原理

贝尔曼方程基于一个基本的思想：某个状态的价值等于在该状态下可获得的即时奖励，加上从该状态出发未来所有可能路径的折扣回报的期望值。这一思想可以应用于状态值函数和动作值函数。

状态值函数 V(s)

状态值函数 V(s) 表示在状态 𝑠下开始，按照某个策略 π 行动时的期望总回报。贝尔曼方程将状态值函数定义为：

贝尔曼方程的意思是，当前状态的价值等于当前即时奖励，加上在未来状态的折扣价值的期望。

动作值函数 Q(s,a)

动作值函数 Q(s,a) 表示在状态 s 下采取动作 a，然后按照策略 π 行动时的期望总回报。贝尔曼方程将动作值函数定义为：

其中：

• Q(s,a) 是在状态 s 执行动作 a 后的价值。
• 其他符号含义同上。
  对于最优策略 π∗ ，贝尔曼方程可以进