目录
持续更新。。。
on-policy与off-policy的定义
Q-learning属于on-policy算法还是off-policy算法?
为什么off-policy适用于从离线经验或多种探索策略中学习,明明 On-policy 也可以基于探索学习的啊?
重要性权重方法
off-policy方法可以通过重要性权重来调整不同策略的数据分布差异,而on-policy为什么不能使用呢?
PPO算法属于on-policy算法吗?
持续更新。。。
on-policy与off-policy的定义
强化学习中有两个策略:行动策略(生成样本的策略)和目标策略(被优化的策略)
on-policy 和 off-policy 的核心区别在于:
-
On-policy:使用当前策略(即正在优化的策略)生成的数据来更新策略。
-
Off-policy:允许使用其他策略(如历史策略或探索性策略)生成的数据来更新目标策略,两个策略是分离的。
Q-learning属于on-policy算法还是off-policy算法?
目标策略:
在更新时选择的是下一个状态s'的最优动作(即贪婪策略)
行为策略:
实际与环境交互(收集数据)时可能采用探索性策略,不同与目标策略。
因为行为策略和目标策略解耦,Q-learning 可以从历史经验(如随机探索的轨迹)中学习,因此属于 off-policy。
而对比SARSA算法:
目标策略与行为策略一致:
SARSA 的下一步动作 a′由当前策略直接选择(即当前策略采样得到的数据(s,a,r,s',a')),更新完全依赖当前策略的轨迹,因此是 on-policy。
Q-learning 的 off-policy 特性使其更灵活,适用于从离线经验或多种探索策略中学习。
为什么off-policy适用于从离线经验或多种探索策略中学习,明明 On-policy 也可以基于探索学习的啊?
On-policy方法在探索时也会生成数据,为什么不能像off-policy那样重复使用?
On-policy样本效率低:
On-policy方法每次策略更新后,旧数据就不再符合当前策略的分布,因此需要重新采样,导致样本效率低。而off-policy可以重复利用旧数据(如 Experience Replay),通过重要性采样(Importance Sampling)或值函数估计,可以修正不同策略之间的分布差异。适合离线学习。
Off-policy探索性更强:
Off-policy允许使用不同策略生成的数据,比如更探索性的策略和历史策略混合的数据,从而更全面地覆盖状态空间。如果从人类专家示范(与当前策略无关)中学习,只有 Off-policy 方法能直接利用这些数据。而on-policy只能依赖当前策略的数据,可能导致探索不足。
探索与优化的解耦:
Off-policy探索策略可以独立设计(如完全随机、Boltzmann 探索),而目标策略保持贪婪优化。允许更自由的探索策略(例如高风险高回报的探索),而无需影响最终策略的优化目标。
离线学习的可行性:
On-policy无法直接从固定数据集(如历史日志)中学习,必须与环境交互生成新数据。
Off-policy可直接利用离线数据集(如 Batch RL),无需在线交互,适合现实场景中的安全关键任务。
重要性权重方法
重要性权重 是统计学中重要性采样(Importance Sampling)的核心概念,用于在从某个分布(行为策略 πb)采样的数据中,估计另一个分布(目标策略 πt)的期望值。具体来说:
通过将样本的奖励或价值乘以该权重,可以纠正行为策略与目标策略之间的概率差异。
应用场景:
-
Off-policy 评估:用行为策略的数据评估目标策略的性能。
-
Off-policy 优化:使用旧策略的数据更新新策略(如 Experience Replay)。
Off-policy利用重要性权重来调整数据分布,使来自行为策略的样本在更新目标策略时具有正确的统计权重,避免因分布偏移导致的偏差。
off-policy方法可以通过重要性权重来调整不同策略的数据分布差异,而on-policy为什么不能使用呢?
On-policy 方法要求 行为策略与目标策略完全一致(即所有数据均由当前策略生成)。因此数据分布一致,重要性权重为1。如果强行在 On-policy 方法中引入重要性权重(例如复用旧数据),权重可能因策略差异过大导致方差爆炸,影响训练稳定性。
PPO算法属于on-policy算法吗?
答案是确定的,PPO算法属于on-policy,但是为什么还用到了重要性采样呢?