ICML 2023
paper
code
preference based offline RL，基于HIM，不依靠额外学习奖励函数
Intro
本研究聚焦于离线偏好引导的强化学习（Offline Preference-based Reinforcement Learning, PbRL），这是传统强化学习（RL）的一个变体，它不需要在线交互或指定奖励函数。在这个框架下，代理（agent）被提供了固定的离线轨迹数据和人类对轨迹对的偏好，用以提取动态信息和任务信息。
由于动态信息和任务信息是正交的，简单的方法可能涉及先基于偏好学习奖励函数，然后使用现成的离线RL算法。然而，这需要单独学习一个标量奖励函数，然而该过程被认为存在信息瓶颈。
为了解决这个问题，作者提出了一种新的范式——离线偏好引导策略优化（Offline Preference-guided Policy Optimization, OPPO），它通过对离线轨迹和偏好直接建模，消除了单独学习奖励函数的需要。OPPO通过引入一个离线后见信息匹配目标（HIM）来优化上下文策略，以及一个偏好建模目标来找到最优上下文。OPPO进一步通过迭代优化这两个目标来整合一个表现良好的决策策略。实证结果表明，OPPO有效地模拟了离线偏好，并且在包括真实或伪奖励函数指定的离线RL算法在内的先前竞争基线上取得了更好的性能。
Method
HIM-driven Policy Optimization
min
π
,
I
θ
L
H
I
M
:
=
E
τ
∼
D
(
τ
)
[
ℓ
(
I
θ
(
τ
)
,
I
θ
(
τ
z
)
)
+
ℓ
(
τ
,
τ
z
)
]
\min\limits_{\pi,I_\theta}\mathcal{L}_{\mathbf{HIM}}:=\underset{\tau\sim\mathcal{D}(\tau)}{\operatorname*{\mathbb{E}}}\left[\ell\left(I_\theta(\tau),I_\theta(\tau_\mathbf{z})\right)+\ell\left(\tau,\tau_\mathbf{z}\right)\right]
π,IθminLHIM:=τ∼D(τ)E[ℓ(Iθ(τ),Iθ(τz))+ℓ(τ,τz)]
其中
l
\mathcal{l}
l为损失函数。
Preference Modeling
min
z
∗
,
I
θ
L
P
M
:
=
E
[
max
(
ℓ
(
z
∗
,
z
+
)
−
ℓ
(
z
∗
,
z
−
)
+
m
,
0
)
]
\min_{\mathbf{z}^*,I_\theta}\mathcal{L}_{\mathbf{PM}}:=\mathbb{E}\Big[\max(\ell(\mathbf{z}^*,\mathbf{z}^+)-\ell(\mathbf{z}^*,\mathbf{z}^-)+m,0)\Big]
z∗,IθminLPM:=E[max(ℓ(z∗,z+)−ℓ(z∗,z−)+m,0)]
通过优化上式得到最佳embedding，使得条件策略产生的轨迹经过embedding后接近
z
+
z^+
z+
Training Objectives & Implementation Detai
L t o t a l : = L H I M + α L P M + β L n o r m \mathcal{L}_{\mathrm{total}}:=\mathcal{L}_{\mathrm{HIM}}+\alpha\mathcal{L}_{\mathrm{PM}}+\beta\mathcal{L}_{\mathrm{norm}} Ltotal:=LHIM+αLPM+βLnorm
采用BERT结构作为encoder ： I θ : τ → z I_{\theta}:\tau\to\mathbf{z} Iθ:τ→z；采用GPT作为上下文条件策略 π ( a ∣ s , z ) \pi(a|s,z) π(a∣s,z), 通过自回归建模预测未来的动作
伪代码
results
