Reinforcement Learning from Human Feedback (RLHF)
技术分解
字面上说，RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解：
- 预训练一个语言模型 (LM) ；
- 聚合问答数据并训练一个奖励模型 (Reward Model，RM) ；
- 用强化学习 (RL) 方式微调 LM。
微调预训练模型
花钱招人给问题（prompt）写回答（demonstration），然后finetune一个GPT3。这一步大家都懂，就不用说了。这一步可以多训几个版本，第二步会用到。
训练奖励模型
用多个模型（可以是初始模型、finetune模型和人工等等）给出问题的多个回答，然后人工给这些问答对按一些标准（可读性、无害、正确性）进行排序，训练一个奖励模型/偏好模型来打分（reward model&#x
