与人类价值观保持一致，并遵循人类的意图。
找到一个无限可扩展的解决方案可能非常困难。相反，我们的目标是一种更务实的方法：建立和调整一个系统，该系统可以比人类更快、更好地调整研究进展。
使通用人工智能（AGI）符合人类的价值观并遵循人类意图。我们采用迭代和实证的方法，通过尝试对齐高能力的AI系统，了解有效的方法和存在的问题，从而提升AI系统的安全性和对齐度。通过科学实验，我们研究对齐技术的扩展性及其局限性。
使用人类反馈训练 AI 系统
模型经过训练以遵循人类的意图：既有指令给出的显性意图，也有隐性意图，如真实性、公平性和安全性。
训练人工智能系统以协助人类评估
我们训练了一个模型来总结书籍。如果人类不熟悉这本书，评估书籍摘要需要很长时间，但我们的模型可以通过编写章节摘要来帮助人类评估。
我们训练了一个模型，通过浏览网页和提供报价和链接来帮助人类评估事实的准确性。在简单的问题上，这个模型的输出已经比人类写的答案更受欢迎。
我们训练了一个模型，在自己的输出上写下批判性评论：在基于查询的总结任务中，批判性评论的帮助使人类在模型输出中发现的缺陷平均增加了 50%。即使我们要求人类写出看似合理但不正确的摘要，这也成立。
我们正在创建一组编码任务，这些任务被选择为很难为无辅助的人类进行可靠的评估。我们希望尽快发布这组数据。
训练 AI
系统进行对齐研究
找到一个无限可扩展的解决方案可能非常困难。相反，我们的目标是一种更务实的方法：建立和调整一个系统，该系统可以比人类更快、更好地调整研究进展。
人工智能系统可以接管越来越多的对齐工作，并最终构思、实施、研究和开发比现在更好的对齐技术。他们将与人类合作，以确保他们自己的继任者与人类更加一致。
评估对齐研究比进行对齐研究要容易得多，尤其是在提供评估帮助的情况下。因此，人类研究人员将越来越多地将精力集中在审查人工智能系统完成的对齐研究上，而不是自己进行这项研究。我们的目标是训练模型对齐，以便我们可以卸载对齐研究所需的几乎所有认知劳动。
这些系统在相关领域具有人类水平的能力，就可以像人类一样进行对齐研究。我们预计这些人工智能系统比通用系统或比人类聪明得多的系统更容易对齐。
语言模型特别适合自动化对齐研究，因为它们“预装”了大量来自阅读互联网的人类价值观的知识和信息。开箱即用，他们不是独立的代理人，因此不会在世界上追求自己的目标。要进行对齐研究，他们不需要不受限制地访问互联网。然而，许多对齐研究任务可以表述为自然语言或编码任务。
局限性
随着对AI技术发展的了解不断适应和改进。存在一些关键局限性：
- 研究空白：我们需要更多关注稳健性和可解释性研究，这些是我们目前投资不足的领域。
- AI评估风险：使用AI进行评估可能会放大系统中存在的微小不一致性、偏见或漏洞。
- 不同的挑战：对齐AGI可能涉及与当前AI系统不同的问题。AI发展的重大转变可能使当前的对齐经验不再适用。
- 复杂的对齐问题：最难的对齐问题可能不仅仅是创建可扩展的训练信号。即使这些训练信号是必要的，但它们可能不足以解决所有对齐问题。
- 研究援助的局限性：即使是帮助对齐研究的低能力模型，如果未正确对齐，也可能已经过于危险，从而限制了它们在加速对齐研究中的作用。
https://openai.com/index/our-approach-to-alignment-research/
