一、相关介绍

当地时间 9 月 12 日，OpenAI 推出全新模型 o1，它是该公司计划推出的一系列“推理”模型中的首个，也就是此前业内传闻许久的“Strawberry（草莓）”项目。
据悉，o1 模型在众多任务中能够比人类更迅速地处理复杂查询，展现出前所未有的强大推理能力。同时，OpenAI 还发布了一个较小且更为经济实惠的版本 o1-mini。
对 OpenAI 来说，o1 的发布意味着公司在迈向实现类人人工智能这一宏大目标的道路上迈出了重要一步。从实际应用层面看，o1 在编写代码、进行推理以及解决多步骤复杂问题等方面的表现明显优于先前的模型。不过，使用 o1 的成本较高，速度也相对较慢。
OpenAI 将此次发布称为“preview（预览版）”，旨在强调该模型仍处于初期阶段。 从今日起，ChatGPT Plus 和 Team 用户能够访问 o1-preview 和 o1-mini，而 Enterprise 和 Edu 用户将于下周初获得访问权限。o1-preview 每周最多可使用 30 条消息，o1-mini 则为 50 条。据 OpenAI 消息，其计划向所有 ChatGPT 免费用户开放 o1-mini 的访问权限，但具体上线日期暂未确定。对于开发者而言，符合 API tier 5 的开发者可以通过 API 使用这些模型，每分钟请求数限制为 20 条。 值得注意的是，开发者通过应用程序编程接口（API）使用 o1 的成本相当高：o1-preview 的输入 token 价格为每百万个 15 美元，输出 token 价格为每百万个 60 美元。相比之下，GPT-4o 的输入 token 价格为每百万个 5 美元，输出 token 价格为每百万个 15 美元。
o1 模型的训练方法与前代产品有根本性差异。 OpenAI 的研究主管杰里·特沃雷克向媒体表示：“o1 采用了全新的优化算法进行训练，并使用了专门为其设计的新型训练数据集。”与之前的 GPT 模型通过模仿训练数据中的模式不同，o1 运用了强化学习技术，通过奖励和惩罚来教导系统解决问题。此外，o1 还使用思维链来处理查询，这与人类通过逐步思考来解决问题的方式类似。得益于这种新的训练方法，OpenAI 称，o1 模型的准确性得到了显著提高。

二、工作原理

这些模型在回应之前会花更多时间思考问题，像人类一样。通过训练，它们学会完善思考过程、尝试不同策略并认识到自己的错误。 o1会在回答前思考——它能在回应用户之前产生一个长串内部思维链。大规模强化学习算法在高效的训练过程中教会模型如何利用其思维链进行富有成效的思考。o1的性能随着更多的强化学习（训练时间计算）和更多的思考时间（测试时间计算）而持续提高。扩展这种方法的限制因素与LLM预训练的限制因素有很大不同，正在继续研究这些限制因素。

三、模型效果

在测试中，下一个模型在物理、化学和生物学的具有挑战性的基准任务上表现与博士生相似。还发现它在数学和编程方面表现出色。在国际数学奥林匹克（IMO）的资格考试中，GPT-4o只正确解决了13%的问题，而这个推理模型得分为83%。它们的编程能力在比赛中得到评估，在Codeforces竞赛中达到了第89百分位。您可以在我们的技术研究文章中相关信息。 o1在各种推理密集型基准测试中大幅超越GPT-4o，包括57个MMLU子类别中的54个。 在许多推理密集型基准测试中，o1的表现可以与人类专家相媲美。我们评估了数学性能，使用了AIME考试，这是为挑战美国最优秀的高中数学生而设计的。在2024年AIME考试中，GPT-4o平均只解决了12%（1.8/15）的问题。o1单次采样平均解决74%（11.1/15），64次采样共识达到83%（12.5/15），使用学习评分函数对1000个样本重新排序后达到93%（13.9/15）。13.9分的成绩使其跻身全国前500名学生之列，超过了美国数学奥林匹克的入选分数线。

四、参考资料

1、https://openai.com/index/introducing-openai-o1-pre…
2、https://openai.com/index/learning-to-reason-with-l…
3、https://openai.com/index/openai-o1-mini-advancing-…
4、https://openai.com/index/learni