o1 performance smoothly improves with both train-time and test-time compute
o1性能随着训练时间和测试时间计算而平滑地提高

为了突出GPT-4 o的推理改进，我们在一组不同的人类考试和ML基准上测试了我们的模型。我们发现，o 1显着优于GPT-4 o的绝大多数这些推理繁重的任务。除非另有说明，否则我们在最大测试时间计算设置上评估o 1。

o1 greatly improves over GPT-4o on challenging reasoning benchmarks. Solid bars show pass@1 accuracy and the shaded region shows the performance of majority vote (consensus) with 64 samples.
o 1在具有挑战性的推理基准测试中大大优于GPT-4 o。实心条显示通过@1的准确性，阴影区域显示64个样本的多数投票（一致性）的性能。

o1 improves over GPT-4o on a wide range of benchmarks, including 54/57 MMLU subcategories. Seven are shown for illustration.
o 1在广泛的基准测试中优于GPT-4 o，包括54/57 MMLU子类别。为了说明起见，示出了七个。

在许多推理繁重的基准测试中，o 1的表现与人类专家不相上下。最近的前沿模型1在MATH 2和GSM 8 K上做得很好，这些基准不再有效区分模型。我们在AIME上评估了数学成绩，这是一项旨在挑战美国最聪明的高中数学学生的考试。在2024年的AIME考试中，GPT-4 o平均只解决了12%（1.8/15）的问题。o 1平均为74%（11.1/15），每个问题一个样本，83%（12.5/15），64个样本之间的共识，93%（13.9/15）时，重新排序1000个样本与学习的评分功能。13.9分的成绩使其跻身全国前500名学生之列，并超过了美国数学奥林匹克竞赛的截止线。

我们还对o 1进行了GPQA钻石测试，这是一个很难的智力基准，测试化学，物理和生物方面的专业知识。为了将模型与人类进行比较，我们招募了具有博士学位的专家来回答GPQA钻石问题。我们发现，o 1的表现超过了那些人类专家，成为第一个在这个基准测试中做到这一点的模型。这些结果并不意味着o 1在所有方面都比博士更有能力-只是该模型在解决博士应该解决的一些问题方面更精通。在其他几个机器学习基准测试中，o 1比最先进的机器学习模型有了改进。由于启用了视觉感知功能，o 1在MMMU上的得分为78.2%，使其成为第一个与人类专家竞争的模型。它在57个MMLU子类别中的54个上也优于GPT-4 o。

Chain of Thought 思维链

就像人类在回答一个困难的问题之前可能会思考很长时间一样，o 1在试图解决一个问题时也会使用一系列的思维。通过强化学习，o 1学会了磨练自己的思维链，完善自己使用的策略。它学会了认识和纠正自己的错误。它学会了把复杂的步骤分解成简单的步骤。当当前的方法不起作用时，它学会了尝试另一种方法。这个过程极大地提高了模型的推理能力。为了说明这一飞跃，我们展示了从o 1-preview到下面几个难题的思路链。