之前推出AI store感觉偏应用，也千篇一律，是AI的一个方向：广度。
现在推出o1 更严密的逻辑，也是AI的一个方向：深度。花更多时间，推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。确保AI的使用是负责任和可控的。
o1 模型系列通过大规模强化学习进行训练，以使用思维链进行推理。
OpenAI 详细介绍了o1模型系列的开发和安全评估情况。
1. 引言
- OpenAI o1模型系列通过大规模强化学习进行训练，具备高级推理能力，可以在回答问题之前进行深思熟虑。这些能力提高了模型的安全性和鲁棒性，使其在应对潜在不安全提示时能够更好地遵守安全政策。
2. 模型数据和训练
- o1大语言模型家族通过强化学习执行复杂推理任务，能够在回答用户问题前生成长串思考过程。o1-preview是该模型的早期版本，而o1-mini则是更快的版本，特别擅长编码。
- 两个模型都预训练在多样化的数据集上，包括公开可用数据、通过合作伙伴获取的专有数据以及内部开发的自定义数据集。
3. 观察到的安全挑战和评估
- 除了提升语言模型的能力外，o1系列的推理能力还为改善模型安全性提供了新的机会。o1模型是目前最鲁棒的模型之一，在最难的监狱破解评估中取得了显著改进。
- 安全评估包括有害内容生成、监狱破解、幻觉和偏见评估等方面。此外，还研究了链式思维本身的风险，并描述了持续的链式思维检测监控研究。
4. 外部红队评估
- OpenAI与多个组织和个人合作，对o1模型系列的风险进行了评估。红队专家通过开放发现潜在的风险，并确定模型可能的新风险领域。
- 监狱破解方面，人类测试者生成了一系列监狱破解案例，显示o1-preview和o1-mini在抵抗这些技术方面表现出色。然而，自动化监狱破解方法也显示出一定的脆弱性。
5. 准备就绪框架评估
- 根据准备就绪框架，对o1-preview和o1-mini进行了全面评估。评估涵盖网络安全、化学生物放射核威胁（CBRN）、说服力和模型自主性四个风险类别。只有评分为“中等”或更低的模型才能被部署，并且只有评分为“高”或更低的模型才能进一步开发。
- 结果显示，o1-preview和o1-mini在说服力和CBRN方面被评为中等风险，而在网络安全和模型自主性方面评为低风险。
6. 多语言性能
- o1-preview和o1-mini在多语言表现上也优于GPT-4o和GPT-4o-mini。翻译测试显示，o1-preview在多种语言中的表现显著优于GPT-4o，而o1-mini则优于GPT-4o-mini。
7. 结论
- OpenAI o1-preview和o1-mini展示了出色的链式思维推理能力，并在安全基准测试中表现出色。尽管这些增强功能带来了显著的性能提升，但也增加了某些类型的风险。通过内部评估和外部红队评估，识别出预缓解模型在说服力和CBRN方面的中等风险。总体而言，o1-preview和o1-mini被评为准备就绪框架中的中等风险，并已经纳入相应的安全措施和缓解措施。
