性价比最高的小模型
北京时间7月19日凌晨,美国OpenAI公司推出一款新的 AI 模型“GPT-4o mini”,即GPT-4o的更小参数量、简化版本。OpenAI表示,GPT-4o mini是目前功能最强大、性价比最高的小参数模型,性能逼近原版GPT-4,成本相比GPT-3.5 Turbo便宜60%以上,支持50种不同语言,替代GPT-3.5版本的ChatGPT。
GPT-4o mini 以其低成本和低延迟实现了广泛的任务,例如链式或并行化多个模型的调用(例如,调用多个 API)、将大量上下文传递给模型(例如,完整的代码库或对话历史记录)的应用程序,或通过快速、实时的文本响应与客户互动(例如,客户支持聊天机器人)。
目前,GPT-4o mini 在 API 中支持文本和视觉,未来还将支持文本、图像、视频和音频的输入和输出。该模型具有 128K 个 token 的上下文窗口,每个请求最多支持 16K 个输出 token,并且拥有截至 2023 年 10 月的知识。得益于与 GPT-4o 共享的改进的 tokenizer,处理非英语文本现在更具成本效益。
本文翻译自官网文章:https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/
具有卓越文本智能和多模态推理能力的小模型
GPT-4o mini 在文本智能和多模态推理方面的学术基准测试中超越了 GPT-3.5 Turbo 和其他小型模型,并且支持的语言范围与 GPT-4o 相同。它还在函数调用方面表现出色,这可以使开发人员构建获取数据或使用外部系统采取行动的应用程序,并且与 GPT-3.5 Turbo 相比,它的长上下文性能有所提高。
GPT-4o mini 已经在几个关键基准上进行了评估。
推理任务: GPT-4o mini 在涉及文本和视觉的推理任务上优于其他小型模型,在文本智能和推理基准 MMLU 上的得分为 82.0%,而 Gemini Flash 为 77.9%,Claude Haiku 为 73.8%。
数学和编码能力: GPT-4o mini 在数学推理和编码任务中表现出色,优于市场上之前的小型模型。在测量数学推理的 MGSM 上,GPT-4o mini 得分为 87.0%,而 Gemini Flash 得分为 75.5%,Claude Haiku 得分为 71.7%。在测量编码性能的 HumanEval 上,GPT-4o mini 得分为 87.2%,而 Gemini Flash 得分为 71.5%,Claude Haiku 得分为 75.9%。
多模态推理: GPT-4o mini 在多模态推理评估 MMMU 上也表现出色,得分为 59.4%,而 Gemini Flash 为 56.1%,Claude Haiku 为 50.2%。
内置安全措施
安全性从一开始就融入到我们的模型中,并在开发过程的每一步中得到强化。在预训练中,我们会过滤掉我们不希望模型学习或输出的信息,例如仇恨言论、成人内容、主要汇总个人信息的网站和垃圾邮件。在训练后,我们使用强化学习和人工反馈 (RLHF)等技术将模型的行为与我们的策略保持一致,以提高模型响应的准确性和可靠性。
GPT-4o mini 内置了与GPT-4o相同的安全缓解措施,我们根据我们的准备框架并按照我们的自愿承诺,使用自动和人工评估对其进行了仔细评估。超过 70 位来自社会心理学和错误信息等领域的外部专家对 GPT-4o 进行了测试,以识别潜在风险,我们已经解决了这些风险,并计划在即将发布的 GPT-4o 系统卡和准备记分卡中分享详细信息。这些专家评估的见解有助于提高 GPT-4o 和 GPT-4o mini 的安全性。
基于这些经验,我们的团队还致力于利用我们研究得出的新技术来提高 GPT-4o mini 的安全性。API 中的 GPT-4o mini 是第一个应用我们的指令层次结构的模型(在新窗口中打开)方法,有助于提高模型抵抗越狱、即时注入和系统即时提取的能力。这使得模型的响应更加可靠,并有助于使其在大规模应用中更安全地使用。
我们将继续监控 GPT-4o mini 的使用情况,并在发现新的风险时提高模型的安全性。
可用性和价格
GPT-4o mini 现已作为文本和视觉模型在 Assistants API、Chat Completions API 和 Batch API 中提供。开发人员每 100 万个输入token支付 15 美分,每 100 万个输出token支付 60 美分(大约相当于标准书籍的 2500 页)。我们计划在未来几天推出 GPT-4o mini 的微调。
在 ChatGPT 中,免费版、Plus 版和团队版用户从今天开始将能够使用 GPT-4o mini,以替代 GPT-3.5。企业用户也将从下周开始使用,这符合我们让所有人都能享受 AI 好处的使命。
下一步是什么
过去几年,我们见证了人工智能的显著进步和成本的大幅降低。例如,自 2022 年推出功能较弱的模型 text-davinci-003 以来,GPT-4o mini 的每代币成本已下降 99%。我们致力于继续沿着这条降低成本、同时增强模型能力的轨迹前进。
我们设想的未来是模型可以无缝集成到每个应用程序和每个网站上。GPT-4o mini 为开发人员铺平了道路,使他们能够更高效、更经济地构建和扩展强大的 AI 应用程序。AI 的未来将变得更加易于访问、可靠,并嵌入到我们的日常数字体验中,我们很高兴能够继续引领潮流。