又放大招！2024 OpenAI 开发者日总结：实时 API、提示词缓存、模型蒸馏与视觉微调等多项技术革新

news2024/11/24 11:48:09

在全球开发者翘首以盼中，OpenAI 于 2024 年 10 月 1 日在旧金山举办了年度开发者日活动。与往年不同，今年的活动并未发布全新的模型，取而代之的是多项面向开发者的 API 能力提升和工具更新。本文将深入剖析 OpenAI 在开发者日中亮相的几项重要技术创新及其背后潜藏的意义和未来应用趋势。

一、实时 API：语音交互的颠覆性工具

1.1 实时 API 的核心功能

今年 OpenAI 最受瞩目的发布之一是 Realtime 实时 API。这项功能允许开发者通过调用 GPT-4o 实时预览模型，构建快速、自然的语音到语音对话体验，支持六种预设语音，主打低延迟、高交互的语音体验。开发者可以通过一个 API 调用，完成从语音识别到语音生成的整个流程，极大简化了开发语音助手的工作流程。

过去开发语音助手需要多个模型来配合工作，比如使用 Whisper 完成语音识别，然后传递给语言模型进行推理，最后通过文本转语音模型生成语音。这一流程不仅冗长且易导致延迟和信息丢失。而实时 API 则通过流式音频输入和输出，提升了对话自然性，并且支持 WebSocket 连接和函数调用，适合如客户支持、语言学习等需要高交互性的场景。

1.2 实时 API 的应用场景与集成

实时 API 的潜在应用场景广泛，包括客户支持、虚拟助手、语言学习、智能设备等。值得一提的是，OpenAI 还与 LiveKit、Agora 和 Twilio 等合作伙伴合作，提供音频组件库，使开发者能够轻松集成回声消除、声音隔离等功能，从而构建更加健全的语音解决方案。当前，实时 API 的公开测试版已向所有付费开发者开放。

在未来，OpenAI 计划为实时 API 增加对 视觉模态 的支持，进一步提升开发者构建复杂多模态应用的能力。

二、提示词缓存：降低成本与延迟的新思路

OpenAI 在开发者日上推出了另一项非常实用的功能——提示词缓存。这项功能的主要目的是帮助开发者降低 API 调用的成本和延迟，特别是针对那些频繁使用相同上下文的应用场景。

2.1 提示词缓存的工作原理

提示词缓存能够自动保存最近处理过的输入 token 并在后续调用中重复使用。当上下文长度超过 1024 个 token 时，API 会以 128 个 token 为单位增量缓存，缓存数据最长保留 1 小时。这样，开发者不必再为相同的上下文重复支付高昂的 API 调用费用，大幅减少了重复调用的开支。

2.2 对开发者的影响

从 2024 年 10 月 2 日起，提示词缓存已经应用于所有的 GPT-4o、GPT-4o mini 及其他最新版本的模型。这意味着开发者可以立即享受到这一功能带来的成本优势，尤其是那些需要多次调用相同上下文的场景，例如 AI 客户支持、自动化流程管理等。

三、模型蒸馏：更经济的模型定制方案

OpenAI 在此次开发者日还发布了 模型蒸馏 功能，旨在帮助开发者通过 GPT-4o 或其他高级模型的输出，微调更小、更具成本效益的模型，如 GPT-4o mini。

3.1 模型蒸馏的三大核心工具

存储器（Stored Completions）：自动捕获并存储由 GPT-4o 等模型生成的输入输出对，快速生成用于蒸馏的数据集。
评估工具（Evals）：开发者可以通过此工具创建自定义评估，衡量模型在特定任务上的性能。
微调集成（Fin-tuning）：将存储器、评估工具与现有微调工具整合，形成一体化的模型蒸馏工作流。

3.2 实际应用与优势

通过模型蒸馏，开发者可以在特定任务上训练小模型，从而既能接近大型模型的性能，又将运行成本大幅降低。例如，一家医疗技术公司可以使用蒸馏功能在标准笔记本上运行小型诊断模型，应用于资源受限的地区。

这种技术的应用前景广阔，尤其是在那些需要高效能但成本敏感的领域，如智能设备、边缘计算以及医疗技术等。

四、视觉微调：扩展模型的图像处理能力

在文本微调功能成功后，OpenAI 在开发者日上推出了 视觉微调 功能。通过这项功能，开发者可以使用图像数据集对 GPT-4o 模型进行微调，进一步增强模型的图像处理能力。

4.1 视觉微调的应用场景

视觉微调主要应用于需要图像处理的领域，如 视觉搜索、自动驾驶、医学影像分析 和 智慧城市管理 等。开发者只需上传少量格式化图像（如 100 张），便能显著提高模型在特定视觉任务上的表现。

4.2 成功案例

东南亚的拼车公司 Grab 和机器人公司 Automat 都已成功通过视觉微调提升了各自的技术能力。例如，Grab 利用该技术改进地图服务，车道计数准确率提升了 20%，限速标志定位准确率提升了 13%。Automat 则使用截图数据训练模型识别 UI 元素，将机器人任务成功率提升至 61.67%。