Google发布了Gemini模型家族的更新，包括新的1.5 Flash模型，该模型旨在提高速度和效率，以及Project Astra，这是对未来AI助手愿景的展示。1.5 Flash是专为大规模高频任务优化的轻量级模型，具有突破性的长上下文窗口。同时，1.5 Pro模型也得到了显著改进，包括更长的上下文窗口、增强的代码生成和逻辑推理能力。此外，Gemini Nano现在能够理解多模态输入，而Gemma 2则是下一代开放模型，旨在促进负责任的AI创新。Project Astra展示了通用AI代理的未来，这些代理能够理解和响应复杂世界，并具有更自然的互动能力。
我们很高兴地介绍双子座模型家族的一系列更新，包括新的1.5 Flash——我们的轻量级模型，旨在提高速度和效率，以及Project Astra——我们对未来AI助手愿景的展示。
去年12月，我们推出了首个原生多模态模型双子座1.0，包括Ultra、Pro和Nano三种尺寸。仅仅几个月后，我们发布了1.5 Pro，它具有增强的性能和突破性的长上下文窗口，可容纳100万个令牌。
开发者和企业客户已经开始以令人惊叹的方式使用1.5 Pro，发现它的长上下文窗口、多模态推理能力和总体表现非常有用。
我们从用户反馈中得知，某些应用需要更低的延迟和更低的服务成本。这激励我们继续创新，因此今天，我们推出了双子座1.5 Flash：一个比1.5 Pro更轻量级的模型，旨在快速且高效地大规模服务。
1.5 Pro和1.5 Flash都可通过Google AI Studio和Vertex AI的公开预览版获得，拥有100万个令牌的上下文窗口。现在，1.5 Pro还可通过等待名单向使用API的开发者和Google Cloud客户提供，拥有200万个令牌的上下文窗口。
我们还介绍了双子座模型家族的更新，宣布了我们的下一代开放模型Gemma 2，并分享了未来AI助手的发展，通过Project Astra。
与双子座1.5的200万令牌能力相比，领先的基础模型的上下文长度
双子座模型家族的更新
新的1.5 Flash，专为速度和效率优化
1.5 Flash是双子座模型家族的新成员，也是通过API提供的最快的双子座模型。它专为大规模的高容量、高频率任务而优化，服务成本更高效，并具有我们突破性的长上下文窗口。
虽然它比1.5 Pro轻量级，但它在处理大量信息的多模态推理方面表现出色，并为它的尺寸提供了令人印象深刻的质量。
新的双子座1.5 Flash模型专为速度和效率优化，在多模态推理方面表现出色，并具有我们突破性的长上下文窗口。
1.5 Flash在摘要、聊天应用、图像和视频字幕、从长文档和表格中提取数据等方面表现出色。这是因为通过一种称为“蒸馏”的过程，由1.5 Pro训练而来，将更大模型的最关键知识和技能转移到更小、更高效的模型中。
在我们的更新后的双子座1.5技术报告、双子座技术页面以及了解1.5 Flash的可用性和定价中关于1.5 Flash的信息。
显著改进1.5 Pro
在过去的几个月里，我们显著改进了1.5 Pro，这是我们在广泛任务上表现最佳的模型。
除了将其上下文窗口扩展到200万个令牌之外，我们还通过数据和算法进步改进了它的代码生成、逻辑推理和规划、多轮对话，以及音频和图像理解。我们在每个任务的公共和内部基准上都看到了强大的改进。
1.5 Pro现在可以遵循越来越复杂和细微的指令，包括那些指定产品级行为涉及角色、格式和风格的指令。我们改进了对模型响应的控制，以适应特定用例，如打造聊天代理的个性和响应风格，或通过多个函数调用自动化工作流程。并且我们允许用户通过设置系统指令来引导模型行为。
我们在Gemini API和Google AI Studio中添加了音频理解，因此1.5 Pro现在可以对在Google AI Studio上传的视频进行图像和音频推理。我们正在将1.5 Pro集成到Google产品中，包括Gemini Advanced和Workspace应用。
在我们的更新后的双子座1.5技术报告和双子座技术页面上关于1.5 Pro的信息。
Gemini Nano理解多模态输入
Gemini Nano正在从仅文本输入扩展到包括图像。从Pixel开始，使用Gemini Nano与多模态的应用将能够像人们一样理解世界——不仅仅是通过文本，还通过视觉、声音和口语。
在Android上关于Gemini 1.0 Nano的信息。
下一代开放模型
今天，我们还分享了一系列对Gemma的更新，这是我们基于创建双子座模型相同的研究和技术构建的开放模型家族。
我们宣布Gemma 2，我们下一代开放模型，用于负责任的AI创新。Gemma 2拥有新的架构，专为突破性的性能和效率而设计，并将以新的尺寸提供。
Gemma家族还通过PaliGemma扩展，这是我们受到PaLI-3启发的首个视觉语言模型。并且我们已经升级了我们的负责任生成式AI工具包，加入了LLM Comparator用于评估模型响应的质量。
在开发者博客上信息。
开发通用AI代理的进展
作为Google DeepMind使命的一部分，我们一直希望负责任地开发能够造福人类的通用AI代理。这就是为什么今天，我们分享了构建未来AI助手愿景的进展，通过Project Astra（高级视觉和对话响应代理）。
要真正有用，代理需要像人们一样理解和响应复杂和动态的世界，并吸收和记住它看到和听到的内容，以理解上下文并采取行动。它还需要是主动的、可教的和个性化的，以便用户可以自然地与它交谈，没有延迟或延迟。
虽然我们在开发能够理解多模态信息的AI系统方面取得了令人难以置信的进展，但将响应时间降低到对话级别是一个困难的工程挑战。在过去几年中，我们一直在努力改进我们的模型如何感知、推理和对话，以使互动节奏和质量感觉更自然。
Project Astra的两部分演示，我们对未来AI助手的愿景。每部分都是在单次拍摄中实时捕获的。
在双子座的基础上，我们已经开发了原型代理，它们可以通过连续编码视频帧、将视频和语音输入结合成事件时间线，并缓存这些信息以供高效回忆，来更快地处理信息。
通过利用我们领先的语音模型，我们还增强了它们的声音，赋予代理更广泛的语调范围。这些代理可以更好地理解它们被使用的上下文，并快速、流畅地回应。
有了这样的技术，很容易想象一个未来，人们可以拥有一个专家级的AI助手，通过手机或眼镜随时待命。其中一些功能将在今年晚些时候来到Google产品，如Gemini应用和网页体验。
持续探索
到目前为止，我们的双子座模型家族已经取得了令人难以置信的进展，我们总是力求进一步推进最前沿的艺术。通过投资于不懈的创新生产线，我们能够探索前沿的新想法，同时也解锁了双子座新颖和令人兴奋的用例的可能性。
了解更多关于双子座及其功能的信息。
- 原文
- 博客 - 从零开始学AI
- 公众号 - 从零开始学AI
