新知同享 | AI 开发广泛应用，高效构建

news2024/11/22 10:11:41

谷歌致力于通过高效、可靠的方法

构建 AI 驱动的产品

如今已经走过了七年 "AI 为先" 的旅程

一起来看 2023 Google 开发者大会上

AI 开发如何被广泛应用，简化开发

并将机器学习的强大能力

引入到应用和工作流中

提高开发者工作效率

精彩大会现场一览

过去 3 年，Web 机器学习技术的使用和开发都呈指数级增长，许多热门 Google 产品都已采用 Web 技术。谷歌的许多团队都在为 Web 机器学习的未来积极贡献力量。例如，Chrome 团队正致力于制定新的 Web 标准，使 TensorFlow.js 和 MediaPipe 等团队能够在这些堆栈的基础上构建各种产品和服务，并实现更出色的性能。

MediaPipe 是一个开源的跨平台框架，用于在移动设备、桌面设备和 Web 上构建机器学习解决方案。MediaPipe 提供可自定义的设备端解决方案，只需几行代码，即可将解决方案集成到 Web 应用中。此外，MediaPipe 也发布了新模型，例如人脸融合变形分类。开发者可以使用此模型来创建虚拟头像，使其实时匹配用户的面部表情。

MediaPipe Studio 是一款基于 Web 的应用程序，用于评估和自定义应用程序的设备上 ML 模型和管道。MediaPipe Studio 可让开发者使用自己的数据和自定义的 ML 模型在浏览器中快速测试 MediaPipe 解决方案，以及支持试验结果总数、报告结果的最小置信度阈值等模型设置。

MediaPipe Studio 可以提供手势识别等完全在浏览器中运行的解决方案

TensorFlow.js 是谷歌新发布的模型可视化调试程序，帮助开发者比较模型在不同 TensorFlow.js 后端上执行时的输出，找出运算输出从何时开始出现差异，以及差异有多大，以便发现在不同后端环境和设备上使用模型时可能出现的 bug。

TensorFlow.js 模型可视化调试程序

谷歌对 WebGL 后端进行了重大优化，Web 机器学习模型的运行速度将比以往更快。单项运算级别中常见运算的性能最高能够免费提升到原来的 5.8 倍，热门模型性能优化最高可至原来的 1.59 倍。

左右滑动查看

谷歌在 Chrome 稳定版中添加了对 WebGPU 的支持，为 Web 注入了十亿个 GPU 的强悍性能，使编解码器、游戏和机器学习等计算密集型应用能够在浏览器中运行，并且能够实现前所未有的细节丰富度和帧率。

语言模型旨在预测和生成合理的语言。发展至今，现代大语言模型规模庞大，可以预测句子、段落甚至整个文档的概率。典型自然语言可以处理实体提取、分类、生成摘要、情感分析、翻译等任务。谷歌新推出的大语言模型 (LLM) 工具 PaLM API 和 MakerSuite 可以帮助开发者快速开发原型。

大语言模型 (LLM)

MakerSuite 可以帮助开发者直接在浏览器中快速创建提示并为其进行原型设计，无需机器学习专业知识或代码。借助 MakerSuite，开发者将能够迭代提示、使用合成数据增强数据集，并轻松调整自定义模型。

MakerSuite

PaLM API 使开发者可以轻松、安全地试验谷歌的大型语言模型，即通过 PaLM API 直接访问谷歌的先进大型语言模型，构建生成式 AI 应用。它将为开发人员提供针对多回合用例优化的模型（例如内容生成和聊天）以及针对摘要、分类等用例优化的通用模型。PaLM API 可以提供文本服务、聊天服务、嵌入服务。

开发者现在可以使用 Firebase 扩展访问 PaLM API，即在带有 PaLM API 扩展程序的全新聊天机器人中添加用于连续对话、文本摘要等功能的聊天界面。

通过实例，一起来了解如何通过 AI 和机器学习构建应用。

用 Flutter & AI 构建 I/O Flip

I/O Flip 是一个使用 Flutter 和 AI 构建的虚拟纸牌游戏，它展示了多项 Google 技术的融合。具体来说，开发者用 Muse 上的 DreamBooth 生成角色图像，用 PaLM API 生成描述，用 Flutter 创建游戏 UI 和动画，用 Dart 编写后端，并使用一套 Firebase 和 Google Cloud 工具进行托管和共享。通过 2023 Google 开发者大会现场的互动展示区，参会者实际体验了这款纸牌游戏，在流畅的游戏体验中深切感受到使用 Flutter 和 AI 构建游戏的妙不可言。