AICore 带来了 Android 专属的 AI 能力,它要解决什么?采用什么架构思路?

news2024/11/18 21:50:19

在这里插入图片描述

前言

Google 最近发布的 Gemini 模型在全球引起了巨大反响,其在多模态领域的 Video demo 无比震撼。对于 Android 开发者而言,其中最振奋人心的消息莫过于 Gemini Nano 模型将内置到 Android 系统当中,并开放给开发者使用。

事实上,能够自研 LLM 大模型的企业屈指可数,大多数的企业或个人都是在搞基于 LLM 的应用创新。而各大模型们各自为政,提供的能力、对接方式都参差不齐,即便在应用这个维度,开发者也很难整体、高效地去开发、拓展。

要是能够将 AI 相关接口统一、能力整合封装、甚至结合端侧硬件去内置默认的 AI 模型,这将是非常高效、安全的创举!

Google 坐拥全球顶尖的 AI 技术,同时掌控着市占率最高、各领域全面开花的 Android 平台,自然非常有理由、也有实力去做这样的事情。目前已知的是 Google 将在 Android 平台提供 AICore 服务,当前还在宣传阶段、尚未完整公布 API 细节。

笔者将基于披露出来的所有信息,跟大家分享 AICore 的目的和架构思路。

AICore 解决了什么?

早在 Android 14 Beta3 发布的时候,一位开发者 Mishaal Rahman 便在 Pixel 的 /product/priv-app 目录下发现了一个名为 “Google AI Services” 的系统 App。
在这里插入图片描述

  • 具体的包名为 "com.google.android.aicore"
  • 目前只是一个 stub 版本
    在这里插入图片描述

按照 Google 的描述:AICore 是运行在 Android 平台上,可以让开发者便捷访问端侧内置的 AI 模型(on-device model)的系统服务。通过 AICore 可以对类似 Gemini Nano 这种端侧模型实现模型管理、运行时调用、安全检查、多模态等能力,并保留相应的 API 给开发者进行灵活的运用。当然这需要端侧模型本身针对移动芯片等设备做专门的优化。

AI 能力

那么具体来说,AICore 可以做哪些场景的支持呢?

包括但不限如下等强大功能:

  • 高质量文本摘要、问题回答、问题扩展

  • 上下文智能回复

  • 高级校对和语法纠正

应用场景

以 Gemini Nano 在 Pixel 8 Pro 设备上为例:

  1. 即使在手机网络断开的情况下,也能简明扼要地概括录音机应用中的内容,提供端侧摘要能力。
    在这里插入图片描述

  2. 利用 Gemini Nano 的支持,开发者可以通过 AICore 实现在 GboardWhatsApp 等更多的聊天 App 中实现智能回复,给出高质量的回复建议,节省用户的时间。

在这里插入图片描述

原理架构

在这里插入图片描述

这是 Google 公布的 AICore 的 high-level architecture:

  • 对 App 来说,像其他 SDK 一样,暴露 API 和 OS 中的 AICore 能力对接
  • 对内部来说,整体上效仿了 Private Compute Core 的设计方式,通过开源 API 与网络隔离,兼具透明度和可审计性

细看内部:

  1. AICore 首先加载 LoRA 低等级适配程序,以支持开发人员根据自己的训练数据对大模型进行微调
  2. 经过上个步骤可以产生所需的 LLM,比如微调 Google 内置的 Gemini Nano
  3. 同时还构建了专门的 Safety features 层,确保数据的安全

此外,AICore 支持部署在很多的机器学习芯片上,比如最新的 Google Tensor TPU、旗舰产品 Qualcomm Technologies、Samsung S.LSI 和 MediaTek 芯片中的 NPU 等更多的芯片设备。

如何使用?

目前来说,AICore 只支持 Pixel 8 Pro 设备,API 也仍在开发当中,需要的话可以在如下链接申请内测资格:

  • sign up for our Early Access Program
    在这里插入图片描述

我已经申请了内测资格,通过之后深入分析下 API 和整体链路,届时再分享给大家。

结语

每当出现新的技术,Google 总会整合这些能力,建立统一标准,集成到 Android 框架当中,供开发者便捷地封装,App 灵活地调用。从语音兴起时候的语音识别 SpeechRecognizer、语音播报 Text-to-speech 到智能助理活跃时候的语音交互 VoiceInteraction,再到增强现实、虚拟化盛行时候的 ARCore

这次的 AICore 也是一样,将 AI 能力规范化、接口/协议统一化,方便开发者进行 LLM 的选择、调整以及应用创新。再借助数以亿计的 Android 设备的呈现,必将加速 AI 技术的发展和普及。

事实上,AICore 内置到 AOSP 当中的话,那么 Android Automotive OS 也将受益。所有从 Android、Automotive 延伸出来的车载机系统,只要芯片硬件上兼容,未来都可以利用 AICore 技术进行很多车载场景的拓展,包括但不限于:

  • 记录用户的口音和表达方式进行训练,以增强本地的语音识别和语意理解,分析对话习惯、并结合多模态定制专属的对话形式和内容,提供个性化的话术内容和情感播报
  • 学习车主习惯,进行车机主题、驾驶模式、导航路线、车控组合等方面的智能推荐
  • 结合车机整体,进行全方位的数据收集,本地进行驾驶、乘坐的回忆统计,给车主更加贴心的总结、建议

大家总说 Android 已趋于成熟、缺乏新意,那么本次的 AICore 绝对是新颖、有趣的话题,赶紧支棱起来。

参考

  • AICore Home page
  • A New Foundation for AI on Android
  • Introducing Gemini: our largest and most capable AI model
  • Android 14’s mysterious AICore system app makes its debut on the Play Store

文章推荐

  • 如何打造车载语音交互:Google Voice Interaction 给你答案
  • Android 标准语音识别框架:SpeechRecognizer 的封装、调用和原理
  • 直面原理:5 张图彻底了解 Android TextToSpeech 机制

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1302745.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

三哥的黑科技,印度发布无线加热服装专利,冬季神器要来了

众所周知风和自由在冬天是不存在的,冬天只剩下冰冷的像刀子一样的风刮在你的脸上,哪怕穿的很厚,戴上全盔,也无法阻挡冰冷的风带走你身体温度,如果穿的特别多,骑车时候的舒适感和穿脱衣物的繁琐也是一大头疼…

用23种设计模式打造一个cocos creator的游戏框架----(十三)模板方法模式

1、模式标准 模式名称:模板方法模式 模式分类:行为型 模式意图:定义一个操作中的算法骨架,而将一些步骤延迟到子类中。Template Method 使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。 结构图&#xff1a…

LIS检验系统,涵盖实验室全部管理流程,适合各种实验机构的业务流程

LIS检验系统源码,云LIS医学检验系统源码 LIS检验系统涵盖实验室的全部管理流程,包括从检验申请、标本采集、实验检测、报告发布的、质控管理、科室事务、试剂管理等完整流程的功能,实现智能化、自动化、规范化管理,遵循医学实验室…

人工智能的技术演进与未来趋势

人工智能的技术演进与未来趋势 一、引言 人工智能(AI)已经成为当今科技领域的热门话题,其在各个行业的应用越来越广泛。从智能语音助手到自动驾驶汽车,从智能家居系统到医疗诊断,AI技术已经深入到我们的日常生活。在…

排序算法:【插入排序】

一、插入排序:时间复杂度、原地排序 原理:可以想象成打扑克牌时候,发到手里的牌,我们一张一张拿起来插到手里牌的适当位置。 将待排序列表的第一个元素看作是一个有序序列(或叫有序区),然后从第…

坚守数字化创新烽火之地 百望云入选新华社“品牌信用建设典型案例”

潮起海之南,风好正扬帆。2023年12月2日-5日,南海之滨,由新华通讯社、海南省人民政府、中国品牌建设促进会主办的主题为“聚焦新质生产力,增强发展新动能”的2023中国企业家博鳌论坛在海南博鳌隆重举行。 群贤毕至,高朋…

推荐3dmax常用15款插件,快来了解一下吧!

推荐3dmax常用15款插件,快来了解一下吧! 插件是3ds MAX软件的重要组成部分,提供了太多便利,也提升了建模、渲染和动画的效率,下面就给大家推荐25款常用的3dMax插件。 1)DashedShape DashedShape实线转虚线…

树莓派上电发送IP地址到邮箱

创建python脚本文件 auto_send_email.py #!/usr/bin/python3import subprocess import smtplib from email.mime.text import MIMEText import datetime import time import osdef check_ping():hostname "www.baidu.com"response os.system("ping -c 1 &quo…

Redis对象——内存回收,对象共享和空转时长

一. 内存回收 因为C语言不具备内存回收功能,所以Redis在自己的对象系统中构建了一个引用计数技术实现内存回收机制。通过这一机制,程序可以通过跟踪对象的引用计数信息,在适当的时候自动释放对象并进行内存回收。 内每一个对象的引用计数信息…

2024美赛备战2--模型建立(*****必看****)

建模 美赛涉及的建模知识范围非常广且深,纵观美赛真题不难发现,很多的模型 都是读研或者读博的时候才会真正深入开始研究,因此,对于做建模的同学来说, 是无法在赛前吃透大量模型的。推荐本科生分两个步骤去有效准备比赛…

2022年拉丁美洲中东和非洲医疗机器人市场及全球概况报告

今天分享的是机器人系列深度研究报告:《2022年拉丁美洲中东和非洲医疗机器人市场及全球概况报告》。 (报告出品方:Apollo Reports) 报告共计:195页 研究方法论 2.1通过桌面研究和内部存储库的假设 a)最初&#xff…

Python爬取酷我音乐

🎈 博主:一只程序猿子 🎈 博客主页:一只程序猿子 博客主页 🎈 个人介绍:爱好(bushi)编程! 🎈 创作不易:喜欢的话麻烦您点个👍和⭐! 🎈…

Docker入门指南:从基础到实践

在当今软件开发领域,Docker已经成为一种不可或缺的工具。通过将应用程序及其依赖项打包成轻量级的容器,Docker实现了开发、测试和部署的高度一致性。本文将深入研究Docker的基本概念,并通过详细的示例代码演示如何应用这些概念于实际场景中。…

【Qt开发流程】之UI风格、预览及QPalette使用

概述 一个优秀的应用程序不仅要有实用的功能,还要有一个漂亮美腻的外观,这样才能使应用程序更加友善、操作性良好,更加符合人体工程学。作为一个跨平台的UI开发框架,Qt提供了强大而且灵活的界面外观设计机制,能够帮助…

moviepy基本参数用法大全

阅读本文档的前置说明: 本文档用于讲解Python的moviepy库的自带函数的用法,主要目的是讲一下每个函数的每个参数的含义,无需一开始就全部掌握,粗略看一下就行,可以在后面自己开发过程,遇到不会用的函数再回…

[Linux基础知识]页表

文章目录 1.页表 环境变量2.进程 1.页表 环境变量 一个分页存储管理系统中,地址长度为 32 位,其中页号占 8 位,则页表长度是 页号即页表项的序号,总共占8个二进制位,意味着页表项的个数就是2^8 在CPU和物理内存之间进行…

Axure官方软件安装、汉化保姆级教程(带官方资源下载)

1.下载汉化包 百度云链接:https://pan.baidu.com/s/1lluobjjBZvitASMt8e0A_w?pwdjqxn 提取码: jqxn 2.解压压缩包 3.安装Axure 进行安装 点击next 打勾,然后next, 默认是c盘,修改成自己的文件夹(不要什么都放c盘里…

STM32MP157D-DK1开发板固件烧录

本篇介绍STM32MP157D-DK1开发板如何烧录官方固件。 1 开发板基础硬件介绍 1.1 常用接口 板子上的各种接口功如下,本篇固件烧录,主要用的接口包括: CN6:供电接口B2:复位按键CN11:ST-LINK USB&#xff08…

STM32F407-14.1.0-01高级定时器简介

TIM1 和 TIM8 简介 高级控制定时器(TIM1 和 TIM8)包含一个 16 位自动重载计数器,该计数器由可编程预分频器驱动。 此类定时器可用于各种用途,包括测量输入信号的脉冲宽度(输入捕获),或者生成输出…

WooCommerce商城个人微信支付网关 适合个人微信收款

点击获取WooCommerce商城个人微信支付网关 适合个人微信收款原文https://gplwp.eastfu.com/product/woocommerce-ge-ren-wei-xin-zhi-fu-wang-guan-shi-he-ge-ren/ 个人微信支付网关接口,无需提现,100%资金安全,官方清算,金额无限…