从Apple Intelligence到IoT Intelligence,端侧生成式AI时代加速到来

news2024/11/13 5:36:59

9月10日凌晨1点,苹果新品发布会如期举行,全新iPhone16系列成为苹果生态中真正意义上的第一款原生AI手机,在第二代3nm工艺A18和A18 Pro芯片的加持下,iPhone16系列能够容纳并快速运行以Apple Intelligence为中心的生成式AI功能在手机端侧运行。用库克的话说:“新一代iPhone彻彻底底为Apple Intelligence打造”。

新闻内页2.png

本次发布会的主要亮点除苹果新增的相机控制按钮外,主要集中在苹果对AI生态的全面构建方面。在理解苹果发布会的新功能之前,先带大家回顾一下苹果在生成式AI方面的主要成果。具体来说,苹果开发了两种全新基础语言模型,构成了苹果Apple Intelligence的核心:一个是可以在苹果云服务器中运行的较大参数的大语言模型(LLM),称为AFM-server,专为密集型任务设计,并使用私人云计算(Private Cloud Compute)的系统来保护用户数据;另一个是端侧小语言模型(SLM)AFM-on-device,大约有30亿参数,通过对大语言模型进行剪枝、蒸馏,并通过精选的高质量数据训练和架构调整而来,优化后可以在iPhone和其他终端设备上运行,具备更高效率和响应能力。

新闻内页1.png

▌苹果为何可以称为重新定义了AI手机?

苹果的AI战略通过整合操作系统、软件、模型和数据,强化了对应用场景的理解,训练出了能够深刻洞察用户需求并帮助用户决策的AI Agent。

简单来讲,相较于各类传统的生成式AI应用工具,苹果将AI功能融合到用户使用手机的每一个环节,通过手机端侧运行的小语言模型能力让智能手机真正成为日常生活、办公、娱乐的私人管家,它会收集整理手机端本地的各类信息,在用户使用或有需要时主动提供建议或直接帮助实现。并且因为其端侧模型在本地运行的特性,可以充分保护用户的隐私信息安全、提升信息反馈效率。可以说每一个搭载了AI功能的苹果手机都是一个独立的个体。

▌为何大厂们最终选择了端侧AI赛道?

在大语言模型产品的实际应用中,从业者们逐渐意识到大模型存在产品训练成本高、算力需求高、资源消耗大等难点,以及应用适配性差、网络传输不稳定等缺点。在此背景下,AI模型的发展正在着力摆脱网络、参数的多方限制,努力向更简单、更小体量,为应用场景量身定制和跨应用生态的智能化转变。在端侧AI的实际应用方面,2023年3月谷歌推出参数规模达5620亿的PaLM-E的大模型,并在同年10月发布搭载Google AI基础功能的Pixel 8系列手机。2023年11月,vivo发布1750亿规模的自研蓝心大模型,落地终端侧70亿参数大语言模型;2024年9月6日,荣耀CEO赵明在2024德国柏林消费电子展IFA上面向全球推出行业首个跨应用开放生态AI Agent。

新闻内页3.png

不难看出,端侧小模型将成为未来智能手机乃至各类智能终端的语言模型应用样本。IDC(国际数据公司)预计2024年全球新一代 AI 手机的出货量将超过1.7亿部,约占智能手机整体出货量的15%,Counterpoint预计2027年出货量达到5.22亿部,渗透率达到40%。

从大厂们的选择不难看出,随着端侧算力的提升,端侧AI成为大模型终端落地的最优解,模型语言与应用生态融合发展的AI Agent成为未来的趋势。随着软硬件技术的高速发展,相信除智能手机外,各类IoT终端产品也将逐步落地端侧AI,相关硬件算力和通信交互需求也将持续增长。

▌美格智能持续加码高算力AI模组研发,与行业伙伴共建端侧AI新生态

洞察到端侧AI的优势和广阔前景,美格智能围绕高算力、大带宽、低功耗、广链接,打造多款高算力AI模组产品,为端侧小语言模型落地提供12Tops~48Tops算力支持。

在模组强大算力的支持下,不仅能够在模组上成功运行Stable Diffusion、LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna等大模型产品,展现出卓越的边缘端大模型部署能力,同时模组产品丰富的外围接口,能够以AI模组的形式将语音识别、机器视觉、导航、定位、避障和多模态技术通过各种传感器植入到终端侧,帮助终端产品快速收集和整合信息,打造不断学习进步的智能“大脑”,助力客户快速实现端侧AI落地应用,节约开发成本。

新闻内页4.png

同时,面对端侧AI与物联网生态融合发展的新趋势,美格智能以智能车载为切入打造端云协作的智能物联网解决方案。以美格智能在2023年即已发布的车规级5G R16/R17 + C-V2X系列模组为例,该模组具备的5G通信能力和高算力成为端侧+云端结合的混合式AI的落地形式之一,可广泛应用于AI Agent智能座舱、高阶辅助驾驶、无人驾驶、车路云一体化相关领域。

在通信方面,相关模组产品符合3GPP Release 16/17标准,支持5G NR 独立组网(SA)和非独立组网(NSA),兼容全球主流国家和地区的频段,支持选配C-V2X功能,使用全球统一的ITS 5.9GHz频段部署V2X应用,可采用PC5 Mode4模式直连通信,内置ECDSA硬件引擎,可实现高达6000次/秒的C-V2X验签性能,具备在高速移动环境中提供远距离传输、大带宽、低延时连接的优越性能;在算力方面,模组内置多核心CPU处理器,最大支持22K的算力,在充足算力的支持下,车辆可基于C-V2X构建网联智能,实现由端侧车载计算、路侧边缘计算和中心云计算构成的分级、网络化智能决策与控制,快速进行如车辆碰撞预警、车速引导、红绿灯信息获取等应用。

新闻内页5.png

端侧AI是大模型技术落地的最优解,而端侧AI与云侧大模型协同的混合式AI被行业从业者称为“大模型时代的终极范式”,充分适配智能座舱、智能机器人、手持终端、AR/VR眼镜等产品,成为人工智能落地应用的新方向。同时混合式AI生态的发展又对终端的无线通信能力和算力提出了新的要求,集成了4G/5G 通信能力和高算力芯片以及众多功能接口的智能模组和高算力AI模组,或将成为智能终端厂商们的首选。

从苹果的选择来看,随着端侧算力的不断增长和大模型技术的持续演进,终端侧AI与混合式AI或许将成为大模型时代的最终选择。美格智能也将持续不断推出高算力模组和智能模组解决方案,以模组+解决方案双轮驱动,支持更广泛的垂直领域和合作伙伴共同引领生态发展,以先进的无线通信和AI技术加快实现万物智联的美好愿景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2130972.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

铭顺元宇宙时代到来,数字人应用案例分享

近年来,随着技术的不断发展,数字人的功能和表现力也在不断提升,形形色色的虚拟数字人正代替真人,扮演着代言人、主播、客服和智能助理的角色,涉及文旅、电商、金融等多个行业。作为随着AI技术在数字人产业中的发展&…

远程桌面内网穿透是什么?有什么作用?

远程桌面内网穿透指的是通过特定技术手段,将处于内网中的电脑或服务器,通过外部网络(互联网)进行访问。内网穿透的主要作用是解决在内网环境下,远程设备与外部互联网之间的连接问题,允许用户从外部访问内网…

硬核,这款小而美的国产操作系统开源了!(带私活源码)

今天给大家介绍的是硬核的国产物联网操作系统 RT-Thread,内容很硬核,可以让大家捡起一些大学期间学到的知识,也能让自己对于操作系统有更多的理解。 项目介绍 RT-Thread 诞生于 2006 年,是一款以开源的物联网操作系统。主要采用…

07 vue3之组件及生命周期

组件基础 每一个.vue 文件呢都可以充当组件来使用 每一个组件都可以复用 组件的生命周期 简单来说就是一个组件从创建 到 销毁的 过程 成为生命周期 在我们使用Vue3 组合式API 是没有 beforeCreate 和 created 这两个生命周期的 onBeforeMount() 在组件DOM实际渲染安装之前…

一个未解决的漏洞:actuator字符绕过漏洞

最近遇到了安全部门派发的actuator泄漏漏洞,领导希望不暴露到外网上,对于内网需要认证才可以访问。 要想不暴露到外网上,就需要在网络层面做拦截,比如nginx和apisix上做代理配置。 一般的情况都可以应对,就是对于http…

CentOS镜像源更新

如果 CentOS 7.9 的官方镜像源已不维护,你可以使用以下方法更新: 切换到其他镜像源:使用 CentOS 镜像站点或第三方镜像源,如 EPEL(Extra Packages for Enterprise Linux)。修改 /etc/yum.repos.d/CentOS-Ba…

Web大学生网页作业成品——动漫火影忍者网页设计与实现(HTML+CSS+JS)(5个页面)

🎉🎉🎉 常见网页设计作业题材有**汽车、环保、明星、文化、国家、抗疫、景点、人物、体育、植物、公益、图书、节日、游戏、商城、旅游、家乡、学校、电影、动漫、非遗、动物、个人、企业、美食、婚纱、其他**等网页设计题目, 可满足大学生网…

终于有一本书把大模型背后的Transformer模型究竟是什么一次性说清楚了!

前言 ChatGPT红得发紫,强得让人类心悸。但在它的背后,还隐藏着一位真正的大佬。它的名字叫做——Transformer! 这本书全面介绍了最新的Transformer模型在自然语言处理中的应用方法和技巧,包括原理、实现方法和各种任务的应用,提供…

WebSocket和HTTP协议有什么区别

WebSocket 支持端对端通信可由client发起,也可由sever发起用于消息通知、直播间讨论区、聊天室、协同编辑 WebSocket连接过程 先发起一个HTTP请求成功之后在升级到WebSocket协议,再通讯 WebSocket和HTTP区别 WebSocket协议名是ws://,可双…

C语言存储类型 auto,register,static,extern

目录 1. auto 存储类型 1.1 自动变量特性 1.2 举例 2. register 存储类型 2.1 寄存器变量特性 2.2 举例 3. extern 存储类型 3.1 extern 存储类型特性 3.2 举例 3.2.1 extern全局变量 ​编辑 3.2.2 extern函数 4. static 存储类型 4.1 static 存储类型特性 4.2 举…

克雷格·费德里吉谈Apple Intelligence保密技术背后的挑战

苹果必须实现克雷格-费德里吉所说的突破,这样 Apple Intelligence公司才能在云中使用大型语言模型,同时还能保护用户隐私,苹果是这样做的。在"It’s Glowtime"活动中,苹果公司谈到了私有云计算作为保护用户隐私的方式。…

Java发邮件:如何配置SMTP服务器实现发信?

Java发邮件功能实现的教程?Java发邮件的方式有哪些? 无论是用于用户注册确认、密码重置,还是系统通知,Java发邮件都是不可或缺的一部分。AokSend将详细介绍如何配置SMTP服务器,以便在Java发邮件时能够顺利发送邮件。 …

【Kubernetes】linux centos安装部署Kubernetes集群

【Kubernetes】centos安装Kubernetes集群 1、环境准备 系统centos7 配置yum源参考文章 Centos系统换yum源 步骤1-3是所有主机都要配置,主机名和hosts配置完后可以使用工具命令同步 1.1 主机 一主二从 主机名ipk8smaster192.168.59.148k8snode1192.168.59.149…

App结合3D形象的技术实现选择

在为App添加3D人物交互效果时,可以采用多种技术,具体选择取决于你的目标平台(iOS、Android、跨平台)以及项目的复杂性和需求。 以下是几种常用技术及其特点: 游戏引擎技术 游戏引擎提供了强大的3D图形渲染和交互功能&…

05 输出三角形面积和周长

题目&#xff1a; 代码&#xff1a; #include<iostream> using namespace std;#include<stdio.h> #include<stdlib.h>#include<math.h>int main() {int a,b,c;cin>>a>>b>>c;if(ab>c&&ac>b&&bc>a){;}else{…

打包yolov8目标检测模型为exe的教程(pyinstaller 打包pyQt5 界面为exe)

要将YOLOv8模型的应用程序打包成EXE可执行文件&#xff0c;您可以遵循以下步骤&#xff0c;这里使用的是PyInstaller作为打包工具。请注意&#xff0c;这个过程可能会因为您的环境和依赖关系的不同而有所变化。以下是一个基本的指南&#xff1a; 步骤 1: 安装必要的库 确保您…

RabbitMQ 07 另两种集群方式 warren(主备模式),shovel(远程模式)

01.之前的集群有一个缺点&#xff0c;就是故障恢复的时候&#xff0c;停留在队列中的消息怎么办&#xff1f; 02.镜像集群模式&#xff0c;同步所有消息&#xff0c;当当前主节点不可用的时候&#xff0c;可以选举一个从节点来作为主节点。这样可以避免因为主节点不可用的情况…

JVM面试真题总结(八)

文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ 文章收录在网站&#xff1a;http://hardyfish.top/ G1收集器如何划分堆内存? G1收集器将整个堆划分成约 2048 个大小…

查看TCP/UDP网络连接通信情况

绪论​ “宿命论是那些缺乏意志力的弱者的借口。 ——罗曼&#xff0e;罗兰” 话不多说安全带系好&#xff0c;发车啦&#xff08;建议电脑观看&#xff09;。 主要使用&#xff1a; nestat -nltp n 拒绝显示别名&#xff0c;能显示数字的全部转化成数字l 仅列出有在 Listen (…

开放式蓝牙耳机推荐性价比高的有哪些?权威推荐全网热销前五名

​到了2024年&#xff0c;开放式耳机无疑成为了耳机市场的宠儿。它们的优势在于&#xff0c;不仅佩戴舒适&#xff0c;还能在保护听力的同时&#xff0c;让你保持对周围环境的警觉&#xff0c;这对于爱好户外探险的朋友来说&#xff0c;无疑是一个巨大的安全加分项。作为一名资…