苹果要在iPhone上运行AI大模型?

news2024/11/28 2:32:20

近两年,人工智能(AI)技术已经成为各大科技公司的重点研究领域,苹果公司自然也不甘落后。最新消息称,苹果甚至打算在iPhone上直接运行AI大模型...

据苹果AI研究人员表示,他们发明了一种创新的闪存利用技术,这是一项重要的技术突破,可以在iPhone和其他内存有限的Apple设备上部署大型语言模型(LLMs)

当前风靡全球的ChatGPT和Claude都是基于LLMs模型生成的,但这些模型都有一个缺点,就是需要耗费大量的数据和内存。这对于像iPhone这样内存有限的设备来说,想要运行LLMs大模型绝非易事。

为了攻克这一难题,苹果研究人员开发了一种新技术,通过利用闪存(存储应用程序和照片的地方)来存储人工智能模型的数据

研究人员在一篇名为“LLM in a flash: Efficient Large Language Model Inference with Limited Memory”论文中提到,闪存在移动设备中比传统上用于运行LLMs的RAM更丰富。

论文作者指出,他们的方法巧妙地绕过了限制,使用两种关键技术来最大限度地减少数据传输并最大限度地提高闪存吞吐量:

窗口化(Windowing):就像回收再利用一样,AI模型不会每次都加载新数据,而是会重复使用部分已处理的数据。这减少了频繁读取内存的需要,让整个过程更加流畅高效。

行-列捆绑(Row-Column Bundling): 这种技术类似于你读一本书时,不是逐字逐句地阅读,而是成段地阅读。通过更有效地分组数据,可以从闪存中更快地读取数据,从而加速AI理解和生成语言的能力。

根据论文显示,这两种技术结合起来使得AI模型可以运行到iPhone可用内存的两倍大小,这意味着标准处理器(CPU)上可以提高4-5倍速度,在图形处理器(GPU)上可以提高20-25倍速度。“这一突破对于在资源有限的环境中部署先进的LLMs非常重要,极大扩展了它们的可用性和可访问性”,作者写道。

人工智能(AI)技术的突破将让iPhone变得更加智能,比如更先进的Siri功能、实时语言翻译以及摄影和增强现实中复杂的人工智能驱动功能,该技术也为将iPhone上运行复杂AI助手和聊天机器人设备做准备。

早在今年2月份,苹果内部就召开了一个AI峰会,向员工介绍了其大型语言模型工作。

据彭博社报道,苹果正在开发自己的生成式人工智能模型,称为“Ajax”。Ajax旨在与OpenAI的GPT-3和GPT-4等产品相媲美,可在2000亿个参数上运行,这表明在语言理解和生成方面具有高度的复杂性和能力。

Ajax内部被称为“Apple GPT”,旨在统一整个Apple的机器学习开发,将AI技术更深入地整合到苹果生态系统中。

据分析师Jeff Pu表示,苹果将在2024年底左右在iPhone和 iPad上提供某种生成式AI功能,也就是说,这项技术可能会在iOS 18系统更新时发布。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1392818.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

云服务器CVM_云主机_云计算服务器_弹性云服务器

腾讯云服务器CVM提供安全可靠的弹性计算服务,腾讯云明星级云服务器,弹性计算实时扩展或缩减计算资源,支持包年包月、按量计费和竞价实例计费模式,CVM提供多种CPU、内存、硬盘和带宽可以灵活调整的实例规格,提供9个9的数…

用冒泡排序谈默认参数应用

前面在调用函数提到为了将信息打印到ofil中&#xff0c;前面提到的办法是 ofstream ofil("text_out1"); void bubble_sort(vector<int> vec){ } 在file scope中定义ofil&#xff0c;这是一个不受欢迎的举动。这样比较难在其他环境重用 一般的程序编写法则是&…

本周五上海见 第二届证券基金行业先进计算技术大会暨2024低时延技术创新实践论坛(上海站)即将召开

低时延技术是证券基金期货领域业务系统的核心技术&#xff0c;是打造极速交易系统领先优势的关键&#xff0c;也是证券基金行业关注的前沿技术热点。 1月19日下午&#xff0c;第二届证券基金行业先进计算技术大会暨2024低时延技术创新实践论坛&#xff08;上海站&#xff09;即…

VL171 VL170配合LDR6020的type-c母座显示器方案

兼容基于VASEL控制引脚的10 Gbps USB3.2 Gen2和AM所有4通道视频&#xff0c;包括DP1.4 8.1 Gbps VL171配合LDR6020实现的type-c桌面显示器方案电路LDR6020是一个DRP的PD芯片&#xff0c;PD芯片与主机通讯完之后&#xff0c;通过PD芯片去控制VL171实现正反插与USB信号和DP信号的…

使用Go语言处理Excel文件的完整指南

xcel文件是广泛用于存储和处理数据的常见文件格式。在Go语言中&#xff0c;有许多库和工具可用于处理Excel文件。本文将介绍如何使用Go语言处理Excel文件&#xff0c;包括读取、写入和修改Excel文件&#xff0c;以及处理单元格、行和列等操作。无论是从头开始创建Excel文件&…

日期处理第一篇--优雅好用的Java日期工具类Joda-Time

日常开发中&#xff0c;处理时间和日期是很常见的需求。基础的java内置工具类只有Date和Calendar&#xff0c;但是这些工具类的api使用并不是很方便和强大&#xff0c;于是就诞生了Joda-Time这个专门处理日期时间的库。 简介 Joda-Time提供了Java日期处理的优雅的替代品&…

Gorm 应用开发时区问题与unique唯一索引字段数据冲突问题

文章目录 一、定义表模型时区问题1.1 time.Time 与int641.2 优势 二、unique唯一索引字段数据冲突问题 一、定义表模型时区问题 1.1 time.Time 与int64 一般情况下&#xff0c;我们在定义表模型的时候&#xff0c;会使用time.Time&#xff0c;但是会根据当前时间存储。返回给…

Javascript,到底要不要写分号?

小白随机在互联网上乱丢一些赛博垃圾&#xff0c;还望拨冗批评斧正。 要不要加分号&#xff1f; 先说结论&#xff1a;“不引起程序出错的前提下&#xff0c;加不加都可以&#xff0c;按自身习惯来。” 为什么JS可以不加分号&#xff1f; 实际上&#xff0c;行尾使用分号的风…

深度学习记录--归—化输入特征

归化 归化输入(normalizing inputs),对特征值进行一定的处理&#xff0c;可以加速神经网络训练速度 步骤 零均值化 通过x值更新让均值稳定在零附近&#xff0c;即为零均值化 归化方差 适当减小变量方差 解释 归化可以让原本狭长的数据图像变得规整&#xff0c;梯度下降的…

JavaScript基础(27)_内联样式的获取和修改、获取元素当前显示的样式

内联样式的获取和修改 获取元素的内联样式&#xff1a; 语法&#xff1a;元素.style.样式名 注意&#xff1a;通过style属性设置和读取的都是内联样式&#xff0c;无法读取样式表中的样式。 修改元素的内联样式&#xff1a; 语法&#xff1a;元素.style.样式名 样式值比如…

Apache JMeter 3.1压力测试监控服务器数据(cpu、内存、磁盘io等)

Apache JMeter 3.1压力测试 Apache JMeter 3.1压力测试监控cpu、内存情况1.下载Apache JMeter 3.11.1 添加线程组1.2 添加http请求1.3 增加http请求头设置1.4 添加csv配置1.5 添加测试结果监控配置 2. 监控插件下载3. 服务端插件下载并启动3.1 下载3.2 解压并启动3.3 增加服务器…

136基于matlab的自适应滤波算法的通信系统中微弱信号检测程序

基于matlab的自适应滤波算法的通信系统中微弱信号检测程序&#xff0c;周期信号加入随机噪声&#xff0c;进行滤波&#xff0c;输出滤波信号&#xff0c;程序已调通&#xff0c;可直接运行。 136 matlab自适应滤波算法LMS (xiaohongshu.com)

提高支撑座效率的重要性

自动化机械设备在运行过程中需要消耗大量的能源和资源&#xff0c;提高效率意味着更有效地利用这些资源&#xff0c;降低运行成本&#xff0c;而支撑座作为自动化机械设备中重要的传动元件&#xff0c;提高支撑座的效率对于自动化机械设备的可持续发展和企业的竞争力具有重要意…

2024华数杯国际赛A题B题思路及代码!

大家好&#xff0c;这里是本次华数杯国际数学建模竞赛的AB题思路代码讲解贴。 关于思路&#xff0c;可以移步我的视频讲解&#xff1a; 2024华数杯国际赛数学建模选题建议及初步思路&#xff01;_哔哩哔哩_bilibili 本篇主要讲解代码。 问题A&#xff1a;日本放射性废水 对…

Springboot+vue的智能家居系统(有报告),Javaee项目,springboot vue前后端分离项目

演示视频&#xff1a; Springbootvue的智能家居系统&#xff08;有报告&#xff09;&#xff0c;Javaee项目&#xff0c;springboot vue前后端分离项目 项目介绍&#xff1a; 本文设计了一个基于Springbootvue的前后端分离的智能家居系统&#xff0c;采用M&#xff08;model&a…

二叉树的概念|满二叉树与完全二叉树|二叉树的性质|二叉树的存储结构

前言 在数据结构中树的用途其实并不大&#xff0c;用得更多的其实是二叉树。所以在本章我们将详细讲解二叉树。 一、二叉树的概念及结构 1、概念 一颗二叉树是结点的一个有限集合&#xff0c;该集合&#xff1a; 或者为空或者由一个根节点加上两颗&#xff08;互不相交&…

云计算入门——Linux 命令行入门

云计算入门——Linux 命令行入门 前些天发现了一个人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;最重要的屌图甚多&#xff0c;忍不住分享一下给大家。点击跳转到网站。 介绍 如今&#xff0c;我们许多人都熟悉计算机&#xff08;台式机和笔记本电…

VMware workstation安装SUSE Linux Enterprise Server 12 SP5虚拟机并配置网络

VMware workstation安装SUSE Linux Enterprise Server 12 SP5虚拟机并配置网络 SUSE Linux Enterprise Server是企业级Linux系统&#xff0c;适合企业应用。该文档适用于在VMware workstation平台安装SUSE Linux Enterprise Server虚拟机。 1.安装准备 1.1安装平台 Windows…

嵌入式-Stm32-江科大基于标准库的GPIO的八种模式

文章目录 一&#xff1a;GPIO输入输出原理二&#xff1a;GPIO基本结构三&#xff1a;GPIO位结构四&#xff1a;GPIO的八种模式道友&#xff1a;相信别人&#xff0c;更要一百倍地相信自己。 &#xff08;推荐先看文章&#xff1a;《 嵌入式-32单片机-GPIO推挽输出和开漏输出》…

docker安装elk(Elasticsearch+logstash+kibana)

1. 安装Docker 如果您还没有安装Docker&#xff0c;请先安装Docker。您可以按照官方文档进行安装&#xff1a;https://docs.docker.com/engine/installation/ 安装 docker-ce [rootk8s-master ~]# yum install docker-ce -y [rootk8s-master ~]# systemctl start docker &am…