科技云报道:AIGC掀算力需求革命,边缘计算将不再“边缘”

news2025/1/16 2:06:05

科技云报道原创。

随着以大模型为代表的AIGC时代拉开序幕,算力需求持续爆发,AI与边缘深度融合已是大势所趋,越来越多的企业开始积极布局GenAI。

GenAI技术的商用化部署和应用成为企业竞逐的新阵地,勾勒出大模型从“技术力”转向“生产力”的新生态。

算力就是生产力,更丰富的算力资源成为人工智能竞争的核心基石。

IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元,其中GenAI计算市场规模将从2022年的8.2亿美元增长到2026年的109.9亿美元。

GenAI计算占整体AI计算市场的比例将从4.2%增长到31.7%。
在这里插入图片描述

AI算力瓶颈下边缘计算崛起

随着AI大模型爆发,大模型迭代和训练所需的算力呈指数级增长。同时,单个AI超算规模也受到功耗、土地、散热等因素制约,算力供给与需求的缺口持续放大。

此前,ChatGPT官网一度停止Plus付费项目的购买,GPT-4推出之后也已多次下调付费用户访问限制,原因是访问量激增超出了服务器的承受能力。

随着这场GenAI热潮逐步扩张,算力短缺已成为行业面临的共同挑战。

如果说传统算力是AI大模型的筋骨,那么边缘算力就是遍布全身的神经系统。

英伟达指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘设备的销售。

在AI向实际场景落地的过程中,边缘算力的重要性将加速凸显。未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化,边缘算力有望成为AI算力的重要组成部分。

相较于传统云端,边缘计算作为一种分布式计算架构,具有低延迟、高安全性、高可靠性、保护用户隐私等优势,其在实时决策在自动驾驶、医疗保健、金融、制造等各个领域都至关重要。

从效率方面看,边缘计算使GenAI模型能够在边缘处理数据,从而显着减少延迟并实现更快洞察。这意味着可以实时做出关键决策,从而提高运营效率、增强客户体验和更好的整体业务成果。

其次,通过利用边缘计算,企业可以在边缘设备网络上分配计算负载,从而优化资源利用率并有效扩展。这种方法最大限度地减少了集中式云基础设施的压力并优化了带宽使用,从而节省了成本并提高了性能。

第三,通过边缘计算,GenAI模型可以直接在边缘设备或本地服务器上运行,最大限度地减少将敏感数据传输到集中式云服务器的需要。

通过使数据更接近其来源,公司可以显着降低与数据泄露、未经授权的访问和合规性问题相关的风险。

从关系上看,边缘计算并不寻求取代云计算,相反是对其重要的补充。边缘计算和云之间的协作可实现混合架构,最大限度地发挥两种范式的优势。

GenAI模型可以利用云的可扩展性和存储功能,同时受益于边缘设备的低延迟和本地处理能力。这种融合确保了GenAI采用的多功能且适应性强的基础设施。

边缘计算重构生产力边界

随着企业开始越来越多地拥抱AI,边缘计算和AI的融合拥有改变全球行业的巨大潜力。通过利用本地化处理、实时洞察和优化的资源利用,可以充分释放AI的全部潜力,同时保护敏感数据并推动组织进入AI时代。

对此,全球科技巨头开始将目光越来越多地转向这一领域。

比如,华为、高通均推出边缘AI产品。去年3月,高通中国在安卓手机上首次演示了模型参数超过10亿的Stable Diffusion;华为于去年7月发布智慧搜图功能,该功能通过对模型进行小型化处理。

华为与高通一定程度上验证了高性能边缘AI的可行性,并且表明通过模型压缩+联网智能的方式有望在边缘端实现AI大模型的体验。

此外,英伟达黄仁勋也表示,人工智能的下一个浪潮将是具身智能。具身智能能够在物理世界中进行操作和感知,输出各种机械动作。

具身智能将边缘算力需求提升到了一个新高度,具身智能的“大脑”不仅要处理视觉信息、生成提示词,更要负责输出指令来执行机械动作。在移动芯片无法满足所需算力的场景下,边缘IDC将是算力的有效补充措施。

AIPC、AI手机、具身智能、自动驾驶等AI新应用的兴起,无疑为边缘云市场带来了巨大影响,这种影响既体现在市场规模的扩张,也反映在技术要求的提升方面。

AIPC、AI手机作为AI普惠的终端,其本质在于云端与本地端的混合协作,通过利用云端的大数据处理能力来丰富本地设备的使用场景。

这种混合协作模式对云计算的性能和稳定性提出了更高的要求,同时也为云计算带来了更多的数据处理和存储需求。

边缘云作为离用户最近的数据处理中心,能够迅速响应这些需求,提供低延迟、高带宽的数据处理服务。

具身智能和自动驾驶的发展,更是推动了边缘云市场的快速增长。智能机器人需要在真实的物理环境下执行各种任务,这就需要边缘云提供强大的实时计算能力和数据交互能力。

不仅如此,边缘AI应用场景仍在持续丰富。边缘云服务提供商Zenlayer技术专家表示,对于实时性要求极高的应用,如自动驾驶和智能制造,边缘计算能够提供毫秒级的低延迟响应。

通过在车辆或生产线上部署边缘计算节点,客户可以实时处理传感器数据,进行决策和控制,从而确保安全和高效的生产运行。

其次,对于需要处理大量数据的应用,如智能视频监控和智慧城市,边缘计算能够减轻中心云的压力,实现数据的本地化处理。

通过在摄像头或传感器附近部署边缘计算设备,可以对视频流进行实时分析,识别异常事件,并及时进行响应。

此外,边缘计算还能够解决大模型在数据传输和隐私保护方面的问题。通过将模型推理过程放在边缘端进行,可以减少数据传输量,降低网络带宽要求,同时保护用户数据的隐私和安全。

事实上,目前已有企业开始探索边缘计算在AI大模型中的应用。

据Zenlayer技术专家介绍,某家专注于大模型技术的初创企业基于Zenlayer提供的一整套SDN解决方案,通过智能路由和数据传输协议优化等手段,搭建了一条高效稳定的数据传输通道,确保大模型在训练、推理等关键环节都能获得及时、准确的数据支持,从而显著提升了模型的应用效果和用户体验。

此外,还有对于一些AI大模型客户希望将算力资源部署至海外,Zenlayer针对这类需求,提供了算力托管或算力租赁服务,将计算资源部署在靠近用户的边缘数据中心,使大模型推理能够在本地进行,极大地降低了数据传输的延迟和成本。

同时,Zenlayer还为客户提供了一系列数据本地存储和传输方案,在满足各个国家对数据合规要求的同时,尽量优化业务交互体验。

结语

如果把视线放得更长远,在AI等众多颠覆性技术的背后,总离不开边缘计算的存在。当全球都沸腾在AIGC的风潮里,边缘云服务商正通过边缘端和云边的融合协同,满足更多元的AI应用场景,以更自如的算力,让AI技术更自如地普惠。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1623213.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

测试开发高频面试题(持续更新)

什么是测试开发以及其在软件开发流程中的作用。在过去项目中的测试策略和方法。是如何确保测试的全面性和质量的?讲解一下测试金字塔(Test Pyramid)模型,并解释各个层级的测试类型和其重要性。描述一下持续集成(CI&…

AI:165-Coze自定义赛博风格Bot-图片生成操作指南

Coze是由字节跳动推出的一个AI聊天机器人和应用程序编辑开发平台,旨在帮助用户快速创建各种类型的聊天机器人、智能体、AI应用和插件,并将其部署在社交平台和即时聊天应用程序中,如Discord、WhatsApp、Twitter、飞书、微信公众号等。 这个平…

02、java语言为什么要配置环境变量?配置环境变量的两种方案?遇到问题的几种解决办法

探讨笔记 1、java 语言为什么要配置环境变量?其一、未配置环境变量之前,能否执行 java、javac 的命令?其二、未配置环境变量之前,在 Windows 命令行窗口,如何执行相关命令?其三、未配置环境变量之前&#x…

1小时学会SpringBoot3+Vue3前后端分离开发

首发于Enaium的个人博客 引言 大家可能刚学会Java和Vue之后都会想下一步是什么?那么就先把SpringBoot和Vue结合起来,做一个前后端分离的项目吧。 准备工作 首先你需要懂得Java和Vue的基础知识,环境这里就不多说了,直接开始。 …

Spring Boot-基础操作,常用工具,配置文件

lombok工具 首先将lombok的依赖引入 Lombok是一个实用的Java类库,能通过注解的形式自动生成构造器、getter/setter、equals、hashcode、toString等方法,并可以自动化生成日志变量,简化java开发、提高效率。 日志操作 自定义日志打印 有以下两步: 在一个类中先获…

Vue3 实现 Three.js粒子特效

效果 <template><div id"waves" /> </template><script setup> import { ref, onMounted, onUnmounted } from "vue"; import * as THREE from "three";const amountX ref(50); const amountY ref(50); const color …

MySQL统计一个表的行数,使用count(1), count(字段), 还是count(*)?

为什么要使用count函数&#xff1f; 在开发系统的时候&#xff0c;我们经常要计算一个表的行数。比如我最近开发的牛客社区系统&#xff0c;有一个帖子表&#xff0c;其中一个功能就是要统计帖子的数量&#xff0c;便于分页显示计算总页数。 CREATE TABLE discuss_post (id i…

线性模型算法-完结总结篇

简介 该篇文章就是在CSDN上更新的最终版本。 本文章将介绍&#xff1a;机器学习中的线性模型有关内容&#xff0c;我将尽可能做到 详细地介绍线性模型的所有相关内容,模块如下&#xff0c;希望这些将有助于读者了解这种最初步但却强大的算法&#xff1a; 线性回归逻辑回归 S…

【ENSP】VRRP配置方法

VRRP配置步骤 1.配置虚拟ip地址作为网关&#xff0c;进行切换路由器 2.配置vrrp优先级&#xff0c;越大越优先 3.配置延迟抢占时间 4.配置备份组监视接口 AR1路由器配置 u t m #关闭提示 sys …

Zilliz Cloud 助力 AI 在线教育:智慧树的创新之路

在信息技术飞速发展的今天&#xff0c;教育行业正经历着一场深刻的变革。智慧树&#xff0c;作为全球领先的学分课程运营服务平台&#xff0c;始终站在教育创新的前沿。 为了进一步提升教育质量和效率&#xff0c;智慧树携手 Zilliz Cloud&#xff0c;共同开启了一场教育与技术…

Linux——(grep指令及zip/tar压缩指令)

1.grep指令 语法&#xff1a; grep【选项】查找字符串 文件 功能&#xff1a; 在文件中搜索字符串&#xff0c;将找到的行打印出来 常用选项&#xff1a; -i &#xff1a;忽略大小写&#xff0c;所以大小写视为相同 -n &#xff1a; 顺便输出行号 -v &#xff1a;反向选择&…

综合大实验

题目&#xff1a; 1、R4为ISP&#xff0c;其上只配置IP地址&#xff1b;R4与其他所直连设备间均使用公有IP&#xff1b; 2、R3-R5、R6、R7为MGRE环境&#xff0c;R3为中心站点&#xff1b; 3、整个OSPF环境IP基于172.16.0.0/16划分&#xff1b;除了R12有两个环回&#xff0c;其…

未来五十年,智能科技将如何改变传统行业格局?

未来五十年内&#xff0c;随着人工智能&#xff08;AI&#xff09;和智能科技的不断发展&#xff0c;许多行业将面临被取代的风险。虽然这种趋势可能会带来一些担忧&#xff0c;但也将为人类社会带来巨大的变革。下面将详细探讨哪些行业可能会在未来被智能科技所取代。 ▶ 制造…

【ruoyi-vue】登录解析(前端)

登录代码 1、登录之后做了什么&#xff1f; 执行登陆方法&#xff0c;成功之后&#xff0c;路由跳转到指定路径或者根目录 2、this.$store.dispatch是什么意思&#xff1f; this.$store.dispatch(‘Login’, this.loginForm) 来调取store里的user.js的login方法3、this.$r…

【Go语言】接口类型(一)接口类型与接口的值

本文是介绍golang接口类型的第一篇&#xff0c;主要介绍接口类型与接口类型的值的相关概念。 1. 静态类型、动态类型、动态值 所谓的静态类型&#xff08;即 static type&#xff09;&#xff0c;就是变量声明的时候的类型。 var age int // int 是静态类型 var name strin…

SSTV音频转图片

SSTV工具有很多&#xff0c;这里使用RX-SSTV慢扫描工具 下载安装 RX-SSTV解码软件 下载地址&#xff1a;https://www.qsl.net/on6mu/rxsstv.htm 一直点下一步&#xff0c;安装成功如下图: 虚拟声卡e2eSoft 由于SSTV工具是根据音频传递图片信息&#xff0c;正常解法需要一…

【动态规划】C++ dp子数组问题(最大/最长:环形/子数组和、乘积最大/为正数、单词拆分、子串)

文章目录 1. 前言 - 理解动态规划算法2. 例题最大子数组和 3. 算法题3.1_环形子数组的最大和3.2_乘积最大子数组3.3_乘积为正数的最长子数组长度3.4_等差数列划分3.5_最长湍流子数组3.6_单词拆分467.环绕字符串中唯一的子字符串 1. 前言 - 理解动态规划算法 关于 动态规划的理…

chrome 浏览器 f12 如何查看 websocket 消息?

1. 打开目标页面 2. f12--》网络--》WS&#xff0c;然后刷新页面( 如果不刷页面&#xff0c;就会看不到 websocket 请求&#xff0c;因为 websocket 是长连接&#xff0c;页面加载后只发出一次连接请求&#xff0c;不像 http 接口&#xff0c;不用刷新页面&#xff0c;待会儿也…

常见UI设计模式有哪些?从小白到资深必学

通过了解如何以及何时使用&#xff0c;每种 UI 设计模式都有其特定的目的&#xff0c;可以创建一个一致高效的界面。UI 设计模式为用户界面设计者提供了一种通用语言&#xff0c;并为网站和应用程序的用户提供了一致性。本指南&#xff0c;即时设计总结了 UI 设计模式和 UI 设计…

百种提权及手段一览系列第5集

特权升级的危险是显而易见的。通过提升权限&#xff0c;攻击者可以绕过网络安全措施&#xff0c;从而损害数据完整性、机密性和系统可用性。对于组织而言&#xff0c;这可能会导致数据泄露、系统停机以及潜在的法律和声誉后果。识别权限升级的迹象并部署预防性网络安全措施对于…