数据中心不能“偏科”,AIGC时代算力、存力需协调发展

news2025/2/22 17:15:53

黄金比例是数学上一种堪称“完美”的比例关系,最早由欧几里得在《几何原本》中进行了系统论述。之后,黄金比例的理念被广泛应用到数学、物理、建筑、农业等多个领域,代表着最合理、最协调的一种情况或者状态。

在数据中心领域,相关资源的合理配比愈发受到用户们的关注。尤其是随着大模型和生成式AI应用的兴起,对于算力、存力等需求迅速提升,越来越多数据中心用户意识到数据中心资源需要平衡配置和协调发展,才能充分发挥其能力与价值。

今年以来,产业界多次呼吁AI时代的数据中心建设不能走向偏科,算力与存力的建设同等重要。正如浪潮信息存储产品线副总经理刘希猛所言:“当前,生成式AI时代的‘百模争秀’格局初现,AI大模型的建设不仅要有算力底座,更要有存力平台。将数据中心的计算、全闪存储、混闪存储按照1:1:1黄金比例建设,用户可最大化获得投资回报比。”

数据中心不能“偏科”

Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。不可否认,生成式AI、大模型正在成为数据中心基础设施发展最大的牵引力。可以预见,由AIGC和大模型带来的基础设施投入在未来会持续增长。

但从目前真实情况看,数据中心的建设是“偏科”和“失衡”的。出于各种原因,“重算力、轻存力”的现象较为明显,大部分用户非常看重GPU等算力产品的部署,却忽视了存力建设的重要性,更缺少对于数据中心整体资源的规划与匹配。

众所周知,大模型应用的核心是高质量数据,数据的质量又决定着算法的性能、泛化能力和应用效果,而高质量数据的得到又与存力息息相关,围绕数据的“传输、存储、分析、管理、安全”等环节,存力是释放数据价值必不可少的关键因素。

事实上,大模型发展到今天,已经属于一个大规模、高质量数据和数据高效处理的工程难题。随着大模型逐渐向多模态的方向演进,意味着除了持续的算力需求之外,对于数据存储的容量、性能、多协议支持、可靠性、数据管理等带来前所未有的变化。

例如,大模型多元异构数据的归集、标注、训练、推理和归档均需要极高的效率来移动数据,这意味着支持异构数据的多协议融合将是解决大模型数据移动与处理效率的关键所在;又如,AIGC应用会产生大量推理需求,随之而来的就是大规模的并行处理和复杂IO,对数据存储性能要求极高;再如,大模型训练动辄需要调用成百上千块GPU卡,并且存在着不同的CheckPoint,对于存储的稳定可靠要求越来越高。

刘希猛直言,数据存储与管理在AIGC时代承担着两个重要责任:其一、支撑起海量多元异构数据的全生命周期管理工作;其二、承载起AIGC数据训练、推理对于性能、延时、容量、扩展性等各种严苛需求。

对于用户而言,除了需要重视存力建设之外,一个不容忽视的现实挑战即:数据中心的算力、存力资源比例到底应该如何配置才算最佳?为此,浪潮信息带来了它的答案:从数据容量、带宽、访问频率以及成本等多个因素综合考量,未来数据中心在实践中需要形成算力、闪存和混闪的1:1:1黄金比例,以满足AIGC、大模型等人工智能应用的需求。

黄金比例是如何得出的

相比于欧美成熟市场,我国存力的发展一直滞后于算力。这从我国数据中心全闪存普及率较低、容灾保护建设力度较弱等方面可见一斑。

随着AIGC时代的到来,这种滞后的现象更加明显与突出。面对AIGC迅猛的算力需求,很多用户从一开始就“走一步看一步”,往往是先购买算力,使用过程中发现存力跟不上,再去着手配置相应的存力,缺乏数据中心资源整体规划,建设方式明显落伍。

某种程度而言,我国通过普及和推广数据中心算力、闪存和混闪的1:1:1黄金比例既能让用户在基础设施层面更好地支撑起AIGC领域的创新,又可推动我国数据中心存力建设,实现数据中心整体资源配置和利用水平的提升。

但数据中心资源配置的黄金比例为什么会是“1个GPU节点,对应1个全闪存储、对应1个混闪存储” ?浪潮信息之所以会提出算力、闪存和混闪的1:1:1黄金比例,主要来自两个方面的核心原因:

首先,黄金比例源自于浪潮信息较早就涉足大模型的实践。早在2021年,浪潮信息就发布了源1.0中文大模型,当时该模型参数就高达2457亿个,训练文本数据量高达50TB,在这些年的大模型训练、推理实践中,浪潮信息自身的基础设施产品起到了关键的支撑作用;同时,浪潮信息也深刻感受到数据中心算力、存力的合理配置,对于发展大模型的重要性。

例如,在大模型训练与推理场景中,数据存储最大的挑战就是如何将不同数据源源不断传输到CPU和GPU,因此对于数据处理性能、如何与GPU配合等考验极大。

“对于源1.0的实践是浪潮信息存储产品的先天优势。市场中很少有企业能搭建一套大规模集群来进行支撑大模型的应用。”浪潮分布式存储产品线总经理姜乐果如是说。

其次,作为国内领先的企业级存储厂商,浪潮信息对于闪存、混闪等相关存力技术的未来发展有着深刻洞察,加上浪潮信息相关存储解决方案已经在国内多家AIGC企业中成功应用,对于AIGC时代数据中心的整体建设已经积累了较多实践。

“浪潮信息在闪存领域具有全栈技术创新能力,从底层SSD的控制器到存储系统软硬件,再到上层应用,实现盘控协同,以及数据全链路的优化,有利于像AIGC这类应用充分释放数据的价值。”刘希猛补充道。

事实上,考虑到市场内外部环境与因素,未来算力市场GPU紧缺的情况还将持续很长一段时间,这也让算力、闪存和混闪的1:1:1黄金比例具有非常强的实践意义。在算力紧缺的情况下,同等算力配置下,以存强算,通过算力与存力的合理配置,可以充分发挥基础设施整体资源的价值。

为了进一步推动黄金比例在数据中心领域的推广,浪潮信息近期又正式推出针对大模型应用存储系统:AS 15000G7,以帮助用户从复杂的基础设施中解脱出来,全力投入到AIGC创新之中。

AS 15000G7,让黄金比例落在实处

可以说,黄金比例的普及,存储系统是关键。

众所周知,近年来随着闪存介质容量的持续提升以及价格的不断下降,为存力在国内的发展创造了极好的条件。毫无疑问,AIGC的兴起,将进一步驱动全闪、混闪等存储产品加速创新。

“AIGC类应用带来了对容量、性能、功能等需求的全面提升。”姜乐果介绍道,“存储系统不仅需要进行全新组合与设计,进而满足AIGC类应用的数据存储需求,还要避免传统存储方案的复杂性和低效率。”

因此,浪潮信息面向AIGC应用场景打造出AS 15000G7,通过极致性能、极致管理、极致融合和极致效率来满足用户们对于大模型训练的数据存储在性能、管理、融合和效率方面的综合需求,助力AIGC在各个行业的落地,并加速释放数据价值。

首先,针对大模型高并发、复杂IO等特征,AS 15000G7从架构、硬件、关键技术、IO路径优化等多个方面为AIGC带来了极致性能,为大模型的训练等带来性能保障。具体来看,AS 15000G7通过GDS、RDMA技术缩短I/O路径,并且利用智能元数据管理显著提升数据访问和检索速度;另外,独有的智能网络优化技术实现提升网络端口并发能力,时延缩短50%以上,尤其是小文件级传输的时延可降至毫秒级。

其次,针对大模型训练流程管理,AS 15000G7提供全流程透明可控的极致管理。AS 15000G7可同时搭载AIStation调度平台和InView数据管理平台,对AI服务器、网络、存储等设备进行智能运维,支持训练推理全流程的多租户管理、资源分配、数据管理分析。可以通过一套存储实现对AIGC数据采集、清洗、训练、推理、归档不同场景全流程的设备资源监控和管理。

第三,针对大模型多元异构数据的归集、标注、训练、推理和归档,AS 15000G7融合架构实现多源异构巨量数据的极致融合,对文件、对象、大数据以及视频的存储方式进行并行访问,支持多协议实时互访互通和系统扁平扩展,数据访问过程中保持语义一致、性能无损,从而对AI大模型海量多源异构非结构化数据实现高效共享。

最后,针对大模型所需要的巨额投入,AS 15000G7可助力用户实现黄金比例的数据中心资源最佳配比,提升投资回报比,带来极致效率。AS 15000G7根据闪存、磁盘、磁带、光盘等不同介质分为性能型、均衡型、容量型三种机型,并且基于自动化的数据分层和迁移,在应用安全透明的前提下,实现热温冷冰数据全生命周期的管理,带来TCO的显著降低。

毋庸置疑,AIGC的兴起标志着人工智能发展的拐点已至。当下,中国已经成为全球AIGC创新与发展的热土。不完全统计,当前国内大模型数量已经超过200个,不同类型的企业均在全力推动AIGC、大模型的发展。如今,人们愈发意识到“大模型产业发展,基础设施先行”的道理,算力、闪存和混闪的1:1:1黄金比例建设理念出现可谓是恰逢其时,有助于探索AIGC的企业降低基础设施复杂度,从而更好地聚焦创新。

“AIGC现在才刚刚起步,未来会持续带来对基础设施的需求。预计到2026年,黄金比例的建设模式有望得到广泛应用。”刘希猛最后表示道。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1043062.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

模板的注意事项

目录 swap函数&#xff1a; 模板不支持分离编译 声明和定义分离的好处 swap函数&#xff1a; #include<iostream> using namespace std; template <class T> void swap(T&left, T&right) {T temp right;right left;left temp; } int main() {int a …

Vue比较两个数字大小

实现一个比较两个数字大小的页面&#xff0c;练习Vue实例的创建、数据绑定和事件监听方法&#xff1b; <div id"aa"> <ul> <li> <span>第一个数&#xff1a;</span><input v-model.number"first"/> </li> <…

详解Java执行groovy脚本的两种方式

详解Java执行groovy脚本的两种方式 文章目录 详解Java执行groovy脚本的两种方式介绍记录Java执行groovy脚本的两种invokeFunction:invokeMethod:以下为案例&#xff1a;引入依赖定义脚本内容并执行运行结果&#xff1a;例如把脚本内容定义为这样&#xff1a;执行结果就是这样了…

微盟十年:踩准节奏,持续增长

今年以来&#xff0c;中国SaaS行业经历了资本由炽热到寒冬&#xff0c;行业融资笔数和金额均呈现断崖式下跌&#xff0c;截至7月共发生投融资50笔&#xff0c;与去年相比直接腰斩&#xff1b;投融资金额43.52亿元&#xff0c;与2021年同期的258.2亿元、2022年同期的142.37亿元形…

适合在家做的副业 整理5个,有电脑就行

今天&#xff0c;我们不说别的&#xff0c;整理5个适合个人在家单干的副业。需要电脑&#xff0c;如果你没电脑就不用看了&#xff0c;最后两个&#xff0c;我们也在做&#xff0c;你可以看到最后了解。这些副业&#xff0c;大家多去实践操作&#xff0c;前期&#xff0c;每月三…

单层和多层中的应力和分层控制

引言 类金刚石碳(DLC)膜具有诸如高硬度和低摩擦系数的优异特性&#xff0c;并且在切削工具、金属模具和机器部件中具有应用。不幸的是&#xff0c;它们通常表现出低粘合强度由于高的内部压缩应力&#xff0c;导致从衬底上剥离。英思特已经尝试了各种方法来降低内应力&#xff…

OJ练习第181题——寻找两个正序数组的中位数

寻找两个正序数组的中位数 力扣链接&#xff1a;4. 寻找两个正序数组的中位数 题目描述 给定两个大小分别为 m 和 n 的正序&#xff08;从小到大&#xff09;数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。 算法的时间复杂度应该为 O(log (mn)) 。 示例…

V4L2 Camera 开发

一、什么是V4L2 vl42是video for Linux 2的缩写&#xff0c;是一套Linux内核视频设备的驱动框架&#xff0c;该驱动框架为应用层提供一套统一的操作接口(一系列的ioctl) 假如要进行视频数据采集&#xff0c;大体的步骤如图左侧所示&#xff1a; 打开设备文件/dev/videoX&…

从零学算法(LCR 178)

教学过程中&#xff0c;教练示范一次&#xff0c;学员跟做三次。该过程被混乱剪辑后&#xff0c;记录于数组 actions&#xff0c;其中 actions[i] 表示做出该动作的人员编号。请返回教练的编号。 示例 1&#xff1a; 输入&#xff1a;actions [5, 7, 5, 5] 输出&#xff1a;7 …

java中使用redis2个库并支持Redis哈希表

一个redis实例&#xff0c;默认包含16个库&#xff0c;序号从0到15。在redis命令行中&#xff0c;可以用select 序号来切换。我最近在做的一个项目中&#xff0c;需要使用redis的2个库。一个是由其他子系统写入&#xff0c;web后端&#xff08;java&#xff09;只读取&#xff…

瑞芯微RK3568|SDK开发之Kernel编译

1. Kernel手动编译 1.1 kernel查询帮助 使用./build.sh -h kernel查看kernel的详细编译命令如下所示。 图1.1编译内核 上图表示&#xff0c;单独编译kernel固件分为三步&#xff0c;进入kernel目录&#xff0c;选择默认配置文件&#xff0c;编译镜像。 1.2 kernel…

多家快递公司物流信息批量查询方法及操作说明

在网购时代&#xff0c;快递单号的查询和管理成了一个重要的问题。尤其是对于需要处理大量快递单号的人来说&#xff0c;一个高效、便捷的查询工具至关重要。本文将介绍如何使用“固乔快递查询助手”软件&#xff0c;快速、准确地查询多家不同快递公司的快递单号&#xff0c;并…

最新白皮书:软件定义的硬件打开通往高性能数据加速的大门

在众多行业的数字化转型过程中&#xff0c;基于硬件的数据处理加速是构建高性能、高效率智能系统的关键之处&#xff0c;因而市场上出现了诸如FPGA、GPU和xPU等许多通用或者面向特定应用&#xff08;如NPU&#xff09;的硬件加速器。尽管它们的性能和效率都高于通用处理器&…

基于R的linkET包qcorrplot可视化Mantel test相关性网络热图分析correlation heatmap

写在前面 需求是对瘤胃宏基因组结果鉴定到的差异菌株与表观指标、瘤胃代谢组、血清代谢组、牛奶代谢组中有差异的部分进行关联分析&#xff0c;效果图如下&#xff1a; 数据准备 逗号分隔的csv格式文件&#xff0c;两个表格&#xff0c;一个是每个样本对应的表观指标数据&…

工业交换机常见的故障有哪些?

通常情况下&#xff0c;工业交换机出现故障可以分为两类&#xff1a;软件性能故障和硬件物理故障。软性能故障通常指工业交换机在研发设计阶段出现的问题。 物理层故障主要指交换机本身的硬件故障以及连接交换机的物理线路故障。安防专用工业交换机的交换是根据通信双方传输信…

构建智能客服知识库,优化客户体验不是难题!

在当今快节奏的商业环境中&#xff0c;客户都希望得到及时个性化的支持&#xff0c;拥有一个智能客服知识库对于现代企业至关重要。智能客服知识库是一个集中存储、组织和访问与客户服务互动相关的信息的综合性知识库。它为企业提供了全面的知识来源&#xff0c;使他们能够为客…

PHP循环获取Excel表头字母A-Z,当超过时输出AA,AB,AC,AD······

PHP循环获取Excel表头字母A-Z&#xff0c;当超过时输出AA,AB,AC,AD PHP循环生成Excel的列字母表 $count_num 26 * 27; $letter A; $arr []; while($count_num--){$arr[] $letter;$letter; }结果如下&#xff1a; 转为JSON更为直观&#xff1a; ["A","B&…

MySQL 8 0 填坑历险之安装与基本用户权限

MySQL 8.0 填坑历险之安装 MySQL 是当下流行的关系型数据库&#xff0c;搜掠了各种文章&#xff0c;多少有些偏差&#xff0c;为此来分享下我的经历&#xff1b; 安装环境 环境版本备注Ubuntu 18.0418.04.6 LTS (Bionic Beaver)LinuxKernel5.4.0-42-genericMySQL 8.0.23mysq…

上海亚商投顾:沪指震荡调整 减肥药、华为概念股持续活跃

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 三大指数昨日震荡调整&#xff0c;上证50午后一度跌近1%&#xff0c;券商、保险等权重板块走势低迷。 华为概…

大咖共探AGI时代机遇,腾讯云助力大模型规模化应用提速

引言 2023 年&#xff0c;科技圈的“顶流”莫过于大模型。自 ChatGPT 的问世拉开大模型与生成式 AI 产业的发展序幕后&#xff0c;国内大模型快速跟进&#xff0c;已完成从技术到产品、再到商业的阶段跨越&#xff0c;并深入垂直行业领域。 新技术的爆发&#xff0c;催生新的应…