实现AIGC更好的数据存力,这家科技巨头为我们指明了方向

news2025/2/22 1:30:34

存力即数据存储能力

蕴藏着巨大的发展机会

【全球存储观察 | 热点关注】

2023年,全球被ChatGPT的热潮席卷,拥抱AIGC的创新赛道成为众多企业的新选择。

全球存储观察分析指出,影响AIGC发展的三大因素也日益凸显,即算力、存力与运力,算力即计算能力;存力即数据存储能力;运力即网络运载能力。而其中令业界越来越重视的存力,蕴藏着巨大的发展机会。

事实上,随着AI行业应用落地不断加速,也加快了新数据的暴涨。来自全球专业分析机构IDC统计分析指出,到2027年,全球数据圈将达到291ZB。更大规模的数据存储潜力值得挖掘,这也预示着在数字经济的下一步发展中,重视数据存力的行业企业才更有可能在新赛道中胜出。

拥抱AIGC,实现更好的数据存力,作为全球领先的数据存储解决方案提供商,希捷科技为我们指明了未来发展的方向。

对于这样一家专业而发展历史悠久的存储厂商,带给业界的观察与建议,还是十分值得关注的。毕竟在数据存储行业中,希捷科技有着40多年的发展历史,全球存储交付量超4ZB,数据早已成其为发展的DNA。

大容量与高性能,

对AIGC存力重要性不分伯仲

2023年9月13日,在2023开放数据中心(ODCC)大会间隙,希捷科技中国区产品线管理总监刘嘉接受媒体采访时强调指出,大容量与高性能已经逐渐成为AIGC存力需求的两大发展趋势。

  • 希捷科技中国区产品线管理总监 刘嘉

那么,希捷科技到底如何看待AIGC下的数据存储的大容量与高性能发展趋势呢?

一方面,大容量存储需求将会迅速增长。大容量存储源自数据海量产生,在AI场景下产生的数据相比以前正在发生很大的改变。回顾一下AI发展历程,我们不难发现,无论是机器学习,还是深度学习,或者是强化学习,以及当前火热的AIGC(生成式AI),驱动这些AI技术出现前所未有发展的原动力离不开数据。为此,在AI技术实现突破之时,往往离不开数据采集、数据存储、数据分析等一系列的数据驱动,这也是AI的发展基础。

在ChatGPT被业界热议之时,大家的目光聚焦在了数万颗GPU芯片上,固然ChatGPT能成为当今火遍全球的顶流大模型,自然少不了其背后的超强AI算力,然而,在大规模数据进行训练的过程中,更少不了与之匹配的分布式超强存储。业界盛传,ChatGPT算法模型包括了1750亿参数,其预训练的数据量达45TB,未来模型参数和数据量也将随着ChatGPT迭代不断倍增。模型训练质量越高,对数据集要求越大,需要的文件数量就越大,满足亿级文件数量的存储需求是常态。

当前AI产生的数据更多集中在文本、语音、图像等方面,随着大模型的技术升级,未来在视频方面也会产生大量的AI数据。随着数据训练的强化与推进,以及大模型走向行业普及化,大模型用户的数据和语言数据积累的规模也将越来越大,这对存储容量需求也将越来越大。为此,AI的技术创新,必然会持续推动大规模硬盘需求的增长。可以预见,未来AIGC存力的需求不亚于当前对于GPU的AI算力需求。

另一方面,高性能存储也是刚需。当业界都聚焦在AIGC发展之路上,自然对于大模型训练效果也有着更快更好的要求,高性能存储可以支持高性能计算平台的训练负载,作为数据存储基石,硬盘部件也同样需要实现更高性能。这是关系AIGC应用的一整个数据链条的高效整合。

在实际AIGC应用中,往往对存储性能要求更高。比如自动地生成图片、视频,修改图片、视频,其过程需要高性能存储来支持,实现用户更高效的AIGC应用体验。只要是尝试过ChatGPT、GPT4的业界朋友,都知道它能顺畅秒级完成文本问答,对其处理数据的速度还是满意的,其背后自然也需要大容量的存储来支撑其数亿参数和中间结果。

很显然,存力业已成为了AIGC发展的基石。通过大规模数据进行训练就必须有大容量存储来支撑,而要获得更高效的训练结果和更佳的应用体验,就必须要有高性能存储来实现。大容量与高性能,对AIGC存力的重要性不分伯仲。

方向找对了,

更需突破性存储技术去实现

实现AIGC更好的数据存力,找对了方向确实非常重要,更重要的是需要突破性存储技术去应对挑战,才能实现更好的数据存储理想,实现我们需要的数据价值。

不过,影响硬盘容量的两个关键变量在于:要不选择增加更多的碟片,或者选择提高磁记录的密度。只是采取在增加更多的碟片的技术道路上寻求发展,同时会增加原材料、零部件、工具和人工等BOM标准成本,碟片更多也会顺带增加功耗。

对于热辅助磁记录( HAMR )技术并不陌生的业内人士或许都清楚,提升磁密度对于存储硬盘容量升级意义重大。为此,希捷科技一直以来寻求在HAMR技术上实现不断的突破。这不仅对于提升容量更加有效,而且使得硬盘设计更好优化。

HAMR就是在磁盘上采用一种新型的介质磁技术,在保持磁稳定和热稳定情况下,让数据位变得比过去更小且密度更高。为了写入新数据,连接到每个记录磁头的小型激光二极管会瞬间加热磁盘上的一个小点,从而使记录磁头每次翻转单个位的磁极性,进而达到写入数据的目的。据希捷科技的官方资料显示,每个位会在一纳秒内完成加热并冷却,因此HAMR激光器对硬盘温度或整个介质的温度、稳定性或可靠性完全没有影响。

目前, 30+TB容量的HAMR硬盘在2023年已经开始出货,并且正在计划2026年实现50TB的HAMR硬盘亮相。

从希捷科技大容量硬盘的路线图可以不难看出,HAMR技术带来发展后劲还是很足,提升磁密度对于推动硬盘产品的发展和增长,其意义十分重大。对于用户来说,磁记录密度的提升对于存储TCO和可持续性的影响也必然深远,其中的技术关键在于增加硬盘容量的同时,而碟片数不需要增加。

在这之前,全球存储观察阿明也曾撰文分析指出,从2001年开始,希捷就开始了在HAMR技术上的研究。最终发现:HAMR技术可以让存储密度提升到5Tbit/in²甚至更高的水平,HDD硬盘容量会有5到10倍的增长空间,未来制造出100TB硬盘成为可能。

先进存储技术联盟 (ASTC) 分析指出,以增加磁密度的HAMR技术,将成为下一个重要的存储技术创新。其言外之意,下一个十年HDD大容量硬盘的市场增长或许得靠它了。

在大容量存储技术突破上有HAMR技术作为后盾,在存储高性能方面,希捷科技也有着MACH.2的优异表现。全球存储观察分析认为,为AIGC数据密集型应用提供两倍硬盘性能,这一点就值得关注。可以在不牺牲容量的情况下维持服务水平,也难怪MACH.2一经推出就走红业界了。

希捷科技在MACH.2技术上带来的突破性创新,属于全球首款多传动器硬盘技术,打破了业界硬盘吞吐记录。MACH.2通过实现数据流并行进出单个硬盘,解决了性能提升需求。通过使数据中心主机能够同时并行请求和接收来自硬盘两个区域的数据,MACH.2 将每个独立硬盘的IOPS性能提高了一倍,抵消了通常会因为容量提高而引起的数据可用性下降的问题。

全球存储观察分析认为,长期以来,希捷科技一直是引领全球硬盘技术未来的领导者之一,在应对AIGC全新存力的挑战下,不仅专注于磁密度技术创新,以支持不断增长的大容量数据存储需求。而且在存储性能创新的突破性先进技术方面,通过MACH.2多磁臂技术不断改善IOPS性能表现,降低延迟,并通过氦气和其他更多技术创新举措来满足AIGC应用的TCO要求。

谈到这里,或许有朋友会说,HDD大容量硬盘的性能再好,怎么可以和SSD的IOPS性能比拟呢,AIGC应用落地选择SSD不是更好么?单分析IOPS性能,HDD大容量硬盘确实没法和SSD比,但是在考虑价格与数据留存时间的综合因素时,情况就不一样了。

据刘嘉介绍,磁介质与闪存就两种介质每TB的价格对比来看,依然还在1:6到1:10的区间波动,即使SSD容量也在增加,但HDD突破性技术不断将硬盘成本往下拉。如果用户要考虑成本的问题,那么选择HDD大容量硬盘必然会不断增加。

对于AIGC应用过程中的数据留存时间,应该是众多走上该赛道上的企业必须要重视的事情。在考虑数据存储可靠性的同时,选择数据留存时间更长的HDD大容量硬盘也是常理了。况且在数据备份与恢复方面,基于HDD大容量硬盘的存储系统更为成熟。

当然,对于大模型训练的实时热数据采用SSD来存储,可以获得更高IOPS性能和低时延支持,但要考虑到数据留存时间与安全性,对于大量的近实时和归档的温冷数据采用HDD大容量硬盘来存储,可以获得更好数据留存时间与安全性,以及TCO表现。

可见,HDD与SSD对于AIGC发展也是相辅相成的,在企业级SSD方面,希捷科技也拥有业界强大的企业级产品阵营希捷雷霆(Nytro)系列,适合SDS、高性能计算、高密度数据中心,以及当前AIGC应用场景。

除此之外,应对当今的存储挑战,希捷科技之前还推出了Exos CORVAULT智能存储系统。被业界誉为裸容量超过2PB的智能“超级硬盘”,以更低的成本,存储更多的数据。在Exos CORVAULT系统中还采用了希捷科技创新的ADAPT纠删码和自我修复ADR存储技术,不仅提高了数据中心系统的耐用性,也对其可持续性带来了极大的帮助。

面对AIGC应用带来海量数据存储挑战,既需要大容量与高性能的磁盘,也需要与这些磁盘协同设计的智能存储系统。为此,从芯片到硬盘部件到存储系统,希捷科技通过软件与硬件的持续创新技术,为满足用户的数据存储需求不断推陈出新。

踏上AIGC未来之路,

还需持续践行绿色存储理念

随着踏上AIGC未来之路的企业越来越多,持续践行绿色存储的理念需要倍加重视。

随着数据圈的扩大,数据量的爆发式增长,大家对于硬盘等存储介质的生产和消耗十分惊人。

为此,希捷科技早已宣布了自身的“碳中和”计划:到2030年,在全球范围内使用100%可再生能源,2040年实现碳中和。一方面,在工厂生产、技术研发领域,希捷科技以100%使用可再生能源作为战略目标。

另一方面,在突破性技术创新领域,希捷科技凭借双磁臂技术、HAMR技术、氦气硬盘等,赋能数据中心的绿色、可持续发展。同时,也为业界带来了自动修复、硬盘重生与硬盘回收的绿色技术。ADR(自动容量重生)技术可以主动发现硬盘磁头故障并进行自动化修复,减少电子垃圾。希捷已经携手国内外众多生态伙伴,通过对产品整体以及相关部件的回收和循环利用,创建可持续发展的存储产业。2022财年希捷科技通过翻新计划延长了一百多万块机械硬盘和固态硬盘的使用寿命。将这些硬盘通过翻新和重新部署实现回收,避免了540多公吨的电子垃圾进入填埋场。

由此可见,在AIGC的创新赛道上,数据存力不仅要强大,具备更优的TCO表现,而且还需要持续践行绿色存储理念。在希捷科技等科技巨头的带动下,我们有理由相信,一个面向AIGC全新的绿色存储生态圈正在形成,并进一步得以完善中。在存力永续发展的基础上,让AI为百行百业创造出更多的价值。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察 |全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1029297.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ROS之创建第一个程序

打开终端 创建工作空间 mkdir ros_ws进入工作空间 cd ros_ws创建src文件夹(放源程序) mkdir src编译工作空间 catkin_make打开vscode(从终端打开此工程) code .进入src文件夹 cd src创建功能包demo1,并加载依赖…

[Linux入门]---Linux编译器gcc/g++使用

文章目录 1.背景知识2.gcc如何完成编译运行工作预处理(进行宏替换)编译(生成汇编)汇编(生成机器可识别代码)链接(生成可执行文件) 3.函数库动态库静态库动静态库的区别 4.gcc选项 1.…

一键自助建站系统源码带安装教程 傻瓜式部署搭建,让您的建站更高效

在这个数字时代,网站已成为企业或个人展示形象、推广业务的重要工具。为了满足这一需求,许多自助建站系统应运而生,大大降低了用户建站的门槛。给大家分享一款傻瓜式部署搭建的一键自助建站系统源码,让您轻松拥有高效建站能力。 …

虹科教您 | 可实现带宽计量和延迟计算的时间敏感网络测试工具RELY-TSN-LAB操作指南与基本功能测试

1. RELY-TSN-LAB产品概述 时间敏感网络(TSN)能够合并OT和IT世界,这将是真正确保互操作性和标准化的创新性技术。这项技术的有效开发将显著降低设备成本、维护、先进分析服务的无缝集成以及减少对单个供应商的依赖。为了在这些网络中实现确定性,需要控制…

[LLM+AIGC] 01.应用篇之中文ChatGPT初探及利用ChatGPT润色论文对比浅析(文心一言 | 讯飞星火)

近年来,人工智能技术火热发展,尤其是OpenAI在2022年11月30日发布ChatGPT聊天机器人程序,其使用了Transformer神经网络架构(GPT-3.5),能够基于在预训练阶段所见的模式、统计规律和知识来生成回答&#xff0c…

【Linux操作系统实战】Linux基础命令面试必备(二)

😄作者简介: 小曾同学.com,一个致力于测试开发的博主⛽️,主要职责:测试开发、CI/CD 如果文章知识点有错误的地方,还请大家指正,让我们一起学习,一起进步。😊 座右铭:不想…

【rabbitMQ】-延迟队列-模拟控制智能家居的操作指令

这个需求为控制智能家居工作,把控制智能家居的操作指令发到队列中,比如:扫地机、洗衣机到指定时间工作 一.什么是延迟队列? 延迟队列存储的对象是对应的延迟消息,所谓“延迟消息” 是指当消息被发送以后,并…

数据中心中什么最重要?

在数据中心中,最重要的要素可以总结为以下几点: 数据安全:数据中心是存储和处理大量敏感数据的关键设施,因此数据安全是最重要的要素之一。数据中心必须采取严格的物理安全措施,如门禁、监控和防火措施,以确…

Stable Diffusion基础:精准控制之ControlNet

在AI绘画中精确控制图片的生成是一件比较困难的事情,炼丹师们经常需要大量抽卡才能得到一张满意的图片,不过随着 ControlNet 的诞生,这一问题得到了很大的缓解。 ControlNet 提供了十几种控制网络模型,有的可以控制画面的结构&…

利用大模型知识图谱技术,告别繁重文案,实现非结构化数据高效管理

我,作为一名产品经理,对文案工作可以说是又爱又恨,爱的是文档作为嘴替,可以事事展开揉碎讲清道明;恨的是只有一个脑子一双手,想一边澄清需求一边推广宣传一边发布版本一边申报认证实在是分身乏术&#xff0…

【uniapp】小程序开发:2 安装uni-ui组件库、使用pinia状态管理、自定义http请求

一、安装uni-ui组件库 1、安装 pnpm i -D sass pnpm i dcloudio/uni-ui2、配置组件自动导入 使用 npm 安装好 uni-ui 之后,需要配置 easycom 规则,让 npm 安装的组件支持 easycom 打开项目根目录下的 pages.json 并添加 easycom 节点: //…

LeetCode 75-03:拥有最多糖果的孩子

func kidsWithCandies(candies []int, extraCandies int) []bool {maxCandy : 0for _, v : range candies{if v > maxCandy{maxCandy v}}res : make([]bool, len(candies))for i,candy : range candies{res[i] candy extraCandies > maxCandy}return res }

对象的生命周期、配置文件参数化、自定义类型转换器

目录 一、对象的生命周期 1、什么是对象的生命周期 2、为什么要学习对象的生命周期 3、生命周期的三个阶段 (1)创建阶段 (2)初始化阶段 1、InitializingBean 接口 2、对象中提供一个普通的方法 3、细节分析 &#xff08…

linux离线安装make

一、下载rpm包 https://pkgs.org/search/?qmake 二、拷贝至服务器 三、安装make rpm -ivh make-3.82-24.el7.x86_64.rpm四、查看是否安装成功 make -v

Git 设置公钥

一、公钥管理 1、生成公钥 WinR,输入cmd,打开命令行窗口,执行ssh-keygen命令 查看生成的公钥,使用everything搜索id_rsa.pub,如下: 2、配置公钥 打开服务端网站,添加公钥 3、修改Git Tourtise配…

PostgreSQL 技术内幕(十)WAL log 模块基本原理

事务日志是数据库的重要组成部分,记录了数据库系统中所有更改和操作的历史信息。 WAL log(Write Ahead Logging)也被称为xlog,是事务日志的一种,也是关系数据库系统中用于保证数据一致性和事务完整性的一系列技术,在数据库恢复、高…

Ubuntu 安装golang

目录 1. 从官方网站下载合适的安装包 2. 解压安装包 3. 设置环境变量 4. 验证安装是否成功 1. 从官方网站下载合适的安装包 到官网:https://go.dev/dl/查找对应的版本 # 下载golang对应的版本 wget https://dl.google.com/go/go1.14.4.linux-amd64.tar.gz 2. …

PM2.5 激光粉尘传感器之DSL-08(DS-08)

一款产品里用到粉尘检测,最后在淘宝上找一到了一款,攀藤型号是:PMS9003 还有一款外形类似型号是DSL-08。看了资料是可以通用的。 传感器的产品资料放在百度网盘里 链接:https://pan.baidu.com/s/1oNCwO7n9oEdzju91cF99xg?pwd12…

PX4 通过 Vision 实现 Position、Altitude 和 Offboard 模式

本文通过 VINS-Fusion 的里程计信息为 PX4 提供视觉信息,从而达到 视觉定高和定点 的目的 主要工作为创建一个将 vins 里程计信息发布给 Mavros 的 /mavros/vision_pose/pose 话题 首先创建一个工作空间 mkdir -p ~/catkin_ws/src/vision_to_mavros/src/ cd ~/ca…

使用Java将PPT、PPTX和PDF转换为图片

从Office到图片—使用Java实现文件格式转换 PDF转图片1. 万事第一步2. 撸代码 PPT/PPTX转图片1. 万事第一步2. 撸代码验收一下 最近小雨遇到了一个需求,需要在前端小程序中嵌入展示Office文件的功能。然而,前端使用开源组件进行在线预览会导致性能消耗较…