火热的大模型AIGC对数据中心存储趋势有什么影响?

news2024/11/23 21:07:35

随着人工智能和大数据技术的不断发展,业内AIGC(人工智能、图形处理和云计算)和大模型的发展趋势正在对数据中心存储发展方向产生深远的影响,主要集中对数据量和高性能计算的诉求。

大模型的普及要求数据中心存储具备更大的容量。大模型需要大量的计算资源和存储空间,因此,数据中心需要使用更大的存储系统来满足这些需求。同时,存储系统的可扩展性也非常重要,以便在需要时增加存储容量。随着AIGC应用的不断扩大,数据中心需要处理的数据量也在不断增长。因此,数据中心需要采用更高效、更可靠的存储方案来满足不断增长的数据需求。

根据IDC的预测,2025年的数据将达到175ZB。这将是一个非常庞大的数据量。这个数据量到底有多大呢?举个可以感知到的栗子,如果把这些数据全部存在DVD光盘上,那么这些DVD堆起来的高度将可以绕地球222圈。如果当前的网速水平,全部下载下来也许要18亿年。

产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。

存储数据的介质,也更加多元化。包括磁带、光盘、非易失性存储、固态硬盘SSD,机械硬盘等。其中,在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。同时,磁带和固态硬盘的存储需求也在逐步的攀升。

SSD领域,QLC SSD是提升容量的先锋。根据有关数据统计,目前SSD出货的DWPD小于1的占比达到85%,这几年一直维持在85%-86%,后续可能会继续扩大占比。也就是说,这个市场上的对SSD的寿命的诉求并不是很强烈,不需要DWPD很高的SSD。这也侧面说明了,行业内对已不再完全SSD硬件本身的特性来达到整个系统的可靠性。分布式存储,全闪存阵列,各种针对SSD优化的存储软件系统也是遍地开花。这个也给了QLC SSD大规模普及提供了有力的条件。

SLC的Program/Erase(P/E) Cycle可以达到10万,MLC P/E cycle可以到1万,到TLC 3000次P/E cycle,再到QLC NAND只有1000 P/E cycle。P/E cycle是表征SSD寿命的最重要的参数。

我们可以看到,随着单个cell含有的bit数越多,NAND的可靠性也会有所降低,自然成本也会继续下降,QLC的成本只有SLC成本的1/4。除了寿命可靠性,QLC处于劣势,还有在性能方面也有所降低,如下图,QLC NAND单个page页的写延迟是SLC的8倍,是TLC的2倍,读延迟是SLC的4倍,是TLC的约1.3倍。

HDD领域:为了提升容量,出现叠瓦式机械硬盘SMR。SMR的技术核心就是把传统PMR整齐排练的磁道,转换成类似房顶瓦片层叠的方式,目的是增加存储密度,降低硬件成本TCO。

同时,针对HDD容量提升,业内也在大力推广HAMR和MAMR技术。HAMR:全称,Heat Assisted Magnetic Recording,是一种热辅助磁记录技术。HAMR 采用了一种新型的介质磁技术,数据颗粒位的占用空间会更小,密度也会相应增加,从而达到提升容量的目的,同时保持磁稳定和热稳定。

MAMR:全称Microwave Assisted Magnetic Recording,是一种微波辅助磁记录技术。MAMR技术的原理是通过自旋力矩震荡器(STO)产生的微波场,进而提供能量辅助完成磁记录。

磁带目前也是提升存储容量的优选方案。LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。

其次是高性能计算的需求:AIGC应用通常需要高性能计算,这意味着数据中心需要使用更快、更稳定的存储硬件来支持这些应用。SSD(固态硬盘)是当前最流行的高性能存储硬件之一,因为它具有更快的读写速度和更低的延迟。

为了追求高性能,PCIE SSD是数据中心的高性能标配,PCIE SSD在数据中心的占比还在继续攀升。

pcie协议5.0还没完全普及,pcie 6.0 spec已经发布,pcie 7.0 spec也在路上了,这个世界都在狂奔。

NAND ONFI接口速率也提升至了3600MT/s.

此外,还有一个为高性能而生的一种新型的存储器架构-计算存储。计算存储的核心思想是将一些计算任务迁移到存储器中,从而减少数据在存储器和处理器之间的传输。这样一来,不仅可以减少数据传输的能耗,还可以提高处理器的利用率,从而提高整个系统的性能和能效。

计算存储的优点有很多,其中最显著的是提高数据处理效率。在传统的存储系统中,处理器需要从存储器中读取数据,然后在处理器中进行计算。这个过程不仅慢,而且会增加系统的能耗。而计算存储可以将一些计算任务直接在存储器中完成,从而减少数据传输的时间和能耗。

另一个优点是减少数据访问延迟。在传统的存储系统中,数据访问需要经过多个环节,比如寻道、旋转延迟等。这些环节都会增加数据访问的延迟。而计算存储可以将计算和存储集成在一起,从而减少数据访问的环节,进而降低访问延迟。

比如,ScaleFlux CSD 2000是一种计算存储驱动器,它采用透明压缩技术,可以在不牺牲性能的情况下提高OP并延长NAND的使用寿命。据该公司称,这可以有效地将容量翻两番,性能翻番 。CSD 2000的数据路径压缩/解压缩引擎可以更有效地储存更多的数据,同时保持一定的性能表现,即使是在不同的读写混合状况下也能保持稳定的低延迟。

三星SmartSSD是在SSD中整合数据管理功能,集成了一颗ARM内核的处理器,可以直接处理数据的硬件。它可以在数据的存放处就近进行高速计算,从而提高数据处理速度和效率。SmartSSD内置FPGA,支持在数据的存放处就近进行高速计算,从而提高数据处理速度和效率,可为视频处理、数据库管理和人工智能等多种应用场景提供加速。

除了上面的大容量和高性能诉求,对存储的诉求还有数据的可靠性和安全性。在AIGC应用中,数据的可靠性和安全性非常重要。因此,数据中心需要采用高可靠性和安全性的存储解决方案。AIGC应用通常需要灵活和可扩展的存储解决方案,以便快速适应不同的工作负载和需求。

总之,AIGC和大模型的发展趋势对数据中心存储发展方向产生了重大影响。数据中心需要使用SSD、HDD等存储硬件,同时结合新型存储技术,如云存储、分布式存储和对象存储等,来满足更高的性能、更大的容量和更低的成本需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/950168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

报错 - net::ERR_ABORTED 500 (Internal Server Error)

报错:net::ERR_ABORTED 500 (Internal Server Error) 根据提示找到对应文件 解决:检查代码,根据高亮颜色判断,发现箭头函数漏了一个>。 报错:Uncaught TypeError: Assignment to constant variable. 原因&#x…

计算机毕设之Python的高校成绩分析(含文档+源码+部署)

本系统阐述的是一个高校成绩分析系统的设计与实现,对于Python、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计,描述,实现和分析与测试方面来表明开发的过程。开发中使用了 django框架和MySql数据库技术搭建系统的整体架构。…

【C++】SLT——Vector详解

本片要分享的是关于STL中Vector的内容,Vector的内容于string非常相似,只要会使用string那么学习Vector时会非常流畅。 目录 1.vector介绍 2.vector的简单实用 2.1.简单的无参构造 ​编辑2.2.简单带参构造 2.3.迭代器区间初始化 2.4.vector的遍历 …

c++学习之vector的实现

在学习实现vector之前我们会看到对于库中的vector的实现,这里并非使用在学习string那样的定义方式,而是利用迭代器,也就是指针来实现的,这在功能的实现时极大的方便了我们。 那么我们就模仿库这样的方式实现我们呢经常会用到的一些…

Vision Transformer(vit)原理分析以及特征可视化

目录 Vit简介 Vit model结构图 vit输入处理 图像分块 class token与position的添加 特征提取 vit代码 Vit简介 Vision Transformer(ViT)是一种基于Transformer架构的深度学习模型,用于图像识别和计算机视觉任务。与传统的卷积神经网络…

【spring】一文带你弄懂Spring Bean的生命周期(超详细,超级通俗易懂!!)

目录 首先让我们来回顾一下Spring中的Bean是什么 Bean的生命周期 然后让我们由浅及深的对Bean的创建过程进行了解 首先来看最核心的五步骤 然后让我们逐层递进,学习一下七步骤版本吧 现在我们就可以进一步了解十步骤的版本(完整的生命周期&#xff…

Java“牵手”1688商品列表数据,关键词搜索1688商品数据接口,1688API申请指南

1688商城是一个网上购物平台,售卖各类商品,包括服装、鞋类、家居用品、美妆产品、电子产品等。要获取1688商品列表和商品详情页面数据,您可以通过开放平台的接口或者直接访问1688商城的网页来获取商品详情信息。以下是两种常用方法的介绍&…

【Axure高保真原型】多图表动态切换

今天和大家分享多图表动态切换的原型模板,点击不同的图标可以动态切换对应的表,包括柱状图、条形图、饼图、环形图、折线图、曲线图、面积图、阶梯图、雷达图;而且图表数据可以在左侧表格中动态维护,包括增加修改和删除&#xff0…

【深度学习 | 核心概念】那些深度学习路上必经的核心概念,确定不来看看?(二)

🤵‍♂️ 个人主页: AI_magician 📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。 👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!&…

信息化发展10

消费互联网基本属性 消费互联网具有的属性包括: 1 ) 媒体属性: 由自媒体、社会媒体以及资讯为主的门户网站。 2) 产业属性: 由在线旅行和为消费者提供生活服务的电子商务等其他组成。 数字中国概览示意图 在党的十九…

设计模式行为模式-访问者模式

文章目录 介绍基本原理1. 定义访问者模式2. 角色及其职责2.1 元素(Element)2.2 具体元素(ConcreteElement)2.3 访问者(Visitor)2.4 具体访问者(ConcreteVisitor)2.5 对象结构&#x…

D-Link DCS 密码泄露漏洞

0x01 前言 本次测试仅供学习使用,如若非法他用,与本文作者无关,需自行负责!!! 0x02 漏洞描述 D-link DCS是一款成像色彩为彩色 是一款网络摄像机。D-link DCS系统存在密码泄露漏洞,攻击者通过…

什么牌子的电容笔比较好?适合学生党的电容笔推荐

如今,几乎人手一部iPad平板,它能帮大家解决许多工作、学习方面的问题,例如在工作中整理文件,制作一些简单的PPT。因此,给iPad平板配上一个好的电容笔就显得尤为重要了。在此,我向各位安利一些又好用又便宜的…

【数据结构】多叉树转换为二叉树-c++代码实现-POJ 3437 Tree Grafting

文章目录 写这个题目的原因寻找提交网址题目解决思路AC代码成功AC 写这个题目的原因 1、今天在看王道考研数据结构的课(虽然我要保研,但是因为这些看保研面试的时候会问,所以看一下嘞orz),看到了这个多叉树转换为二叉…

微信黑名单怎么恢复好友?1分钟教你找回消失的“他”

微信的【黑名单】功能可以屏蔽掉一些令大家分心或者浪费时间的人。这个功能有利于减少干扰、保护隐私,并且还能大大提高用户的社交体验。 但是,有时候大家可能会因为发生冲突而将对方暂时拉入黑名单。在问题得到解决后却又希望恢复与他的联系。那么&…

Seata整合nacos,Postgresql 为DB存储

Seata整合nacos,Postgresql 为DB存储 环境 详情环境可参考 https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E 我这里 <spring.cloud.alibaba-version>2021.1</spring.cloud.alibaba-version>所有选择seata版本为 1…

模拟实现应用层协议

模拟实现应用层协议 文章目录 模拟实现应用层协议应用层再谈协议 序列化和反序列化 网络版计算器自定义协议利用Json进行序列化和反序列化json库的安装条件编译 应用层 应用层&#xff08;Application layer&#xff09;是OSI模型的第七层。应用层直接和应用程序接口并提供常见…

CountDownLatch详解——深入探究CountDownLatch源码

这篇文章将会详细介绍CountDownLatch这个并发类&#xff0c;通过深入底层源代码讲解其具体实现。 /*** A synchronization aid that allows one or more threads to wait until* a set of operations being performed in other threads completes.*/ 上面是CountDownLatch这个…

对SAE的测评报告

对SAE的测评报告&#xff1a; 很高兴在这里跟大家分享我对SAE产品的测评体验&#xff0c;以下我将通过实验以及本期话题的问题这两个方面带领大家走进SAE&#xff1a; 产品介绍&#xff1a; Serverless应用引擎SAE是一款极简易用、自适应弹性的容器化应用平台。它提供全托管…

C++ 动态多态(虚函数)

所谓动态多态即&#xff0c;在运行过程中&#xff0c;会随参数的变化而展现不同的功能&#xff0c;其关键原理便是虚函数&#xff0c;与之对应的静态多态便是函数重载。 虚函数&#xff0c;即当存在与虚函数一样的函数&#xff0c;即返回值&#xff0c;函数名&#xff0c;参数等…