全面重构存储系统,释放AI时代全新数据价值

news2024/11/17 1:33:44

《失控》作者凯文·凯利做出判断: “不管你从事任何商业,你的生意现在就是数据生意。”一言蔽之,数据已是当今商业社会和经济发展的基石。企业的生产研发、经营管理和销售服务等所有环节愈发离不开数据,数实融合的加速为产业发展带来无限可能。

毫无疑问,一个数据时代的新纪元已经开启。IDC预测,到2025年,全球数据圈将增长到175ZB,年均增长速高达30%。随着AIGC的兴起,数据成为最重要的生产要素,AI则是释放数据价值的最佳工具,二者融合为产业发展带来无限可能,也让承载数据的数字底座——存储迎来前所未有的挑战。

在AIGC的催化下,存储行业正在迎来一场技术变革。作为紫光股份旗下新华三集团存储产品技术及方案创新的领路人,存储产品线总经理兼首席产品经理关天舒认为“未来的存储必须重构,才能更好的适配AI时代用户对数据存储的新需求”,架构、体验和价值的全面重构是实现存储行业焕新发展的关键所在。新华三集团基于对智慧存储技术的研发和探索,已经对存储产品的重构迈出了行业领先的第一步。

存储为什么需要重构

回顾过去二十余年的存储发展历程,从2005年之前的基础性存储,到2006-2015年功能性存储,再到2016-2025年的智能化存储,存储每一次重构的背后都是数据存储服务需求的深刻变化,需求变迁成为近年来存储重构最大推动力。

近年来,随着数据量持续增长、业务应用走向丰富化,底层存储系统也在加速走向复杂化。尤其是AIGC的兴起,基于LLM大模型的应用大量涌现,不仅带来全新的数据产生模式,也让数据类型、数据处理、数据管理等方面提出全新挑战。关天舒强调,基于LLM大模型的应用跟以往任何应用都不一样,它会对数据存储的容量、性能、可靠性、管理等带来颠覆性的影响。

首先,LLM大模型开始从文本类型走向多模态,逐渐融入大量音视频数据,加上过程数据,未来大模型应用对于存储容量的需求将持续增长;

其次,LLM大模型应用与场景加速融合,除了训练需求之外,还会产生大量的推理需求,超大规模的并行处理和复杂的IO特征对于数据存储的性能要求极高;

第三,大模型应用作为一项工程化程度极高的应用,以数据核心的重要特征,训练阶段有着不同的CheckPoint,决定了底层存储需要稳定可靠,且需要与GPU更好适配,才能充分释放出大模型的潜力。

面对AIGC应用的兴起,当前主流的传统存储系统普遍都感受到巨大的压力,要想全面释放数据价值,存储加速重构已是必然。作为数字化解决方案领导者,新华三集团全新发布H3C/HPE Alletra MP全局解耦NVMe智能全闪存储、H3C UniStor X10000 G6系列分布式智能融合存储,率先给出存储重构的答案。

存储应该如何重构

世界软件开发大师Martin Fowler在《重构》中认为,任何一个傻瓜都可以写出计算机可以理解的代码,唯有写出人类容易理解的代码,才是优秀的程序员。

同样,在数据存储领域,存储产品唯有让人们更加容易、便捷和高效地使用,才是符合未来需求的优秀产品。但存储系统是一项融入软硬件和诸多复杂技术的系统级产品,涉及到硬件、协议、介质众多,意味着存储的每一次重构都是一次巨大的产品技术变革,对于未来市场发展和用户使用会产生持续的影响。随着AI大模型应用的兴起,传统存储局限性会被迅速放大。因此,存储必须从架构、体验和价值三个方面进行全面重构,以全新的产品形态来满足各种数据服务的新需求。

首先是存储架构的重构。存储架构是存储系统的核心“骨架”,健壮与否直接决定着存储系统产品的优劣。回顾存储发展历史,从双活架构、直连矩阵架构到分布式共享缓存架构、全共享交换式架构,每一次架构的重塑都推动了整个数据存储产业的巨大进步。当前,主流传统存储产品在架构创新上已经停滞多年,但新协议、新介质、新应用、新场景发展迅速发展又十分迅速,传统存储已然难以胜任。面对AIGC等诸多新应用带来的性能、容量等一系列的全新挑战,新华三集团致力于推动重构集中式和分布式存储,利用架构创新来适配AI等新应用,让存储系统充分释放存储性能和提供更好管理。

H3C/HPE Alletra MP全局解耦NVMe智能全闪存储是架构创新的一个代表作。Alletra MP的全局解耦架构实现业界首个控制节点和数据节点完全独立的全活架构,不仅具有规模化的纵向和横向扩展模式,还实现控制节点和数据节点的独立扩展能力。此外,控制节点与数据节点统一,消除硬件多样性,大幅提升存储系统迭代更新速度。

其次是存储使用体验的重构。针对百行百业用户自身环境的变化,混合/多云、边缘环境成为企业数字化转型的标配选择,用户追求在复杂环境下简单一致的数据服务与功能。近年来,新华三集团持续推动智慧存储理念,帮助行业用户摆脱传统存储专业强、易用性不强的弊端。新华三通过软件定义的理念,屏蔽存储底层复杂性;在硬件层面采取标准工业硬件组件来降低硬件系统扩展、管理等方面的难度;同时,将AI原生理念融入到存储系统,致力于智能存储中枢的打造,为用户带来极致性能、极致可靠、极简管理、绿色低碳四大存储体验升级。

第三是存储价值的重构。存储作为数据要素的载体,不应该因为自身的瓶颈,成为限制数据要素价值释放的阻碍。相反,存储应该逐步完成角色转变,通过基于高效、可靠、极简、绿色的存储解决方案,成为释放数据价值的最佳拍档。全面满足AI时代大规模数据存储和快速访问需求,支撑各细分领域的差异化存储需求,帮助用户深度挖掘数据价值,释放创新活力。

关天舒认为,新华三集团从架构、体验和价值三个方面对存储进行重构,会帮助用户彻底屏蔽基础设施的复杂性,全力聚焦上层应用创新。

加速重构落地,释放数据价值

《中国数字经济发展报告(2023)》显示,2022年中国数字经济规模达到50万亿元占GDP比重达到41.5%,产业数字化占到数字经济比重上升到81%,各行各业数字化转型愈发需要先进基础设施来支撑数据价值的充分释放。就像新能源+智能化近年来在重构百年汽车产业一样,作为企业数字化转型的数字底座,存储的重构是存储产业自身向演进的一种体现,这种重构将会是由内到外的颠覆性改变,其核心目标就是让数据价值释放不再成为一件难事。

作为数字化解决方案领导者,新华三集团从产品、场景和理念三个层面在全面推动存储重构的落地,构建先进的基础设施,帮助各行业用户完成数字化转型。

从产品层面,新华三集团率先推出H3C/HPE Alletra MP、H3C UniStor X10000 G6两款AI原生架构存储。Alletra MP核心目标是帮助企业客户重构关键能力,以应对从边缘到云场景中的管理复杂、基础设施孤岛、扩展效率低等一系列数据存储挑战;X10000 G6定位为AI时代下的坚实数字底座,聚焦在各类AI应用的支撑上。两款产品各自定位不同,很好覆盖用户数字化转型的存储需求。

从场景层面,新华三集团围绕不同场景差异化需求,根据产品特点来推动存储重构的落地。X18000 G6可以全面满足AI、虚拟化、数据库等全场景存储需求,非常适用于医学科研、AI绘画、自动驾驶等AI场景;而Alletra MP,可靠性极高、性能出色、统一平台和一致云化体验,加上AI加持,非常适合结构化数据的各种场景。

从理念层面,新华三集团一直推动智慧存储理念的普及。通过AI技术改善和提升存储产品,实现对应用层面变化的感知,掌握并理解业务规律,并进行正确分析与判断,让数据存储操作、管理等走向简易。新华三希望通过Alletra MP、X10000 G6两款全新存储产品,将智慧存储理念带入到更多用户和场景之中。

面向未来,新华三集团拥有一个完整的重构存储系统计划,推动存储产品不断重构、进化。新华三将以“云智原生”战略为指引,精研云智原生技术,深耕客户应用场景,持续加强技术创新,不断推出更多智慧存储新产品,帮助百行百业用户消除数据存储挑战,加速释放数据要素价值,共同迈向AI新时代。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1033042.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

视频编解码器H.264和H265有什么区别?

对于大型视频文件来说,视频编解码器至关重要,它可以将文件压缩为较小的尺寸,从而可以更轻松地存储和加快传输速度。而两种最常用的编解码器是H.264和H.265,那么它们两者之间有什么区别,哪一个更好呢? 1. 什…

https SSL证书使用 git bash 解密

申请域名证书后,有些证书下载时强制加密。 在使用时,比如在AWS ACM中使用时,不能用加密的证书。所以这里讲下怎么解密。 首先,加密一般加密的是公私钥中的私钥,即private.key。 填写密码,下载证书&#x…

玩转蓝牙墨水屏电子标签(一)点灯

对于垃圾佬的生活来说,每天逛海鲜市场是必不可少的生活片段,这不,手抖一下又刷到了一个东付的电子标价签。 价格合理,2块钱一个不包邮,直接买了N个。。。算了一下一个3.5,然后拿到群去炫耀了下,…

Xilinx FPGA 7系列 GTX/GTH Transceivers (4) Aurora 8b10b 递增数收发验证

第一节:Xilinx FPGA 7系列 GTX/GTH Transceivers (1)–了解了GTX硬件的基础知识 第二节:IBERT GTX --通过Ibert IP测试链路通信 第三节:aurora 8b10b single lane 4byte–学习官方历程 递增数验证 自行编写data_gen和data_check 验证aurora 8b10b SFP 1.25G 收发正确。 组…

用过lsof命令的,都竖起了大拇指!!!

lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) …

webpack常用配置与性能优化插件

webpack是一个流行的前端项目构建工具(打包工具),可以解决当前web 开发中所面临的困境。 提供了友好的模块化支持,以及代码压缩混淆、处理js兼容问题、性能优化等强大的功能,从而让程序员把工作的重心放到具体的功能实…

Bigemap如何添加mapbox图源?

会使用到的工具 bigemap gis office,下载链接:BIGEMAP GIS Office-全能版 打开软件,要提示需要授权和添加地图,然后去点击选择地图这个按钮,列表中有个添加按钮点进去选择添加地图的方式。 第一种方式:通…

k8s-2 集群升级

首先导入镜像到本地 然后上传镜像到仓库 在所有集群节点 部署cri-docker k8s从1.24版本开始移除了dockershim,所以需要安装cri-docker插件才能使用docker 配置cri-docker 升级master 节点 升级kubeadm 执行升级计划 修改节点套接字 腾空节点 升级kubelet 配置k…

MySQL备份及恢复

目录 MySQL备份 MySQL备份方法 备份策略 mysql的完全备份 mysql的增量备份 MySQL恢复 mysql完全恢复 mysql增量备份的恢复 MySQL备份 MySQL备份是基于对MySQL的日志进行备份,且恢复也是通过日志进行数据恢复。 MySQL备份方法 物理备份:直接对…

如何在一个月内通过PMP考试?

新版本考纲,有一个最大的难点。那就是知识点来自《PMBOK指南》,以及《敏捷实践指南》;但是考试大纲给了3个域、35个任务,这些只给了条目性的提纲,对应着考试的实践要求。 考试题目全部是基于情境的选择题,…

苹果开发者账号注册及证书生成方法详解

转载:注册苹果开发者账号的方法 在2020年以前,注册苹果开发者账号后,就可以生成证书。 但2020年后,因为注册苹果开发者账号需要使用Apple Developer app注册开发者账号,所以需要缴费才能创建ios证书了。 所以新政策…

MySQL全局优化与Mysql8.0新增特性

Mysql全局优化总结 ​ 从上图可以看出SQL及索引的优化效果是最好的,而且成本最低,所以工作中我们要在这块花更多时间。 补充一点配置文件my.ini或my.cnf的全局参数: 假设服务器配置为: CPU:32核内存:6…

包含日志文件

原理:某个PHP文件存在本地包含漏洞,却无法上传正常文件,包含漏洞却不能利用,攻击者就有可能会利用apache日志文件来入侵。 Apache服务器运行后会生成两个日志文件,这两个文件是access.log(访问日志)和error.log(错误日…

Vue3大屏项目实现数字跳动的效果

一、vue-count-to组件&#xff1a; 1、安装&#xff1a; npm install vue3-count-to --save 2、使用&#xff1a; <template><BaseCountTo:startVal"startVal":endVal"endVal":duration"duration":decimals"decimals":pr…

千万级用户的大型网站,如何进行服务器压力预估?

前言&#xff1a;一般情况下&#xff0c;单台Tomcat服务器每秒支撑500请求&#xff0c;单台MySQL数据库每秒支撑5000左右的请求&#xff0c;单台Redis缓存支撑每秒几万请求。 1、千万级用户量的压力预估 假设大型网站预估用户数是1000万&#xff0c;那么根据28法则&#xff0c…

河南分销系统开发怎么做产品分销?

一个好的产品&#xff0c;如何去找好的分销团队来帮自己做分销&#xff0c;首先这里面是好产品是一个相对的一个概念。 首先什么样才叫好产品&#xff0c;像我们来说&#xff0c;经常我们说做分销&#xff0c;我们尽量找一些高频的&#xff0c;有一些竞争力的产品&#xff0c;我…

乖离率BIAS指标选股公式,判断多空力量和超买超卖

乖离率(BIAS)指标用于衡量股价与移动平均线之间的偏离程度&#xff0c;可以用来判断当前市场的多空力量和超买超卖情况。 乖离率的计算公式比较简单&#xff0c;如下&#xff1a; BIAS (收盘价 - N日移动平均价) / N日移动平均价 100 其中&#xff0c;N代表选择的时间周期…

扩散模型新应用——微软推出蛋白质生成框架EvoDiff

作者 | 谢年年 最近&#xff0c;微软推出了一个名为EvoDiff的通用框架&#xff0c;据称它可以根据蛋白质序列生成“高保真度”和“多样性”的蛋白质。 这项技术的意义非凡&#xff0c;因为蛋白质是构成我们身体的疾病的基本组成部分。通过研究蛋白质&#xff0c;我们可以揭示疾…

vue项目实现地址自动识别功能

1、安装第三方依赖 npm install address-parse 2、在需要使用的页面引入 import AddressParse from address-parse; 3、在页面上写入静态的html代码&#xff0c;可以输入地址&#xff0c;加上识别的输入框&#xff1b; <div class"auto_address"><van-…

数据结构 - 链表

线性表的链式存储结构 概念 将线性表 L (a0, a1, … , an-1)中各元素分布在存储器的不同存储块&#xff0c;成为结点&#xff0c;通过地址或指针建立元素之间的联系。 结点的 data 域存放数据元素 ai &#xff0c;而 next 域是一个指针&#xff0c;指向 ai 的直接后继 ai1 …