轻骑逐单于,大雪满弓刀:华为分布式存储的一骑绝尘

news2024/11/19 15:14:01

50b71d3ce13bfe45bf89163e02e2cd4d.jpeg

唐代诗人卢纶,有一首脍炙人口的《和张仆射塞下曲》,“月黑雁飞高,单于夜遁逃。欲将轻骑逐,大雪满弓刀。”诗中的慷慨激昂,热血炙烈,千年来让无数国人心魂激荡。

时代变迁,岁月迁移,今天我们所期望听到的热血故事或许不在现实世界,而是在数字山野的轻骑追逐中,在核心科技的发展竞赛里。

《数字中国建设整体布局规划》中,明确提出了构筑自立自强的数字技术创新体系,为关键核心技术突破发展指明了方向。在核心科技自立自强中,越来越多的“欲将轻骑逐,大雪满弓刀”的故事正上演着。

c6ab0c4c94a7d90d393d06bed683ff86.png

5月24日,在德国汉堡举办的ISC 2023(国际超算大会)期间,更新了最新一期的IO500榜单,这是国际最权威的存储性能排行榜。在IO500极为重要的10节点榜单中,华为OceanStor Pacific分布式存储全面刷新了世界纪录。尤其惊人的是,华为OceanStor Pacific的总得分超过了13万分,是上届冠军得分的15倍之多。

在世界纪录背后,在华为OceanStor Pacific分布式存储霸榜背后,蕴藏着存储镇守数字经济大国重器的支柱意义,也蕴藏着中国存储从跟随走向领先的全球化趋势。

一纸榜单背后,是一份对数字山河的守候,是一场轻骑绝尘的突围。

数字时代,半壁江山

9ad4f4019c8aad516640b92fe2044169.png

想要讲清这个故事,首先需要了解一个背景:HPDA为什么重要?以及面向HPDA场景的分布式存储为什么价值非凡?

首先HPDA是由HPC(High Performance Computing高性能计算)发展而来。HPC是一种数据分析的应用场景。其通过聚合大量的计算和存储单元对数据进行分析,从而解决复杂问题。从基因测序到芯片制造,从油气勘探到航空航天,再到我们生活中的天气预报、影视特效渲染,都离不开HPC作为计算底座。

总之一句话,HPC是现代社会发展的计算基石。所以有人笑称,《三体》里的外星人要想遏制人类科技,其实不用那么麻烦,不让人类用HPC就行了。

随着HPC性能与技术的不断进步,人类能够在固定时间内分析更多数据,与之相伴的,我们也会保存更多数据给HPC场景,用来挖掘数据背后的价值。

随着相关数据量的指数级增长,HPC领域逐渐认识到提升数据分析能力、革新数据分析机制的重要性。将AI、大数据等技术分析手段与HPC结合,是更高效实现数据价值的新形式,即HPC、AI、大数据融合而成的 HPDA(High Performance Data Analytics)。

根据相关数据,2017 到 2023 年间,HPDA类应用的年增长速度达到了15.4%,HPC-based AI 类应用的年化增速更将达到 29.5%,远高于传统HPC的7.8%。由于HPDA事关国计民生,与国家的科技创新能力、科技自立自强水平紧密相关,HPDA已在全球范围内被认为是未来科技发展的战略高地,被称为占据数字时代的半壁江山。

一项技术的快速增长,往往会给配套设施带来挑战。HPDA的快速发展,就给存储产业带来了巨大的升级需求。随着数据量从PB级向EB级演进,存储成本日益增高。高性能计算量的持续增加,以及大数据、AI能力的加入,又对海量数据的多次提取、流转、读写、存储能力提出了更高的要求。

因此面向HPDA的分布式存储,正在承载越来越多的目光和声量。有人认为,谁掌握了HPDA存储,谁就能掌握尖端科研的未来。

8d2e04f9f248d46ec668427818435b88.png

但现实情况是,中国在发展适配HPDA场景的分布式存储过程中,正遇到一系列问题。

比如说,中国目前仍然有75%的数据存纳于机械硬盘之中。相对于闪存盘,机械硬盘容量密度低,数据读取慢,能耗高,可靠性差。相对来说,闪存介质几乎没有缺陷,尤其更适合HPDA场景这种对性能与时延异常敏感的工作负载。

在目前阶段,“磁退硅进”已经成为存储产业发展的核心趋势。比如全国人大代表、华中科技大学计算机科学与技术学院院长冯丹教授就提出,需要加快发展中国技术创新的,以半导体全闪存技术为核心的下一代存储技术标准体系。为此,要抓住全球存储介质升级、存储架构跨代演进窗口期,尽快完善中国自身的数据存储、数据保护、安全评测等关键标准体系建设。

在各个企业级存储相关领域中,以HPC、HPDA场景为代表的分布式存储全闪存替换任务更加急迫。好在,华为分布式存储已经开始行动,推进面向全闪存的一系列改造。比如说,本次IO500霸榜的华为OceanStor Pacific分布式存储,就是采用了全闪存机型。未来分布式存储的全闪化已经是确定性的产业走向,面向这个趋势,从产业侧到应用侧都应该加速分布式全闪的替换进程。

一件毋庸置疑的事就是,即便前路漫长,中国分布式存储全闪存替换是大势所趋,发展全闪分布式存储已经刻不容缓。

再者,适配高性能计算的Lustre分布式文件系统已经明显落后。Lustre 1.0早在2003年发布,随后得到了一系列欧美IT企业与美国能源部的认可,逐渐形成了谈起HPC,就无法绕开Lustre的局面。但事实上,Lustre在适配HPDA的过程中已经展现出了架构落后、磁盘碎片化问题严重、性能瓶颈明显、安全能力不足等短板。

在受目前外部环境未知的干扰下,对于存储这样承载着科技明珠HPDA的关键基础设施,逐渐实现自主可控也是当务之急。

综合来看,占据数字时代半壁江山的HPDA,亟需自主创新、实力绝群的存储力量来加持。

十分幸运的是,它来了,伴着“地表最强”的称号走来了。

ff9bd02f5d5fc1b987832fc19ace7b79.png

定海神针,霸榜之路

IO500是HPC领域最具影响力的世界级存储排行榜,被称为“存储界的诺贝尔”。其主要针对存储系统的性能进行评测与排名,综合考察了带宽性能(GiB/s)和元数据性能(kIOP/ s)两大部分。其中10节点榜单统一了计算规模,把基准性能测试的计算节点限制至10个,能够更全面、更准确地反映出存储在日常应用中的实际表现,备受全球HPDA领域用户关注。

综合来看,IO500在目前阶段就是最具公允性与说服力的存储性能榜单。一方面,经过多年发展,其颁布结果和行业价值已经得到了全球数字化产业的承认。另一方面,IO500榜单的测试非常客观、科学,其提供了严苛的标准化性能测试套件,确保结果可信。值得一提的是,IO500榜单有着公允的测试人员配置与学术监督机制,避免了不少榜单受地缘因素影响,恶意打压他国产品技术等现象。

2b14377efeb777c45dd26e75faf41f90.jpeg

在这样的存储领域最高舞台上,华为OceanStor Pacific分布式存储以一骑绝尘的姿态,完美刷新了纪录。其通过模拟不同的I/O应用模型,历经12项苛刻的场景测试,整体达到了2400 GiB/s的带宽与770万 kIOP/ s的元数据性能。打破IO500纪录十数倍的霸榜行为背后,可以仰望到华为OceanStor Pacific的技术成果在业界铸就了又一座丰碑。这座丰碑像一枚定海神针,在数字山河荡气回肠。

十年磨一剑,一朝试锋芒。成功霸榜之前,华为分布式存储已经用了十年时间深耕细作,累积深厚技术,不断创新。从这次IO500总览星图中就可以看到,从总体得分、带宽性能、元数据性能等五个维度来看,华为OceanStor Pacific全面实现了“五边形战士”的成就,没有一处短板,没留下任何空缺。难怪有人说,这次IO500出炉,让全球看到了华为存储藏不住的王者实力,看到了中国存储崛起的必然性。

0f11a9b1b0867dfd28d9a3fa305c30ee.png

快马加鞭,实力斐然

e01f70e239b2de8cecac9534f02aa76d.png

那么我们自然有必要刨根问底,看看华为OceanStor Pacific究竟是如何实现这些成绩的?

俗话说,天下武功,唯快不破,对于存储来说也是如此,快就意味着性能优势,意味着提升了HPDA的工作效率与数据分析能力。为了追求这个快,华为采取了不断精进的四层加速架构,这也被称为华为存储独有的“多维度加速”体系:

1.应用加速:面向HPDA为代表的数据密集型应用,华为分布式存储业界唯一的应用感知DataTurbo加速引擎,通过融合数据格式、近数据处理和特征处理算子卸载加速等技术,实现了HPDA生态应用性能的倍增,提升了应用处理效率。

尤其针对HPDA愈发密集、愈发不可或缺的大数据环节,华为统一了数据湖和数仓内的文件格式,并优化了元数据结构,创新性地在存储侧为计算引擎开启缓存能力,实现了效率60倍的提升,让数百PB数据的查询时间缩减至10秒。

2. 算法加速:通过独创的SmartBalance全均衡设计,华为可以实现对数据类型和I/O流的智能感知,从而能够提升HPDA业务混合负载的处理效率。这不仅兼顾了CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈,更解决了HPC多流程跨系统的数据迁移、数据膨胀问题。

85d34b5719428fb4cf5dba70e1d75864.jpeg

3.网存加速:华为OceanStor Pacific通过自主创新的网络芯片支持RoCE,同时支持RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时,可以智能调整网络的相关参数,大幅降低不同存储节点间的数据交换时延。

4.架构加速:与陈旧的Lustre开源分布式文件系统架构相比,华为分布式存储带来了全对称式分布式架构。据测评,Lustre的非对称设计会导致在7对MDS时出现性能瓶颈,并且网元部件众多而导致IO路径漫长。与此不同的是,华为OceanStor Pacific的全对称架构打破了元数据瓶颈,性能可以随容量实现绝对的线性增长。

此外,与Lustre对负载的单一路径读写、覆盖写模式不同,华为OceanStor Pacific采用智能IO路径选择与Append-Only模式,避免长时间运行导致的磁盘碎片化问题,实现动态混合IOPS性能提升20%。

不仅如此,相比Lustre自身无冗余保护,纯粹依赖底层SAN阵列的RAID保护的安全模式,华为OceanStor Pacific凭借软硬一体的稳定深度可信协同,满足跨节点冗余保护,支持最大4节点故障业务不中断。

通过四大维度的全面技术创新,华为实现了分布式存储的“快马还需一鞭”,比想象中更快一步。这些技术创新点的叠加产生了一种化学反应,让华为OceanStor Pacific的性能远超业界竞品,做到了这样一句武侠小说里的形容——真正的强大,是没有对手的。

97ce316077c4afdde6ffcf6d437e98eb.png

龙城飞将,家国守候

与大家想象的不同,华为分布式存储并非远在天边,其所带来的价值就在我们的城市中,就在我们的生活里,就在科技自立自强的披星戴月中。

比如说,山东的朋友应该都对济南超算非常了解。国家超级计算济南中心,是科技部批准成立的千万亿次国际超级计算中心之一,目的是为打造超级计算的高性能数据分析HPDA平台,从而支撑学术攻坚,赋能透明海洋、类脑计划、基因组学、人工智能、新药创新等领域的大科学计划、大科学工程的实施。

这样一个重要的平台,在存储资源搭建过程中却也遇到了一系列问题。比如说以文件存储为主的HPC平台、AI平台,与以对象存储为主的云平台,存在严重的数据孤岛,最大的难题是不同平台间的数据流动。并且,存储资源的相互抢占,会导致原本充沛的算力无法发挥,整体系统效率不高。

峰回路转,华为OceanStor Pacific分布式存储有效地解决了这些问题。通过结合数据流动软件,华为分布式存储帮助济南超算打造了超算领域首个最大规模的数据流动平台,其可支持打通数据流动,促进数据跨域创新,助力济南超算中心打造数据密集型超算。在我们为济南超算、中国超算自豪时,似乎也应该记得军功章有华为OceanStor Pacific的一份。

华西医院,是四川朋友非常了解的一家医疗机构。除了强大的医疗能力,华西还肩负着科研探索、引领西南地区生物医药事业发展的重任。其中,华西生物医学大数据中心是华西医院的健康医疗大数据研究与应用开放共享平台,其推进的大规模全基因组分析,以及临床成果转化,是华西生物医学大数据中心的重要探索方向。

想要满足华西在基因领域的数据存用,也有着一系列挑战。基因测序产生的数据容量普遍达到了TB级别,对数据存储提出了挑战。华为OceanStor Pacific分布式存储,为华西医院提供了更高性能的存储底座,实现了200倍存储性能提升,全基因组分析流程时间从传统的24小时缩短到了7分钟。

都说21世纪是基因的世纪,在认识我们自己前,首先需要妥善的存储作为探秘基因工程的起点,华为OceanStor Pacific分布式存储再次守护成功。

由此不难看出,华为OceanStor Pacific既是数字中国的守护者,也是数字中国的加速器。它默默守护着科技创新、前沿探索,帮助每一座城市在超算的时代里熠熠生辉。

76875fd723a60588b3aa49b81216e2ee.png

目前阶段,华为分布式存储在欧洲、中东、拉美和亚太的关键业务场景均实现了大规模突破,达到了2022年全球二级存储收入排名第二的成绩,在总份额中占比25%,并保持着18%的增速。从国内来看,华为分布式存储连续六年市场第一,占比高达48.2%,同时在海外,华为分布式存储也受到广泛认可,份额达到25%,在文件与对象存储上的收入增速高达50.8%。

未来,我们应该会看到华为存储出现在更多的榜单上,欲将轻骑逐,大雪满弓刀,越来越多的数据中心、实验室、工厂、农田里,将上演以存储定未来的故事。

尤其在这个时代,华为OceanStor Pacific折桂IO500还有一重独特的意味。这重意味,可以用一句边塞诗来表达:但使龙城飞将在,不教胡马度阴山。

3a52ae95f24460b4e1d784e6c63f5b4f.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/633423.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LeetCode面向运气之Javascript—第20题-有效的括号-95.97%

LeetCode第20题-有效的括号 题目要求 给定一个只包括 ‘(’,‘)’,‘{’,‘}’,‘[’,‘]’ 的字符串 s ,判断字符串是否有效。 有效字符串需满足: 左括号必须用相同类型的右括号闭合。左括号…

卑微小测试的一天----自动生成正交法测试用例

前言 工作过程中,我们接触到需求后第一要务是 熟悉需求并且输出测试用例,针对接口测试的入参测试,需要校验大量入参的组合场景,这时我们通常采用正交法来设计测试用例,在减少测试用例的数量时,同时保障测试…

Java 命名规范

包命名规范 包(Package) 的作用是将功能相似或相关的类或者接口进行分组管理,便于类的定位和查找,同时也可以使用包来避免类名的冲突和访问控制,使代码更容易维护。通常,包名使用小写英文字母进行命名,并使用 “.” 进…

LeetCode——半有序排列

一、题目 2717. 半有序排列 - 力扣(Leetcode) 给你一个下标从 0 开始、长度为 n 的整数排列 nums 。 如果排列的第一个数字等于 1 且最后一个数字等于 n ,则称其为 半有序排列 。你可以执行多次下述操作,直到将 nums 变成一个 …

LeetCode_前缀树_困难_212.单词搜索 II

目录 1.题目2.思路3.代码实现(Java) 1.题目 给定一个 m x n 二维字符网格 board 和一个单词(字符串)列表 words, 返回所有二维网格上的单词 。单词必须按照字母顺序,通过相邻的单元格内的字母构成&#xf…

网络安全学术顶会——SP 2023 议题清单、摘要与总结(中)

注:本文由ChatGPT与Claude联合生成 51、Effective ReDoS Detection by Principled Vulnerability Modeling and Exploit Generation 正则表达式拒绝服务攻击(ReDoS)是一种算法复杂度攻击。对于易受攻击的正则表达式,攻击者可以精心…

kotlin学习(一)基本概念、数据对象类型、控制流程、空值检验、类与接口

文章目录 认识Kotlin跨平台特性语言类型java的语言类型kotlin的运行原理 hello world 基本概念程序入口数据与对象类型 和 显式数字转换浮点类型位运算AnyUnitNothing 声明变量只读变量 val与可变变量var查看Kotlin字节码 fun(方法 / 函数)函数参数默认值…

MindMapper 思维导图 21.x

MindMapper 可视化绘图软件是任何想要快速组织思想和想法的人的必备工具。MindMapper 具有易于使用的界面,可以轻松创建可用于头脑风暴、决策制定和项目管理的综合思维导图。MindMapper 还是一个非常强大的生产力工具,因为它允许用户跟踪他们在项目和任务…

Linux GCC,GDB,Shell脚本的简单使用

这里写目录标题 GCC命令GDB命令Shell脚本 GCC命令 GCC(GNU Compiler Collection,GNU编译器套件)是由GNU开发的编程语言译器 编译一个简单的.c程序: 四步分开写: gcc -E -o hello.i hello.c // 预处理 gcc -S -o he…

49、基于51单片机无刷电机调速系统设计(程序+原理图+PCB图+英文文献+参考论文+开题报告+元器件清单等)

摘 要 由于电机的发展,电动机由之前的带有刷子变换为无刷子直流电动机,其内部结构是电子换向器,而不是传统的机械式换向器,电动机的组成为永磁材料制造的转子和带有线圈绕组的定子组成。 所以本论文思路在全面分析无刷直流电机…

Tuleap ,一个用于软件项目管理的平台

Eclipse 基金会使用 Tuleap 取代了 Bugzilla,Tuleap 是一个独特的开源项目管理工具,目前发展势头很好,现在,每个月它会出一个大版本。它还被列在2015 年五大开源项目管理工具和 2016 年十一个名列前茅项目管理工具中。 Manuel Vacelet 是开发…

【MySQL】一文带你了解MySQL的基础知识

🎬 博客主页:博主链接 🎥 本文由 M malloc 原创,首发于 CSDN🙉 🎄 学习专栏推荐:LeetCode刷题集! 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指…

【Docker】docker部署springboot+vue+mysql+nginx前后端分离项目【实战篇】

文章目录 1、docker 安装jdk2、docker 安装mysql通过Docker命令进入Mysql容器内部初始化数据sqlDbx连接查看 3、docker build构建后端镜像修改配置数据库JDBC链接IP为虚拟机服务器IPmaven clean package打包后端jar并上传到服务器编写Dockfilebuild 构建查看构建的后端镜像app …

51单片机读取DS18B20温度传感器

1.首先我们知道DS18B20是单总线协议,只有一根数据线。所以Data数据线即使发送端又是接收端,同时DS18B20内部接了弱上拉电阻(如图一所示),数据线默认为高电平。有了这些概念,我们就能进行下一步。 图一&…

1738_创建自己的simulink模块库

全部学习汇总: GreyZhang/g_matlab: MATLAB once used to be my daily tool. After many years when I go back and read my old learning notes I felt maybe I still need it in the future. So, start this repo to keep some of my old learning notes servral …

随着网络犯罪策略的转变,暗网威胁瞄准能源行业

根据 Searchlight Cyber 的一份报告,能源行业越来越多地通过暗网上的活动成为恶意行为者和威胁组织的目标。 该报告详细介绍了威胁行为者出售全球能源组织初始访问权的众多实例。 其中包括美国、加拿大、英国、法国、意大利和印度尼西亚的流行暗网论坛&#xff08…

使用AIGC工具巧用Linux系统

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

【Python爬虫开发基础③】Python基础(文件操作方法汇总)

友情提示:由于本专栏的文章偏向于爬虫,所以对于python的介绍不可能面面俱到,在这里只讲重点。 如果大家觉得有没讲到的地方,欢迎补充~ 往期推荐: 【Python爬虫开发基础①】Python基础(变量及其命名规范&…

黑马Redis视频教程高级篇(三:最佳实践)

目录 一、Redis键值设计 1.1、优雅的key结构 1.2、拒绝BigKey 1.2.1、BigKey的危害 1.2.2、如何发现BigKey 1.2.3、如何删除BigKey 1.3、恰当的数据类型 例1:比如存储一个User对象,我们有三种存储方式: 例2:假如有hash类…

5.部署LVS-DR群集

文章目录 部署LVS-DR群集LVS-DR数据包流向分析LVS-DR中的ARP问题问题一问题二 LVS-DR部署调度器配置节点服务器配置NFS服务器配置 ipvsadm 部署LVS-DR群集 LVS-DR数据包流向分析 为方便进行原理分析,将Client与群集机器放在同一网络中,数据包流经的路线…