实测 | 海纳百川,华为OceanStor Pacific分布式存储为多元算力应用带来更优选择...

news2025/1/16 1:51:22

d2e7aa1d044062df347ae336e7136747.jpeg

被称为开眼看世界的林则徐,在自己的书房中写了这样一副对联,以做自勉:海纳百川,有容乃大,壁立千仞,无欲则刚。

包容的胸怀是我们做成很多事情的根基,也是一项产业战略、科技事业发展的关键。近几年,数据基础设施国产化,在科技自立的大背景下如火如荼。比如,以计算和存储为主要构成的HPC/AI数据基础设施事关国计民生,在以科技创新和基础科研为代表的关键领域均扮演着重要角色。但很多科技科研场景的HPC/AI数据基础设施当前都依托X86 CPU+GPU+Lustre存储+IB交换机这个大一统的抱团生态体系,且已成为业界公认的HPC/AI设施最佳性能组合之一。如何兼顾科技科研领域的效率成果与自立自强,为HPC/AI等多样性算力应用关键场景,提供最适合业务的数据底座,成为一个关键问题。

420ed36e1f78dde800f0ccb9cc6c81bb.jpeg

这种情况下,“海纳百川,有容乃大”的意义就凸显了出来。不久之前,在深圳一所国家重点实验室,华为OceanStor Pacific分布式存储与早期依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的某大科学装置AI集群进行了综合的POC测试。其结果显示,华为OceanStor Pacific分布式存储完美兼容匹配该大科学装置的AI集群生态环境,更重要的是通过实测,其多项指标性能和功能均优于现有系统。华为与该国家重点实验室联合操作的这项POC测试意义极其深远重大,远超于一款产品或解决方案发布:它代表了一种实事求是,兼容并蓄的发展策略;是一块国产先进存储面向全球的敲门砖,一艘中国科技与全球化间的破冰船;对于科学研究,乃至更多领域的数字化、智能化进程来说,这是十分幸运的。

a2d00d96a6b57c6764043f8532acef62.png

数据之潮,时代之需:

科研场景的存储挑战

X86+GPU主导的大一统生态技术体系经过了数十年发展和构建,其大树根基在全球和中国已经十分深远。大量国际国内的数字化工具和软件应用,数字化成果都捆绑X86+GPU。这在某种程度上来说是种无奈,但也是客观存在不可回避的现实。

尤其在科研领域,HPC/AI正在全球各个学科的研究中扮演重要角色,X86+GPU算力平台可以更方便教授学者与科研从业人员接触全球最新学术动态和验证科研成果。这种强惯性的作用下,短时间内强行脱离X86生态是不现实的。因此,早期甚至当前新建的很多HPC/AI基础设施,选择建立在X86+GPU体系上。

9eeafd1fbfaa671bc2c6f80337e64a1a.jpeg

随着HPDA的整体发展,从业务负载上而言需要考虑HPC/AI、大数据以及AI的混合叠加,需要支持应用驱动的科学计算工作流,进而推动负载以数据为中心,从计算科学发现转向数据科学发现转变。

科技科研的突破速度取决于数据基础设施的性能,特别是对数据存储性能带来极致挑战。第一个挑战是应用的数据量级从PB级正在加速走向EB级;第二个挑战是应用的负载从单一走向多样化,也就是常说的混合负载;最后一个挑战是应用类型的变化,从简单走向复杂。核心是数据与业务的耦合度在增加,数据计算需要参与整个业务流程的多个环节,且环环相扣,缺一不可。

在当前推进科技科研自立自强的大时代背景下,面对这些数据中心存储挑战和需求,以及面对X86+GPU体系暂不可完全替代,国内业界都希望看到先进的国产存储兼容X86+GPU环境的下的HPC/AI应用,也可以提供媲美Lustre存储的性能和功能。

更佳性能,更优选择:

华为分布式存储的价值呈现

f701d2a29e7bc2c5e0ed390405ef6115.png

不久之前,华为OceanStor Pacific分布式存储与在深圳某国家重点实验室依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的大科学装置AI集群进行了POC测试。从测试结果上看,整体兼容效果良好,没有出现任何兼容问题,并且使用了华为OceanStor Pacific分布式存储之后,存储在功能、性能上优于现有系统,融入计算集群的效果也更加良好。

这次测试对接的成功,表明华为在技术创新、产品兼容上的进取姿态,也表明其为科研创新,乃至更广阔计算、存储领域做出贡献的决心。科研教育与国家实验性,在一个国家的计算基础设施中具有代表性意义。与该大科学装置AI集群的成功对接,可以看作华为OceanStor Pacific分布式存储敲开了国产存储为HPC/AI提供更优选择的大门。HPC/AI应用场景下,Lustre不再独领风骚。

一般来说,多元算力包括x86、ARM、AI、GPU计算等多种计算生态,存储需要根据不同的计算场景与计算设施,为用户提供最佳体验。华为分布式存储的价值与优势,释放到HPC/AI场景,可以有效满足科研等场景中的存储需求。

具体而言,华为OceanStor Pacific分布式存储通过这样几个角度,破除HPC/AI场景的存储困局。

f4ed7268c849acb9c5083d238409eeb2.jpeg

首先解决海量数据高性价比存储的问题:我们知道随着HPC/AI业务量的不断增长,往往最先遇到的是机房空间不足和存储成本高昂的问题。为此,华为推出了 华为OceanStor Pacific分布式存储高密专用硬件,基于全新的高密架构设计,并提供更高的容量利用率,在有限的机房空间里存下更多数据,更好地满足海量数据增长的需要。叠加华为OceanStor Pacific分布式存储的智能分级存储技术,对域内热、温、冷数据进行统一管理,数据能够在热、温、冷层系统间自动迁移,无需管理员手动干预,灵活有效地管理数据全生命周期,同时有效解决海量数据的运维管理难题。

其次,提供面向混合负载的高性能:HPC/AI应用计算所涉及的数据越来越多、类型越来越丰富、任务并发性也越来越高,因此需要性能更加均衡的存储。华为OceanStor Pacific分布式存储采用OceanFS新一代并行文件系统,结合独特的大小I/O自适应数据流技术,一套存储即可同时满足极致带宽、极致IOPS和极致时延的混合负载要求。通过与分布式并行客户端(DPC)的密切配合,打破单流和单客户端的性能瓶颈,帮助企业有效应对混合工作负载的挑战。

最后,多个不同业务环节数据的高效安全流动:由于数据量的增大、数据应用的复杂化,数据在不同环节、不同系统间高效流动是HPC/AI业务面临的一个主要挑战。华为OceanStor Pacific分布式存储拥有业界领先的多协议互通能力。多个存储服务同时访问一份数据,支持 NFS、CIFS、HDFS 和 S3 等协议的按需部署,通过其中一种协议写入的数据,无需迁移即可被其他协议读取,提高跨环节、跨系统的数据分析效率。

此次面向多元算力,释放多元算力价值的全面启航,展现了华为的包容与兼顾,也展现了华为OceanStor Pacific分布式存储乃至华为存储,迈向科研+HPC/AI场景的发展方向。

bc31ab67c4f842455a74691f74655463.png

面向未来,有容乃大:

数据基础设施再启航

在成功完成兼容测试后,华为在市场与受众的层面获得了更广泛的认可。但华为OceanStor Pacific分布式存储与深圳知名的国家重点实验室大科学装置X86 AI集群进行的POC测试,更广泛的价值在于面向科研领域、ICT领域,展现了一种关于有容乃大的智慧。

这次测试成功,对于多方面来说都有其意义。

对于科研机构来说,X86环境的HPC/AI可以很快获得更好的存储支持,即使不在短期进行国产化计算替换,也可以实现数据可控、可信的数字化战略,从而获得更稳健、开放的科研环境。

216370aa2536218966c4ae63a1e74869.jpeg

对于HPC/AI相关项目与数据中心来说,华为OceanStor Pacific分布式存储兼容多元算力意味着更多选择,更广阔的解决方案构建空间,确保计算基础设施真正实现多样性。对于计算国产化趋势来说,我们不搞封闭和孤立,而是在开放、包容的态势中走向科技自立自强。

华为分布式存储支持多元化算力,意味着是一个真正开放兼容、自主创新的高可靠存储数据底座正在建立,具备传统超算、大数据分析及AI分析能力,应用驱动统一数据源支持全流程科学计算服务,在为科研及商业提供多样性算力同时,能够基于数据知识累积,提供高阶数据价值服务。华为OceanStor Pacific分布式存储的兼容性提升,既是一次新的启航,也是一个明确的指向:它向世界展示了中国ICT产业海纳百川的胸怀,包容万物的决心。

86e04c9d3fdf90d431c030a567ad5124.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/109922.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据开源 | Magic Data开源基于ChatGPT的可扩展的对话数据集

在过去的一月里,人工智能领域中最火的话题莫过"ChatGPT"。ChatGPT是OpenAI于11月30日发布最新作品聊天机器人,开放公众免费测试。聊天机器人是一种软件应用程序,根据用户的提问做出回应、模仿人类的对话方式。目前,Chat…

做好程序中的axios错误提示

今天外包组的项目客户反馈老是出错,一看页面卡在加载数据过程中,前后台分离之后,页面变得很奇怪,脸面都出来了,就是没有具体值。 初级程序员在很长一段时间要经历一个升级过程,写的程序首先是写画面&#…

散户如何进行开展量化股票交易的?

散户如何进行开展量化股票交易的?也就是投资者交易的条件,达到了投资者设定的条件时候,系统接口就会自动交易,下面来看看具体的流程: 依据个股的历史记录,进行多因子选股,比如,把市…

Rasa 基于知识库的问答 音乐百科机器人

文章目录1. 使用 ActionQueryKnowledgeBase创建知识库NLU数据2. 音乐机器人nlu.ymlstories.ymlrules.ymldomain.ymlconfig.ymlendpoints.ymldata.json自定义动作 actions.py测试使用Neo4jlearn from https://github.com/Chinese-NLP-book/rasa_chinese_book_code 机器人返回了…

从“小螺栓血案”谈装配体模型连接螺栓6个正确的处理方法

经调查发现:“江苏启安建设工程有限公司提供了支吊架膨胀螺栓计算书,但计算书上无企业相关人员签字,未经监理单位审核同意,未报施工总包单位,未经设计单位审定;计算书认为支吊架应采用直径为12mm 的膨胀螺栓…

成为全栈程序员太难了?这个低代码高效率的报表工具绝对不能错过

现在程序员有个很奇怪的归宿,就是都在主动或被动地成为全栈程序员。前端被要求写后端的代码,后端被要求能看懂前端,美名其曰加速成长或为老板省钱! 但一个人能做到全栈真的很难!就拿报表开发而言,学习整个…

朴素贝叶斯

概要 前文介绍了贝叶斯公式基础以及在统计领域的基本应用贝叶斯基础_zhanglehes的博客-CSDN博客,本文将介绍它的一种新的转换形式,以及在机器分类领域的应用。 分类的数学描述 朴素贝叶斯公式推理 贝叶斯公式 在分类领域,将其改写如下 我们…

在conda虚拟环境中安装OpenCv并在pycharm中使用

目录 一. 在下面的网站中下载OpenCV文件 二. 在虚拟环境中使用pip安装该文件 三、官网下载OpenCV源代码(后续使用) 四、pycharm中打开该虚拟环境 五、安装numpy和matplotlib 六、pycharm找不到cv2模块解决: 七、在pyhcharm中使用cv不自…

在服务器安装jupyter并在本地访问

一、安装 1.1安装jupyter notebook pip install jupyter1.2安装jupyter lab pip install jupyterlab # 中文界面包 pip install jupyterlab-language-pack-zh-CN二、本地使用 我们在远程登录Linux服务器时,经常希望在本地浏览器端打开jupyter notebook&#xff…

需求的收集,筛选和排序

对需求的把握是否准确,很大程度上决定了产品的成与败,需求分析对于产品经理是必须要掌握的技能,接下来聊下需求收集的目标和方式。 一、收集渠道: 1、用户反馈: 用户提出的反馈有可能也是我们没有意识到的问题&#…

SMT工厂及PCB工程师的福音!可视化BOM交互焊接工具来了

目前电子产品已经渗透到我们生活的各个角落,其产品涵盖通信、医疗、计算机及周边视听产品、玩具、家用电器、军工用品等。关于电子产品的PCBA焊接,在试样阶段一般采用手工焊接。手工焊接的好处是成本低,一把电络铁就搞定了,如果样…

记一次简单的白加黑测试

前一阵子成了小洋人,所以很长的时间也没更新了,今天更一篇PHP代码审计的吧,此次分享的内容十分的简单,大家简单的看看即可 命令注入 -1 从上述代码,我们可以看出来,$ip变量接收过来之后通过合并运算符(??…

【OpenCV-Python】教程:7-3 理解KMeans

OpenCV Python KMeans 的理解 【目标】 理解KMeans聚类的基础概念KMeans是如何工作的, 【理论】 Tshirt尺寸问题 有个公司,打算投放一批T-shirt到市场上售卖,但是不知道人们需要什么样的尺寸,而且工厂也不会制作所有的尺寸样…

联想C2E摄像头的折腾

背景 老苏的巨峰摄像头坏了,一直也没在意,因为监控也不是什么刚需。朋友送的,比较古老,不像现在的家用监控摄像头,都有 app,而这台巨峰摄像头不光不支持 app,后台设置还只能用 IE,因…

OLSR路由协议学习

OLSR路由协议概述两种分组路由发现与维护算法步骤链路感知邻居侦听MPR选择拓扑建立路由表的建立与维护总结概述 优化链路状态路由(Optimized Link State Routing)协议,即 OLSR 路由协议是一种平面拓扑的先验式路由协议(主动式路由…

使用mosquitto部署MQTT服务

本次实验使用版本:mosquitto-1.6.7 查看版本命令:mosquitto -v 1安装 make && make install,安装mosquitto。 安装完毕后放开防火墙 查看防火墙某个端口是否开放 firewall-cmd --query-port1883/tcp 开放防火墙端口80 firewall-…

BHG Mall超级宠粉节攻略收藏,商业IP化出圈新玩法

购物中心作为人们生活的第三空间,除了满足物质需求外,是人们精神消费的最主要空间之一。中国连锁经营协会发布《中国购物中心对经济社会发展贡献力报告》,报告中显示,购物中心不断转变,发展成为城市能够识别时代精神符…

关于我转行嵌入式的那些事

文章目录**为什么想转行了?****一、工作环境问题****二、无休止的出差加班和混乱的作息时间****三、工作压力大****四、薪资上限低,行业前景差****为什么选择嵌入式****转行前的学习****一、单片机开发****二、Linux应用开发****三、Linux驱动开发和Andr…

高校GIS系统有何作用?

根据高校信息化管理平台的基本建设,全方位提高数据服务团体的管理服务质量。根据综合性平台全方位地服务项目出示,更为全方位地掌握老师学生的主题活动特性,并根据云计算技术对老师学生的个人行为数据信息开展发掘剖析,进而精确掌…

VSCode远程连接Linux服务器上的项目,并连接GitHub

一、Linux中创建ssh密钥 以centos为例,创建ssh密钥 ssh-keygen -t rsa -C "your_emailexample.com" 后面连续点击回车即可。 如此便会在 ~/.ssh 目录下生成身份验证所需的公钥和私钥两个文件. 上文中使用的 RSA 算法, 所以得到的文件默认应为 id_rsa…