新一代分布式融合存储,数据场景All In One

news2024/12/24 16:54:40

1、摘要

        2023年5月11日,浪潮信息全国巡展广州站正式启航。会上,重磅发布新一代分布式融合存储AS13000G7,其采用极致融合架构设计理念,实现同一套存储满足四种非结构化数据的“All In One”高效融合,数据存力提升300%,IO性能提升100%;同时,实现四种非结构化协议无损访问,实现多元场景的“All In One”,加速释放数据要素的价值。

2、引言

        智算时代,算力是生产力,数据是核心生产要素,也是支撑AI训练和智慧应用的基础。在AIGC、智能驾驶、智能制造、智慧医疗等万千智慧应用场景中,PB级乃至EB多模态数据是支撑智慧应用的关键要素。例如,最近爆火的AI大模型,参数量呈现多元、海量且快速增长的态势。

        GPT-3语言大模型拥有1750亿的参数量,而到了最近的GPT-4,参数量已突破万亿规模,同时数据类型变得更加丰富,除了文本外,还需要图像、音频、视频等多样化数据。面对千行百业的海量多态的数据场景,企业需要化繁为简的极致存储。

        在自动驾驶、天文观测、基因测序等场景下,一次数据处理过程通常涉及文件、对象、大数据多种协议的数据存储和访问方式。以天文观测场景为例,一次完整的天文观测数据处理涉及到数据采集、数据预处理、数据分析和成果保存四个步骤,不同阶段使用了不同的访问协议。传统分布式存储仅支持单一协议访问,即客户需要同时部署多套存储系统,并且不同协议处理时,需要进行数据转换和拷贝,造成存储空间浪费和存储成本增加的同时,极大程度降低数据的处理效率。

3、架构介绍

       新一代分布式融合存储实现了一套集群系统同时支持文件、对象、大数据、视频四种协议,实现数据融合;同时支持闪存、磁盘、磁带、光盘四类存储介质,实现管理融合;可以支持基础设施云化、结构化、非结构化等全部应用场景;支持全生命周期管理,数据在热、温、冷、冰四级存储间自由、高效流动,实现“一套存储架构、支持一个数据中心”。

4、关键技术 

        其一,存储资源融合互通,数据全局共享

       分布式融合存储平台构筑了全局统一存储资源池,数据及元数据均统一管理,不同协议(NFS/CIFS/HDFS/S3)共享共用,且创建的文件、数据及元数据仅保存一份,有效减少数据重复存储成本。

        其二,多协议融合互通,数据零拷贝

        根据传统NFS、CIFS、HDFS和S3存储协议的特点,分布式融合存储平台设计出统一的存储架构。协议层无需数据转换和拷贝、安装网关或插件及在计算侧或应用层改造,即可直接原生语义无感接入,大大提升数据处理效率。

        其三,原生语义支持,语义零损失

        语义损失是导致传统协议互通方案无法商用的主要原因。文件、HDFS和对象服务由于使用场景的差异,每种服务都有各自独立的语义,如文件的快照、对象多段上传及HDFSRanger鉴权等。传统协议互通方案由于存储架构和元数据管理不统一,无法实现各协议完整的语义支持,通常需要上层适配修改,造成语义损失。分布式融合存储平台在统一存储架构上实现多协议的统一元数据管理,支持各协议原生无损语义访问存储系统,应用无感接入。

        其四,权限互通,多协议权限联动

        由于文件、对象、HDFS协议权限管理方式各不相同,传统协议互通方案权限管理较为混乱,无法做到权限互通,给用户访问带来极大的不便和困扰。

        针对Windows用户、Unix用户和对象用户的不同访问形式及隔离限制,设计出用户映射机制,实现不同类型用户权限共享,打破不同类型用户之间互相隔离的壁垒;提炼出统一的权限管理架构,统一管理非结构化数据权限。可以做到一份数据,一份权限信息,一种协议修改权限,对其它协议同时生效,真正做到了权限实时联动。

        其五,冗余保护,数据安全可靠

        支持更全面的数据保护策略,提供跨节点、跨机架、不同级别的数据冗余保护,用户无需担心宕机、掉电等意外故障带来的数据丢失风险。同时支持数据副本、纠删冗余策略,能够实现数据及时快速恢复,提高数据可靠性。

        其六,数据分级存储,降低存储成本

        随着数据的爆炸式增长,单一形式的存储已经无法满足用户高性能和低成本的需求。AS13000提供灵活的分级策略,将数据按照设定的策略和热度分别存储在高性能存储介质和相对低成本的存储介质中,合理利用存储空间,降低存储成本,快速响应用户的数据存储需求。

        最后,特性级互通,高效便捷

        凭借统一的特性架构和操作接口,实现特性级互通,对外提供统一的增值特性服务,如统一配额、统一QoS、统一分级存储、统一回收站、统一元数据检索。设置后,对NFS、CIFS、S3、HDFS等多种协议即时同步生效。

5、亮点

        一套存储架构 融合海量多态数据

        伴随数字化转型的深入,海量多态数据应用正快速增多,数据融合存储的诉求日益增长,如何以更优的成本、更高的效率,让视频、图片等多态数据存得更多、更久、更可靠,是业界的挑战。

        新一代分布式融合存储,支持四合一架构的融合存储,用户购买一套存储享有文件、对象、大数据、视频四种存储服务,不同非结构化存储服务间可访问同一份数据,融合存储空间利用效率提升200%,实现用一套存储架构高效支撑一个数据中心,满足性能需求的同时,帮助企业降低TCO。

        同时,在海量多模态场景,浪潮信息打造高密专有产品,采用4U60盘位配置,支持20TB大容量硬盘,单节点容量超1PB,一台顶三台;同时基于32+2大比例纠删、数据缩减技术,硬盘利用率高达94%。

        一套存储平台,加速数据处理和流动

        无论是自动驾驶的路线决策,还是电商平台的精准营销,数字化医疗线上问诊等数字化智慧应用,背后都离不开对海量图片、文本、视频等非结构化数据的采集、训练、建模分析和决策,2023年实时数据已占到全球数据圈25%的份额。以高精地图为例,高精地图一般通过采集车每天采集、回传数据进行分析刷新绘制,每辆车每天采集的数据达数十TB,实时回传GPS、轨迹、速度、经纬度等多样化数据,每秒处理千万点位。性能,成为智慧应用永无止境的诉求。

        新一代分布式融合存储为了提升性能,在一套存储平台内推动盘控协同和全链路端到端性能优化,让数据在热温冷冰四级存储内高效互通、流动。AS13000G7搭配第四代英特尔至强CPU、自研PCIe 5.0 NVMe SSD,并通过RDMA协议、CPU专核专用、数据分区、随机转顺序等技术的代码级联合调优实现性能的提升,单节点带宽超过50GB/s,相当于一秒传输25部高清电影。相较上一代产品,AS13000G7新品性能至少提升40%。

        一套存储平台 保障数据安全可靠

        新一代分布式融合存储从部件、器件、整机系统、核心软件、管理软件到解决方案,用六重保护确保服务永远在线、数据永不丢失。在器部件层面,严选高可靠性的器件,围绕可靠性去定制硬盘、SSD等部件。在集群层面,基于全对称分布式架构,最大可扩展至10240节点,基于大比例弹性EC,最大可同时容忍任意4节点失效。

        面向病毒和防勒索软件的攻击,推出了端到端的数据安全解决方案。首先,可以为用户提供生产存储、双活存储、异地备份的多重保护;其次,通过对读写行为的分析,预测勒索行为,即时终止恶意勒索行为并通过高密快照技术迅速恢复数据;再次,通过引入第三方杀毒软件,杀灭勒索病毒;最后,通过数据防篡改技术、物理隔离技术、加密等技术,让病毒进不来、改不了,数据看不到、带不走,打造数据安全的最后一道防线。

参考:

http://www.dostor.com/p/84080.html

https://mp.weixin.qq.com/s/7-xDoN2JiR5HIKXjP5evWA

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/866170.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器学习基础之《特征工程(4)—特征降维—案例》

一、探究用户对物品类别的喜好细分 1、找到用户和物品类别的关系 数据如下: (1)order_products__prior.csv:订单与商品信息 字段:order_id,product_id,add_to_cart_order,reordered…

【已解决】mac端 sourceTree 解决remote: HTTP Basic: Access denied报错

又是在一次使用sourcetree拉取或者提交代码时候,遇到了sourcetree报错; 排查了一会,比如查看了SSH keys是否有问题、是否与sourcetree账户状态有问题等等,最终才发现并解决问题 原因: 因为之前公司要求企业gitlab中…

平板选择什么电容笔比较好?ipad手写笔推荐品牌

在现在的生活上,有了iPad平板,一切都变得简单了许多,也让我们的学习以及工作都更加的便利。这其中,电容笔就起到了很大的作用,很多人都不知道,到底要买什么牌子的电容笔?哪些电容笔的性价比比较…

佛祖保佑,永不宕机,永无bug

当我们的程序编译通过,能预防的bug也都预防了,其它的就只能交给天意了。当然请求佛祖的保佑也是必不可少的。 下面是一些常用的保佑图: 佛祖保佑图 ——————————————————————————————————————————…

那些年的iOS开发经验记录

【iOS】Cydia Impactor 错误:file http.hpp; line:37; what: _assert(code 200) Cydia Impactor 报错,信息如下 file http.hpp; line:37; what: _assert(code 200)解决方案:Cydia Impactor 已被弃用,切…

一文盘点 Zebec 生态的几个利好预期

Zebec Protocol 是目前商业进展最快的流支付体系,也是推动流支付向 Web2 世界发展的主要生态。目前,其已经与包括 Visa、Master 等支付巨头展开了合作,以推出银行卡的方式进一步向金融发达地区推出 Zebec Card 以拓展业务,前不久其…

电商系统架构设计系列(八):订单数据越来越多,数据库越来越慢该怎么办?

上篇文章中,我给你留了一个思考题:订单数据越来越多,数据库越来越慢该怎么办? 今天这篇文章,我们来聊一下如何应对数据的持续增长,特别是像订单数据这种会随着时间一直累积的数据。 引言 为什么数据量越大…

牛客小白月赛71E题题解

文章目录 猫猫与数学问题建模问题分析1.转换条件2.分析新的gcd3.方法1筛约数判断代码 4.方法2筛质因子判断代码 猫猫与数学 问题建模 给定两个正整数a,b,问能否找到最小的整数c,使得gcd(ac,bc)不等于1,若可以输出c,不…

PE启动盘和U启动盘(第三十六课)

PE启动盘和U启动盘(第三十六课) 一 WindowsPE工具盘 1. 制作WinPE镜像光盘 双击WePE64_V2.2-是-点击右下角光盘图标-选择ISO的输出位置-立即生成ISO 2. 通过光盘启动WinPE

Vue [Day7]

文章目录 自定义创建项目ESlint 代码规范vuex 概述创建仓库向仓库提供数据使用仓库中的数据通过store直接访问通过辅助函数 mapState(简化)mutations传参语法(同步实时输入,实时更新辅助函数 mapMutationsaction (异步辅助函数map…

【Java学习】System.Console使用

背景 在自学《Java核心技术卷1》的过程中看到了对System.Console的介绍,编写下列测试代码, public class ConsoleTest {public static void main(String[] args) {Console cs System.console();String name cs.readLine("AccountInfo: ");…

谷粒商城第十一天-完善商品分组(主要添上关联属性)

目录 一、总述 二、前端部分 2.1 改良前端获取分组列表接口及其调用 2.2 添加关联的一整套逻辑 三、后端部分 四、总结 一、总述 前端部分和之前的商品品牌添加分类差不多。 也是修改一下前端的分页获取列表的接口,还有就是加上关联的那一套逻辑,…

C语言每日一题:16:数对。

思路一&#xff1a;基本思路 1.x,y均不大于n&#xff0c;就是小于等于n。 2.x%y大于等于k。 3.一般的思路使用双for循环去遍历每一对数。 代码实现&#xff1a; #include <stdio.h> int main() {int n 0;int k 0;//输入scanf("%d%d", &n, &k);int x…

VUE+ElementUI的表单验证二选一必填项,并且满足条件后清除表单验证提示

上代码 <el-form-item label"出库单号" prop"ecode" ref"ecode" :rules"rules.ecode"><el-input v-model"queryParams.ecode" placeholder"出库单号和出库箱号至少填写一项" clearable style"width…

Labview控制APx(Audio Precision)进行测试测量(六)

用 LabVIEW 驱动 VIs生成任意波形 在 APx500 应用程序中&#xff0c;默认波形类型为正弦。这是指 APx 内置的正弦发生器&#xff0c;根据信号路径设置&#xff0c;许多测量还允许其他内置波形&#xff0c;如方波&#xff0c;分裂正弦波或分裂相位&#xff0c;以及使用导入的。w…

27.Netty源码之FastThreadLocal

highlight: arduino-light FastThreadLocal FastThreadLocal 的实现与 ThreadLocal 非常类似&#xff0c;Netty 为 FastThreadLocal 量身打造了 FastThreadLocalThread 和 InternalThreadLocalMap 两个重要的类。下面我们看下这两个类是如何实现的。 FastThreadLocalThread 是对…

Java-低代码平台使用H2内存数据库

一、引言 作者目前在做的平台使用到了H2&#xff0c;这里介绍下使用场景、使用方式&#xff0c;出于以下两个原因会使用H2: 1、平台化的项目一般是用户使用脚本或者sql进行通用的执行&#xff0c;这样可以实现低代码平台&#xff0c;不需要管理类之间的引入、依赖、编译&#x…

4个简化IT服务台任务的ChatGPT功能

最近几个月&#xff0c;ChatGPT 风靡全球&#xff0c;这是一个 AI 聊天机器人&#xff0c;使用户能够生成脚本、文章、锻炼图表等。这项技术在各行各业都有无穷无尽的应用&#xff0c;在本文中&#xff0c;我们将研究这种现代技术如何帮助服务台团队增强服务交付和客户体验。 什…

AD7151

AD7151采用ADI公司的电容-数字转换器&#xff08;CDC&#xff09;技术,这种技术汇集了与实际传感器接口过程中起着重要作用的众多特性于一身,如高输入灵敏度,较高的输入寄生接地电容和泄漏电流容限。 集成自适应式阈值算法可对因环境因素&#xff08;如湿度和温度&#xff09;…

AI:02-基于深度学习的动物图像检索算法的研究

文章目录 一、算法原理二、代码实现三、实验结果四、总结深度学习在计算机视觉领域中的应用越来越广泛,其中动物图像检索算法是一个重要的应用场景。本文将介绍一种基于深度学习的动物图像检索算法,并提供相应的代码实现。 一、算法原理 本算法采用卷积神经网络(Convolutio…