白皮书 | 分布式存储发展白皮书(2023)

news2024/11/21 2:30:49

12月1日,在2023云原生产业大会上,中国信通院云大所联合华为、戴尔科技、IBM等分布式存储产业方阵成员单位共同发布《分布式存储发展白皮书(2023年)》

一、数据智能的需求

(一)大模型训练需要海量的非结构化数据,对数据存储、流动的效率提出了更高的需求。

(二)数据流动作为算力互联互通的关键组成部分,是释放算力资源价值的基础,也是解决数算协同问题的关键环节。

二、产业解析

(一)筑稳数据底座,分布式存储市场呈现稳健增长。

2022年,中国的分布式存储市场规模预计为 205亿元,年复合增长率达到15%。其中,软硬一体的存储解决方案占据了市场的91.3%,主要是满足 AI 大型模型和大数据湖等场景下的非结构化数据需求。

(二)产业生态图景,产业生态紧密合作

从分布式存储全产业链发展的角度来看,生态产业均均呈现规模增长,产品形态及服务类型呈现多元化态势。

(三) 介质协议加速升级,全闪与融合形态快速发展

得益于闪存性能、高速无损 RDMA 网络、压缩软件栈等全闪存化设计,分布式全闪存储作为一种新的存储产品形态,提供稳定的亚毫秒级访问性能。

分布式存储已经发展出分布式融合存储新形态,通过一套分布式存储系统支持多种协议同时提供服务,并实现协议互通,减少数据搬迁和重复存储,提升 35%的数据处理效率,降低约 20%能耗。

三、场景解读

分布式存储的应用场景日益丰富,本白皮书将重点探讨其中的新兴应用场景及典型应用场景的发展趋势。涵盖的场景包括AI大模型、大数据湖仓一体、数字化病理、生物信息分析、量化交易、边缘计算以及数据网络。

场景

特征

分布式存储优势

AI大模型

大数据量、数据并行处理、数据格式多样、海量小文件、高可靠高可用

海量存储空间及在线扩展、海量存储空间、协议互通的高效数据流动、海量小文件性能支持。

大数据湖仓一体

事务支持、开放数据格式、存储与计算分离、支持多种工作负载、BI支持

统一数据存储层、统一元数据层、缓存加速、统一计算调度

数字化病理

切片文件大、数据量大、数据保存久、数据管理难

病理图片二次压缩、数据分级存储、实现海量切片并发调阅、冷数据存储介质创新、多协议互通

生物信息分析

大数据量、高带宽低时延、高可靠、需适配GPU等高并发算力集群

海量数据支持、性能适配业务需求、数据全生命周期管理

量化交易

基础量化数据规模大、量化交易依托“AI+机器学习”成为行业主流、数据类型多、信噪比低

海量数据支持、弹性扩展、GPU存储直通、统一命名空间

边缘计算

超低时延、数据安全、灵活性与可扩展性、高可靠性、云边协同、边缘智能

数据长期低成本存储、快速检索、多协议互通、支持大数据分析、保障数据安全;

数据网络

跨地域、跨架构、跨服务商、大数据量

存储层构建数据跨域、跨云流动能力;面向多云构建统一数据底座,扩大数据共享应用;构建全局文件系统,形成数据互联网络;

四、技术透视

(一) 架构方面,向融合负载、更高密度、更快网络发展;

(二) 功能方面,向场景化无损压缩、多活容灾发展;

(三) 硬件方面,向全闪存化、高效节能发展;

(四) 生态方面,向云存开放对接、存储直通发展;

五、共建共赢

(一)生态上,建设云存开放对接、算力互联互通生态;

(二)产业上,推动分布式存储创新,构建 AI 数据引擎;

(三) 标准上,完善标准及评估体系,促进产业健康发展;

下载链接:

链接:https://pan.baidu.com/s/1Urcb1VCrcqMkb4UgTkHvcQ?pwd=pqcu

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1294005.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

转转闲鱼链接后台搭建教程+完整版源码

最新仿二手闲置链接源码 后台一键生成链接,后台管理教程:解压源码,修改数据库config/Congig 不会可以看源码里有教程 下载程序:https://pan.baidu.com/s/16lN3gvRIZm7pqhvVMYYecQ?pwd6zw3 后台一键生成链接,后台管理教…

【二分查找】LeetCode2141: 同时运行 N 台电脑的最长时间

作者推荐 贪心算法LeetCode2071:你可以安排的最多任务数目 本文涉及的基础知识点 二分查找算法合集 题目 你有 n 台电脑。给你整数 n 和一个下标从 0 开始的整数数组 batteries ,其中第 i 个电池可以让一台电脑 运行 batteries[i] 分钟。你想使用这些电池让 全…

【微软技术栈】发布自己造的轮子 -- 创建Nuget包(分布操作)

目录 1、您的项目 2、创建 .nuspec 文件 3、一张图片胜过一千个拉取请求 4、包括自述文件 MD 文件 5、构建软件包 6、将包部署到 Nuget.Org 7、手动上传软件包 8、自动化和脚本化部署 9、我们如何构建和部署 ErrLog.IO Nuget 包 10、Nuget统计数据 11、最后的思考 创建 Nuget 包…

Hiera实战:使用Hiera实现图像分类任务(二)

文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度,DP多卡,EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…

【XILINX】ERROR:Place:1136 - This design contains a global buffer instance

记录一个ISE软件使用过程中遇到的问题及解决方案。 芯片:spartan6 问题 ERROR:Place:1136 - This design contains a global buffer instance, , driving the net,>, that is driving the following (first 30) non-clock load pins. This is not a recommended…

Word文件如何设置为只读模式

如何将word文档设置为只读模式,都有哪些方法呢?今天给大家分享四个设置方法给大家。 方法一:文件属性 常见的、简单的设置方法,不用打开word文件,只需要右键选择文件,打开文件属性,勾选上【只…

linux的定时任务Corntab

安装crontab # yum安装crontab yum install -y crontab# 开机自启crond服务并现在启动 systemctl enable --now crondcron系统任务调度 系统任务调度: 系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。 在/etc/crontab文件,这…

谷歌宣布为Pixel 8 Pro加入Gemini Nano支持;Claude 2.1 的长篇幅提示技巧

🦉 AI新闻 🚀 谷歌宣布为Pixel 8 Pro加入Gemini Nano支持 摘要:谷歌将为Pixel 8 Pro机型加入对Gemini Nano的支持。Gemini Nano是专为小型设备而构建的模型版本,可在本月的更新中正式登场。该机的录音App将支持要点总结功能&…

IOday5作业

使用两个线程完成两个文件的拷贝&#xff0c;分支线程1完成前一半内容拷贝&#xff0c;分支线程2完成后一半内容的拷贝&#xff0c;主线程完成资源的回收 #include<myhead.h> //定义结构体 struct file {const char* srcfile;//背拷贝文件路径const char* destfile;//拷…

kafka学习笔记--安装部署、简单操作

本文内容来自尚硅谷B站公开教学视频&#xff0c;仅做个人总结、学习、复习使用&#xff0c;任何对此文章的引用&#xff0c;应当说明源出处为尚硅谷&#xff0c;不得用于商业用途。 如有侵权、联系速删 视频教程链接&#xff1a;【尚硅谷】Kafka3.x教程&#xff08;从入门到调优…

vue中设置滚动条的样式

在vue项目中&#xff0c;想要设置如下图中所示滚动条的样式&#xff0c;可以采用如下方式&#xff1a; ​// 直接写在vue.app文件中 ::-webkit-scrollbar {width: 3px;height: 3px; } ::-webkit-scrollbar-thumb { //滑块部分// border-radius: 5px;background-color: #1890ff;…

性能测试LoadRunner解决动态验证码问题

对于这个问题&#xff0c;通常我们可以采取以下三个途径来解决该问题&#xff1a; 1、第一种方法&#xff0c;也是最容易想到的&#xff0c;在被测系统中暂时屏蔽验证功能&#xff0c;也就是说&#xff0c;临时修改应用&#xff0c;无论用户输入的是什么验证码&#xff0c;都…

IPC之四:使用 POSIX 消息队列进行进程间通信的实例

IPC 是 Linux 编程中一个重要的概念&#xff0c;IPC 有多种方式&#xff0c;本文主要介绍消息队列(Message Queues)&#xff0c;消息队列可以完成同一台计算机上的进程之间的通信&#xff0c;相比较管道&#xff0c;消息队列要复杂一些&#xff0c;但使用起来更加灵活和方便&am…

2023.12.1 --数据仓库之 拉链表

目录 什么是拉链表 为什么要做拉链表? 没使用拉链表: 使用了拉链表: 题中订单拉链表的形成过程 实现语句 什么是拉链表 拉链表是缓慢渐变维的一种解决方案. 拉链表,记录每条信息的生命周期,一旦一条记录的生命周期结束,就重新开始一条新的记录,并把当前日期放入生效开始…

snapde批量手机号码归属地查询

一、引言 手机号码归属地如何查询&#xff1f;在网上一个一个去查询吗&#xff1f;有没有什么软件能够对几万、几十万、上百万的手机号码批量查询出来归属地呢&#xff1f;答案是有&#xff0c;snapde软件能够用一条公式完成表格内所有手机归属地的查询。 二、操作方法 1、打…

Hackademic.RTB1

信息收集 判断存活主机 nmap -sT --min-rate 10000 192.168.182.0/24Nmap scan report for 192.168.182.135 Host is up (0.030s latency). Not shown: 992 filtered tcp ports (no-response), 6 filtered tcp ports (host-unreach) PORT STATE SERVICE 22/tcp closed ssh …

IPTABLES(一)

文章目录 1. iptables基本介绍1.1 什么是防火墙1.2 防火墙种类1.3 iptables介绍1.4 包过滤防火墙1.5 包过滤防火墙如何实现 2. iptables链的概念2.1 什么是链2.2 iptables有哪些链 3. iptables表的概念3.1 什么是表3.2 表的功能3.3 表与链的关系 4. iptables规则管理4.1 什么是…

Spring MVC详解、静态资源访问、拦截器

1. Spring MVC概述 1.1 Spring MVC是什么 SpringMVC是Spring的一个模块&#xff0c;是一个基于MVC设计模式的web框架。 1.2 Spring MVC执行流程。 1.3 组件分析 前端控制器&#xff08;默认配置&#xff09;Dispatcher Servlet 作用&#xff1a;只负责分发请求。可以很好的对…

HL7/FHIR 是什么

如果你对上面 2 个单词不熟悉的话&#xff0c;那就需要先脑补下了。 HL7 HL7 可以认为是一个标准化的组织&#xff0c;这个组织主要对标准进行控制。 如果你希望在医疗系统中对数据进行交换&#xff0c;通常 HL7 现在就是事实上的标准了。 FHIR FHIR – Fast Health Inter…

urllib 异常、cookie、handler及代理(四)

目录 一、urllib异常 二、urllib cookie登录 三、urllib handler 处理器的基本使用 四、urllib 代理和代理池 参考 一、urllib异常 URLError/HTTPError 简介&#xff1a; 1.HTTPError类是URLError类的子类 2.导入的包urllib.error.HTTPError urllib.error.URLError 3.h…