论文解读:为了数据中心的未来,存算这对CP竟然又离了

news2024/11/13 18:43:00

古语有云:天下大势分久必合、合久必分。

同样,在数据中心多年的发展历程中,计算与存储也经历了多次分分合合。从大型机的计算与存储紧耦合,到小型机经典的IOE存算分离架构,再到随云兴起的超融合让存算再次融合,计算与存储宛如一对多年的CP,时而亲密无间,时而又若即若离。

计算与存储之所以会出现多次分与合,是因为需求的变化推动着架构层做出相应改变,而计算与存储相辅相成、协同发展的关系始终未变。如今,随着云与互联网业务场景的大量涌现,新型存算分离架构开始兴起,计算与存储再次加速走向分离。

为何存算分离架构会成为数据中心未来十年最大的趋势?新型存算分离架构与过往有何不同?新型存算分离架构的关键技术和挑战又有哪些?近日,CCF会士、信息存储专委会主任、清华大学教授、厦门大学信息学院院长舒继武教授的一篇论文《新型存算分离架构技术展望》引发业界广泛共鸣,让我们从中一探究竟。

场景变化推动存算再次分离

舒继武教授在论文中指出,云、互联网、大数据、AI等推动新业务场景的高速发展,给基于服务器部署存储的融合架构带来极大挑战,主要包括:其一、数据保存周期与服务器更新周期不匹配;其二、性能可靠性与资源利用率难以兼得;其三、无服务器(Serverless)应用等新型分布式应用有共享存储的诉求;其四、数据中心税导致数据密集型应用效率低下。

如何理解舒继武教授提出的四大挑战?我们先从业务形态变化与资源需求响应的角度来解读。

众所周知,随着数字化转型的深入,很多行业用户存在着大量云与互联网业务场景,业务形态逐渐变化,业务的动态性增强,使得对基础设施资源的灵活性和利用率要求大幅提升。此时,基于服务器部署存储的融合架构其缺点得到持续放大。

例如,计算与存储更新周期不匹配,使得扩展时资源得不到充分利用,还增加了数据迁移等工作;支撑业务的服务器存储无论是性能型还是容量型,均无法同时实现高性能、高可靠性与高资源利用率等。

另一方面,以无服务器(serverless)应用为代表的新型分布式应用的兴起,就像一股催化剂,加速了业务数据共享访问的需求,使得存算分离架构获得更多用户关注。

例如,分布式数据库等应用纷纷转向容器化部署与应用,存算融合的架构在CPU、内存、存储容量/IOPS/带宽,网络IO/带宽等7个维度均很难满足新型分布式应用的需求。业界一些云数据库公司甚至开始推动存算进一步分离,将计算节点处理的缓存层和日志功能下推到共享存储上,以此实现更高的性能和资源利用率。

正所谓旧的不去新的不来。在业务场景、硬件技术快速发展等多重因素驱动下,新型存算分离架构正在迅速兴起,成为近年来基础设施领域最大的热点。那么,这个“新人”是否堪担大任?

新型存算分离架构“新”在哪

舒继武教授在论文中指出,高性能盘框、NVMe/CXL新协议、专用数据处理器(如:DPU)、RDMA/NoF新型网络技术等硬件的快速发展,为新型存算分离架构奠定了基础。与传统存算分离架构相比,新型存算分离架构具有更多新特征:Diskless的服务器、多样化的网络协议、专用化的数据处理器和极高存力密度的存储系统。

那么,新旧架构对比,区别到底在哪里?

首先是架构处理逻辑的根本性变化。新型存算分离架构的兴起,标志着以通用CPU为核心的处理逻辑加速向以数据为中心的处理逻辑转变。这也意味着,服务器等计算设备将逐步走向Diskless,聚焦计算任务;而专用数据处理器、存储系统将承担更加重要的任务,价值与作用将会更加突出。

例如,当下大量DPU产品的涌现就是最好证明,DPU将数据存储、访问等大量操作卸载到专用数据处理器上,释放服务器的算力,从整体上提升架构的能效比。

而取代服务器本地盘则是面向Diskless架构的存储系统,近年来西部数据的OpenFlex、Vast Data Ceres高性能盘框、华为的OceanStor Micro微存储均是新型存算分离架构下的存储系统代表。

 其次,新型存算分离架构在架构上彻底走向解耦,而不仅仅局限于CPU和外存的解耦,这将彻底打破各类存算硬件资源的边界,组建彼此独立的各种硬件资源池,实现各类硬件的独立扩展与灵活应用。

这种彻底解耦就像搭建乐高积木一样,每个组件彼此高度独立,又能够灵活组合,可以针对云、互联网、AI等业务弹性强、变化多等特点,进行灵活组合和及时响应。

处理分工走向更细颗粒度,每个组件各司其职,如同专业人做专业事情,将每个组件的能力发挥到极致。

当然,解耦之后,各个硬件组件彻底走向独立和灵活组合,也意味着组件之间的协作是新型存算分离架构必然需要面对的。对此,舒继武教授在论文中指出,场景化数据缩减、高通量超融合网络、网存协同、盘芯协同等关键技术对于新型存算分离架构发展至关重要。

未来存算分离看什么

如今,像DPU、智能盘框、 CXL/NoF等网络均获得了高速发展,推动着新型存算分离架构加速走向落地。舒继武教授在论文中认为,面向云和互联网场景的新型存算分离架构顺应了未来数据中心可组合式架构(composable infrastructure)趋势,但也面临着技术、生态等方面的挑战。

具体来看,舒继武教授认为计算与存储之间的数据访问接口及标准主要采用块存储语义为主,面对今后异构算力的快速发展,内存访问语义、计算协同语义等表现出能力不足,还需要产业界共同探索与解决。

另外,新型存算分离架构虽然提供了比以往更出色的基础设施能力,但如何发挥出潜能还需要看应用服务。就像一辆汽车中,新型存算分离架构恰如出色的发动机和底盘,应用服务框架则是变速箱,如果变速箱不能做出与时俱进,则这辆汽车很难发挥出发动机的优势。舒继武教授指出,设计更高效的应用服务框架,与上层应用实现完美协同,是一个长期过程,需要生态伙伴们共同努力。

虽然有着技术与生态方面的挑战,但新型存算分离架构已然势不可挡。未来十年,随着中国数字经济的蓬勃发展,数据要素成为最重要的生产要素,以一体化大数据中心、智算中心为代表的新基建将持续获得持续建设,在算力高速增长的大趋势下,新型存算分离以灵活架构、精细化资源利用率和绿色低碳能耗比等优势,有望在云服务商、电信运营商、金融等多个行业获得广泛应用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/60136.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

达梦数据库的名词解释

达梦数据库的名词解释 C/S、客户端、服务器、物理结构、逻辑结构、文件系统、文件、数据库、数据库实例、表空间、表、段、簇、页、用户、模式、角色、 一、数据库的组成 客户端连接服务器,通过数据库实例(共享内存后台进程及线程)将磁盘内…

关于修复预制体上UnityEngine.UI引用丢失的一种思路

在开发项目过程中,如果出现了Unity版本变化,有可能会导致一些预制体上的UI组件丢失,特别是大量UI脚本,明明一看就知道这个是Text组件,但是一个大大的missing出现在预制体上,让人产生了莫名的恐慌。 一、根…

头歌计算机组成原理MIPS寄存器文件设计

全部答案点击底部 <?xml version"1.0" encoding"UTF-8" standalone"no"?> <project source"2.15.0.2.exe" version"1.0"> This file is intended to be loaded by Logisim http://logisim.altervista.org &…

Linux | 二级页表的虚拟地址是怎么转换的?

文章目录页的概念可执行文件的虚拟地址二级页表的转换二级页表的优点页的概念 在聊文件系统时&#xff0c;我提到操作系统是以块为基本单位进行IO的&#xff0c;一个块的大小为4KB&#xff0c;在文件系统中它的名字叫做块&#xff0c;在内存系统中它的名字叫做页&#xff0c;p…

并发编程十 定时任务定时线程池

一 ScheduledThreadPoolExecutor 定时线程池类的类结构图 它接收SchduledFutureTask类型的任务&#xff0c;是线程池调度任务的最小单位&#xff0c;有三种提交任务的方式&#xff1a; schedulescheduledAtFixedRatescheduledWithFixedDelay 它采用DelayQueue存储等待的任务…

带你玩转序列模型之Bleu得分注意力模型语音识别

目录 一.Bleu得分 二.注意力模型直观理解 三.注意力模型 四.语音识别 五.触发字检测 一.Bleu得分 先跳过&#xff0c;等回头用得到了再来补。 二.注意力模型直观理解 在本周大部分时间中&#xff0c;你都在使用这个编码解码的构架&#xff08;a Encoder-Decoder archit…

MATLAB算法实战应用案例精讲-【图像处理】目标检测

前言 目标检测,也叫目标提取,是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一,其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中,需要对多个目标进行实时处理时,目标自动提取和识别就显得特别重要。 随着计算机技术的发展和计算机视…

AutoSAR基础:Port与Dio

AutoSAR基础:Port与Dio配置一.配置port1.Configurator1-1.进入Basic Editor->Port1-2.配置P00.0脚1-2-1.Port口1-2-2.Pin脚配置1-3.配置P00.11-3-1.Pin脚配置2.config导出生成代码3.代码部分3-1.config生成代码3-2.Write与Read3-2-1.Read函数3-2-2.Write函数二.配置Dio1.Con…

[附源码]计算机毕业设计基于SpringBoot的校园报修平台

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

qt使用http get和post

qt使用http get和post 本文目录qt使用http get和post准备get请求widge.hwidget.cpppost请求widge.hwidget.cpppost请求的数据格式参数写在url后面使用application/x-www-form-urlencoded使用application/json使用multipart/form-data传送文件准备 使用到网络编程&#xff0c;需…

Nginx配置实例-反向代理

1、实现效果 打开浏览器&#xff0c;在浏览器地址栏输入地址www.123.com&#xff0c;访问tomcat主页面。 2、准备工作 &#xff08;1&#xff09;在 liunx系统安装tomcat&#xff0c;使用默认端口8080 上传安装文件&#xff0c;并解压缩到/opt/tomcat。 进入tomcat的bin目录中…

[附源码]Python计算机毕业设计Django人员信息管理

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…

ArrayList为什么线程不安全以及三种解决办法【详细】

目录不安全原因解决办法VectorCollectionsCopyOnWriteArrayList三种解决方式总结不安全原因 我们可以看一下ArrayList源码&#xff0c;找到add方法&#xff0c; public boolean add(E e) {ensureCapacityInternal(size 1); // Increments modCount!!elementData[size] e;r…

【java】Lambda表达式

文章目录体验Lambda表达式Lambda表达式的标准格式Lambda表达式的练习抽象方法无参无返回值抽象方法带参无返回值抽象方法带参带返回值Lambda表达式的省略模式Lambda表达式的注意事项Lambda表达式和匿名内部类的区别体验Lambda表达式 package heima.Lambda;import heima.多线程.…

HTML5期末大作业:旅游网页设计与实现——旅游风景区网站HTML+CSS+JavaScript 景点静态网页设计 学生DW静态网页设计

&#x1f468;‍&#x1f393;静态网站的编写主要是用 HTML DⅣV CSSJS等来完成页面的排版设计&#x1f469;‍&#x1f393;&#xff0c;一般的网页作业需要融入以下知识点&#xff1a;div布局、浮动定位、高级css、表格、表单及验证、js轮播图、音频视频Fash的应用、uli、下拉…

JMeter入门教程(9) --参数化

文章目录1.任务背景2.任务目标3.任务实操3.1 CSV数据文件1.任务背景 参数化是测试过程中很常用的一种技巧&#xff0c;可以将脚本中的某些输入用参数来代替&#xff0c;比如登陆时传递参数&#xff0c;在脚本运行时指定参数的取值范围和规则 2.任务目标 掌握基于JMeter性能测…

【浅学Java】SpringBoot创建和使用

SpringBoot创建和使用1. SpringBoot是什么2. SpringBoot的优点3. SpringBoot的创建3.1 使用idea创建3.2 测试项目_输出hello3.3 网页版创建SpringBoot4. 约定大于配置1. SpringBoot是什么 Spring的诞生是为了简化Java开发而创建的&#xff0c;而SpringBoot的诞生就是为了简化S…

一文带你理解【自然语言处理(NLP)】的基本概念及应用

觉得有帮助请点赞关注收藏~~~ 1.1 自然语言处理 1.1.1 自然语言处理主要研究对象 自然语言处理&#xff08;Natural Language Processing&#xff1a;NLP&#xff09;是以人类社会的语言信息&#xff08;比如语音和文本&#xff09;为主要研究对象&#xff0c;利用计算机技术来…

C++:深拷贝和浅拷贝——拷贝构造、赋值构造必须自定义

https://www.bilibili.com/video/BV1qT4y1X7cQ/?spm_id_from333.337.search-card.all.click&vd_sourced33b44674c517c8b7928e8d3ac316b37 1、赋值运算符重载 浅拷贝的错误代码&#xff1a; class Distance { public:int* dis NULL;Distance(int a){dis new int(a);}~…

轻量级xshell+manager远程监控jvisualvm

一、服务器端&#xff08;Linux&#xff0c;最小安装模式&#xff0c;没有图形界面&#xff09; 1.安装xauth 如果在Xshell中配置了X11转发后&#xff0c;出现如下提示&#xff1a; WARNING! The remote SSH server rejected X11 forwarding request. 则需要查看/etc/ssh/s…