Diskless:云与互联网数据中心的下一个大变革

news2024/11/17 7:40:49

作为数字经济的核心产业,云与互联网数据中心正面临着下一波技术浪潮的冲击:云原生应用和Serverless无服务器计算的全面普及,推动数据中心底层硬件资源彻底解耦池化和重组整合,形成新的扁平分层——新型存算分离硬件架构,这就是Diskless架构。

当前的云与互联网数据中心多采用计算存储一体化的服务器作为基础单元,不同服务器上的计算和存储硬件资源难以共享,利用率低下。而Diskless架构则让存储资源从服务器中独立出来形成新的共享硬件形态,整个数据中心形成了独立的算力模组、存储模组和网络模组等共享资源池,进一步提升整个数据中心的效率以及降低成本和能耗。

2022年12月22日,中国计算机协会(CCF)信息存储技术专委会、天翼云、中国电子云、华为、中科驭数等10余家企业机构联合主办《数据中心Diskless架构》白皮书发布会,首次全面探讨了Diskless架构。“《数据中心Diskless架构》白皮书系统地梳理了数据中心架构转型的背景和挑战,提出了一种新的数据中心架构模式——数据中心Diskless架构”,中国工程院院士郑纬民表示,“这份研究对于相关决策部门、企业界、学术界具有很好的启示和参考意义。”

数据中心的再变革

2022年是云原生技术迅猛推进的一年,特别是以Serverless无服务器计算为代表的云原生应用,彻底摆脱了对于底层硬件资源环境的依赖。2022年,各大云服务厂商纷纷宣布旗下核心云产品与服务的全面Serverless化。从容器化到Serverless化,云原生开始从软件层面全面变革数据中心。

云原生是自上而下,从软件层面改进数据中心的效率,然而这只解决了问题的一半。Diskless是对云与互联网数据中心资源的第二次效率革命,通过全面改变数据中心硬件组合形态,自下而上改进数据中心效率。实际上,随着海量数据的爆发和动态业务的增强,对于基础设施的灵活性和利用率提出全新的要求。

(传统存算一体服务器架构面临容量利用率三大挑战。图片来源:CCF)

CCF信息存储技术专委会主任、清华大学教授、厦门大学信息学院院长舒继武教授指出,当前的数据中心采用的是存算一体的服务器,导致计算与存储更新周期不匹配,系统扩展时资源得不到充分利用,还增加了数据迁移等工作;而支撑业务的服务器存储无论是性能型还是容量型,都无法同时实现高性能、高可靠性与高资源利用率等。此外,Serverless等新型分布式应用要求共享存储,各种IO处理占用算力而导致的“数据中心税”等等,都要求新的数据中心架构。

所谓Diskless架构,与传统存算分离架构相比,将原来服务器中的本地盘拉远,构成无盘化的服务器和远端存储池。Diskless架构彻底打破各类存算硬件资源的边界,将原有架构的多级分层资源进行彻底解耦池化和重组整合,形成新的扁平分层,简化了数据基础设施架构。同时,Diskless架构将通用CPU不擅长的任务卸载到各种专用处理器上,使硬件的组装更为灵活,从全局角度实现了硬件资源最优组合,彻底释放数据中心的效率,解决了现有数据中心的诸多问题。

数据中心Diskless架构化

根据《数据中心Diskless架构》白皮书,数据中心Diskless架构由无盘化的服务器、极高存力密度的存储系统、专用数据处理器和多样化的网络协议组成。Diskless架构分为三大分层:存储模组、算力模组和网络模组,提供高容量极简盘框、本地存储拉远池化、无盘化服务器、新型网络灵活组装等几大新兴能力。

(数据中心Diskless架构的定义。图片来源:CCF)

首先也是最重要的新型组件,就是存储型模组,换言之就是将本地盘或本地内存从服务器独立出来,拉到远程形成共享存储池或共享内存池。存储型模组主要以EBOF、EBOM(Ethernet Bunch of Memory)、EBOD(Ethernet Bunch of Disk)等新型盘框形态存在。而RAID、大比例纠删码算法等传统存储能力,也从服务器中独立出来,放置到存储型模组中,形成了“盘即存储”的大盘技术。存储型模组对外通过NoF等高速共享网络,提供块、文件等标准存储服务。

其次,网络模组对于Diskless架构来说十分重要,网络模组需要解决远程访问硬盘和内存的带宽和时延问题,满足Diskless架构下多种场景池化接入的诉求。例如,服务器本地盘可通过NoF高速网络,独立到远程的EBOF盘框中实现SSD池化,而内存资源池也可通过CXL等新型总线型网络构建PB级共享大内存,形成远程共享内存空间。

当然,将存储从服务器独立出去后,服务器的形态也将发生重大改变。目前,以DPU为代表的专用处理器,卸载了部分CPU功能,释放CPU算力,就是服务器形态的一种改变。引入DPU等专用处理器后的Diskless架构,必然促成CPU算力的池化,打破传统以CPU为中心的服务器架构。随着数据中心出现大规模的存储模组,服务器的形态还将进一步变化,至于将出现什么样的服务器新物种,这就有赖于业界厂商的创新力了。

简单理解,Diskless架构改变了数据中心各类硬件的组合形式,让数据中心的各个硬件组件彻底独立,可灵活组合,也就是在硬件层面实现了可组合式架构(Composable Infrastructure)。可组合式架构本来是软件的理念,但Diskless架构进一步将其推进到了硬件层面。相应的,数据中心各种硬件的远近关系、松紧耦合的变化,催生了场景化数据缩减、数控分离、盘芯协同、高通量网络、网存协同等一系列新技术,从而实现各硬件组件之间更好的协作。

推动数字经济的进一步扩展

《“十四五”数字经济发展规划》指出:到2025年,数字经济全面迈向扩展期。而作为一种新兴的可组合硬件架构,Diskless架构数据中心将推动数字经济的全面扩展。

云原生、大数据、数据库、虚拟化、高性能计算……这些都是数字经济核心场景,Diskless架构能够更好地实现这些场景下的数据中心效率最大化,从而以更大规模推动这些场景的扩展。《数据中心Diskless架构》指出:Diskless架构为云和互联网等应用带来高资源利用率、高可靠、高性能等价值。

(云和互联网的三类典型Diskless应用场景。图片来源:《数据中心Diskless架构白皮书》)

互联网业务平台通常承载视频、图片、数据库、AI分析、大数据等业务场景,在传统云架构中,IaaS层存储基于服务器本地盘,搭载Ceph分布式文件系统。Diskless架构在云和互联网的应用主要有三种典型场景:一是针对虚拟化业务,直接将服务器本地盘拉远,用Diskless存储模组替代服务器本地盘。二是为数据库、大数据等业务提供大内存,加速数据处理;三是针对容器等新业务场景,为Ceph等分布式应用提供文件语义,并将温热数据分级到更冷的EBOD等机械硬盘存储模组中,提升存储效率。

目前,Diskless架构还是一种新兴的数据中心架构,需要业界的共同支持。西部数据的OpenFlex Data24 EBOF盘框、华为微存储、英伟达的BlueField系列DPU和中科驭数的KPU等都是对Diskless的有力尝试。天翼云、中国电子云、中科驭数、华为、大普微等企业已积极投入到Diskless架构的实践中。

整体来看:在华为等业界厂商的努力推动下,数据中心Diskless架构有望成为下一代大型数据中心的建设标准,可以满足云、互联网、电信、金融等行业接下来全面进入数字经济扩展期的需求,同时迎接疫情后的全面云原生化,以更高效率、更低成本、更强敏捷力,打下硬实力!展望2023,可以预见,Diskless数据中心将是数字经济规模化扩展的新基建。(文/宁川)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/111662.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

定时循环执行Python脚本 —— 定时执行专家

目录 提前准备 方案一、执行DOS命令 方式 1、在《定时执行专家》里新建“执行DOS命令”任务 方案二、执行脚本文件 方式 1、编写 .bat 脚本,用来执行Python脚本 2、在《定时执行专家》里新建“执行脚本文件”任务 本文提供两种使用《定时执行专家》定时循环执…

挑选在线客服系统的七大注意事项

在线客服系统是客户关怀软件,能够为访客和客服提供即时对话,对访客来说,能够为其提供一个快速、高效的沟通方式,即时性的互动提高访客沟通体验;对客服来说,有效提高客服效率,为客服人员节省大量宝贵时间。 …

机器学习 | 支持向量机

一.基本原理 SVM是一种二分类模型 基本思想:在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类,具体来讲,有三种情况(不加核函数的话就是线性模型,加了之后才会升级为一个非线性模型) 当训练…

玩以太坊链上项目的必备技能(Constant 和 Immutable 状态变量-Solidity之旅十六)

constant(常量) 说到常量这一概念,拥有现代编程经历的您,对这一词再熟悉不过了。 常量,常量,顾名思义便是变量值始终不变,这在很多面向对象程序语言中都有。 相对 Solidity 来说,…

Web入门开发【六】- 域名认证

欢迎来到霍大侠的小院,我们来学习Web入门开发的系列课程。 首先我们来了解下这个课程能学到什么? 1、你将可以掌握Web网站的开发全过程。 2、了解基础的HTML,CSS,JavaScript语言。 3、开发自己的第一个网站。 4、认识很多对编…

LabVIEW如何减少下一代测试系统中的硬件过时2

LabVIEW如何减少下一代测试系统中的硬件过时2 HAL最佳实践 从通用测试函数中分离测试逻辑 一个重要的最佳实践是将特定于dut的测试逻辑与更通用的、可重用的测试模块分离,以提高重用性并减少重新验证和文档成本。解耦和使层模块化可以改进系统架构,使…

08 面向对象三大特性

目录 一 封装 1.1 概述 1.2 为什么要进行封装? 1.3 Java中的封装 1.4 四种访问权限修饰符 1.5 练习 二 继承 2.1 继承的由来 2.2 继承的好处 2.3 语法格式 2.4 继承的特点之一:成员变量 2.4.1 父类成员变量私有化 2.4.2 父类和子类成员变量…

二维刚体变换

欢迎访问我的博客首页。 二维刚体变换1. 二维旋转矩阵2. 参考1. 二维旋转矩阵 二维世界坐标系中任一点 P(x,y)P(x, y)P(x,y) 绕原点逆时针旋转 θ\thetaθ 度到点 P′(x′,y′)P(x, y)P′(x′,y′),这个旋转可以用一个二维矩阵表示 R逆[cosθ−sinθsinθcosθ].(1.…

女文科生转行做程序员,工资涨了4倍,戏说“我是女生”怕啥秃顶

前几天,有一个女生在后台留言,问她要不要毕业后做程序员工作?自己特别纠结。 情况是这样的:她今年大学毕业,学计算机专业,有一定兴趣,但父母比较反对,列举了很多程序员熬夜加班的痛…

Fragment案例

Fragment案例 1.案例要求 框架布局项目难点:1 导航栏的实现,显示导航按钮、切换Fragment 2 每个Fragment的创建、显示 3 Fragment的跳转(从新闻列表到新闻详情,再返回) 涉及的技术:用RadioGroup及RadioButt…

【学习笔记07】vue3移动端的适配

目录1、创建一个项目并启动2、设置根字体大小和单位转化3、去掉边框距离4、css的嵌套使用5、连接到手机上显示6、vant ui 库的使用6.1 基础用法6.2 底部导航栏7、模拟锤子商城7.1 请求数据7.2 解决跨越7.3 组件切换7.4 轮播图的实现1、创建一个项目并启动 npm init vuelatestcd…

【OpenCV-Python】教程:7-4 KMeans 应用

OpenCV Python KMeans 应用 【目标】 使用 cv2.kmeans 对数据进行聚类 【代码】 1. 单个特征的 KMeans # 单特征数据的聚类 import numpy as np import cv2 from matplotlib import pyplot as pltx np.random.randint(25,100,25) y np.random.randint(175,255,25)z np.h…

Linux系统下管理员账号root忘记密码怎么找回

忘记root密码一般有两种情况: 一种是登上了root账号,但是忘记密码了,这种情况比较简单,在终端即可实现修改密码; 一种是登录不上root账号,这种情况稍微麻烦些,需要开机时进行一系列操作。 不能登…

【源码共读】Css-In-Js 的实现 classNames 库

classNames是一个简单的且实用的JavaScript应用程序,可以有条件的将多个类名组合在一起。它是一个非常有用的工具,可以用来动态的添加或者删除类名。 仓库地址:classNames 使用 根据classNames的README,可以发现库的作者对这个…

Spring 事务失效的常见八大场景,注意避坑

1. 抛出检查异常导致事务不能正确回滚 Servicepublic class Service1 {Autowiredprivate AccountMapper accountMapper;Transactionalpublic void transfer(int from, int to, int amount) throws FileNotFoundException {int fromBalance accountMapper.findBalanceBy(from);…

【源码共读】学习 axios 源码整体架构 (II)

源码分析 跳转至Axios.js文件中 // 构造函数 constructor(instanceConfig) {this.defaults instanceConfig// 创建对应的拦截器this.interceptors {request: new InterceptorManager(),response: new InterceptorManager()} } 那么,拦截器是怎么创建的呢 首先&a…

【云服务器 ECS 实战】一文掌握弹性伸缩服务原理及配置方法

1. 弹性伸缩概述2. 实现模式3. 基于 GRE 实现 VPC 的互联4. 弹性伸缩服务的配置使用4.1 创建伸缩组4.2 伸缩配置4.3 创建伸缩规则1. 弹性伸缩概述 弹性伸缩(Auto Scaling)就是自动为我们调整弹性计算资源大小,以满足业务需求的变化&#xff…

javaee之spring1

什么是Spring 一、Spring的优势 二、Spring的体系结构 先说一下从什么位置去下载Spring的源码 进入Spring官网,找到Spring Framework框架 点进去之后,找到如下位置,继续点击 进去之后,继续下拉,找到下面这个位置点进…

慕了,我要是早点看到这篇写 Kafka 的分区管理的文章就好了

Kafka可以将主题划分为多个分区(Partition),会根据分区规则选择把消息存储到哪个分区中,只要如果分区规则设置的合理,那么所有的消息将会被均匀的分布到不同的分区中,这样就实现了负载均衡和水平扩展。另外…

可以做抽奖活动的微信小程序在哪里做_分享抽奖活动小程序制作步骤

越来越多的企业开始了解微信抽奖游戏的实用性和价值,因为用户更喜欢简单有趣的游戏抽奖方式,如大转盘、摇一摇、抢福袋、砸金蛋、摇一摇、刮刮卡等互动抽奖游戏。 如果企业想制作这种抽奖游戏,都倾向使用市场上的各种抽奖制作软件&#xff0c…