云超融合数据中心 CloudFabric

news2024/12/23 18:38:09

大家好,我是技福的小咖老师。

随着云计算、大数据、人工智能等新一代信息技术的快速发展,数字技术已经渗透到我们日常生活的方方面面,同时也改变了所有行业。数据中心,将算力源源不断地输送给数字世界,逐渐成为云计算、工业互联网、人工智能的万能粮仓。

咱们今天就来聊聊这个“万能粮仓”,云超融合数据中心网络 CloudFabric

数据中心网络服务于云应用、计算资源与存储资源。三大服务对象的变革正在驱动数据中心网络向以太化演进:

• 云化升级:云化加速浪潮之下,企业 IT 架构从本地集中式向云端分布式、甚至多云分布式演进。开放以太架构天然可被云灵活调用,具备良好的互通性、弹性、敏捷性以及多租户安全能力,已经成为通用计算网络的压倒性协议。

• 存储全闪存化:随着机械硬盘向全闪存升级,存储介质的读写性能提升了百倍。业界主流FC网络使用16G/32G带宽,不满足全闪存高吞吐的需求,带宽高达 400GE 的以太网成为新一代存储网络的事实标准。

• 计算单元去 PCIe:业界 CPU/GPU 厂商正在通过去 PCIe 总线突破总线的速率瓶颈,直接出以太口来提供更高算力。

一、数据中心网络向全以太化演进

在云计算时代,通过数据中心所承载的手机APP、智能分析、企业办公等新型应用正在改变企业的开发、生产及运营模式。

在跨DC双活存储网络方案中,以太网长距丢包率大于0.2%,不满足存储绝对0丢包的需求。同城70公里的双向时延高达1ms,DC 内和跨 DC 时延相差100倍,短距随着例如银行进入Bank4.0时代,两地三中心向多云多数据中心发展,线上金融交易增长迅速,金融业务逐渐上云。金融云未来9年复合增长率预计18.34%,数据中心建云联云成为刚需。

调优算法的流量调优策略容易滞后。

二、融合数据中心三大资源区

当前一些新兴的应用,如区块链、工业仿真、人工智能、大数据等,基本都建立 在云计算的底座中。近些年,企业各类业务上云的步伐不断加速,云可以提供按需自助服务、快速弹性伸缩、多租户安全隔离、降低项目前期投资等价值优势。另外,在企业的数字化转型中,以金融和互联网企业为代表,大量的应用系统逐 渐迁移到分布式系统上,也就是通过海量的 PC平台来替代传统的小型机。这么做带来了高性价比、易扩展、自主可控等好处,但分布式系统架构同时也带来了服务器节点之间大量的网络互通需求。

以太网已经成为云化分布式场景中的事实网络标准:

  • 以太网已具有很高的开放性,可以与各种云融合部署、可被云灵活调用管理。
  • 以太网具有很好的扩展性、互通性、弹性、敏捷性和多租户安全能力。
  • 以太网可以满足新业务超大带宽的需求。
  • 以太网从业人员多,用户基础好。

而传统数据中心高性能计算使用的 IB 网络,以及集中式存储使用的 FC 网络,生态封闭,资源割裂,演进缓慢,已无法匹配云化的发展诉求。根据 IDC 数据显示,近年来 FC 和 IB 市场逐步萎缩,数据中心的云计算化趋势助长了对以太网的需求,以太网是当前以及未来主要的数据中心内部网络互联技术。

总的来说,IT 架构层面:从本地集中式走向云端 分布式。数据中心内存在三大资源区:通用计算区、高性能计算(HPC)区和存储区。

三个区域的逻辑图

通用计算区:与数据中心外部的用户对接,提供指定的应用服务。这个区域中的 服务器大量使用虚拟化、容器等技术,形成灵活的资源池来承载应用。本区域中的网络被称为应用网络、业务网络或前端网络,当前部署的是以太网。

高性能计算区:配备了专用的高性能单元(如 CPU、GPU)的服务器,完成指定 的高性能计算任务或 AI 训练。这个区域中的服务器一般很少使用虚拟技术。本 区域中的网络被称为高性能计算互联网络,当前部署的是 IB(InfiniBand)网络。

存储区:采用专用的存储服务器,对各类数据进行存储、读写和备份。本区域中 的网络一般被称为存储网络,通常部署的是 FC(Fibre Channel)网络。算力持续稳定的输出,离不开三大资源区的相互配合。作为联接数据中心各类资源的大动脉,数据中心网络承载着保障数据高效流通的职责。

数据流图

当前,通用计算区部署的传统以太网、高性能计算区部署的IB网、存储区部署的 FC 网,是三张异构网络,他们协议各异、架构割裂,带来了运维困难、专网生态封闭、成本高、无法实现全生命周期管理等问题。数据中心里这三张网络的融合,成为算力提升的必然要求。

很多厂家都提出超融合数据中心网络以全无损以太网来构建新型的数据中心网络,使通用计算、高性能计算、存储三大业务均能融合部署在同一张以太网上,同时实现全生命周期自动化和全网智能运维。

三、双活全以太存储网络实践

双活全以太存储网络,大幅提升存储性能。

在分布式存储场景,基于现代高性能数据中心交换机和相关智能无损算法,可感知流量的变化,并基于海量存储流量样本持续进行 AI 训练,智能动态地调整交换机的队列水线,实现亚秒级流量精准控制,确保100%吞吐下零丢包,IOPS(Input/output Operations Per Second,每秒进行读写操作的次数)提升 20-30%。

在集中式存储场景,除了对交换机水线的智能动态调整外,还实现了即插即用的存储网络:相比传统以太网中逐节点、逐零手工配置方式,可以做到业务单点配置、全网同步,实现存储设备的即插即用。

网络侧与存储侧的故障联动图

实现了网络侧与存储侧的故障联动,交换机毫秒级检测并通告故障,协同业务侧完成亚秒级的网络平面切换,实现网络中单点故障存储业务无感知。

好了,云超融合数据中心就介绍到这里了。懂技术就是有福气!关注我学习更多网络知识。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/124370.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Flink学习28:水位线

1.前言 flink有3种时间,主要是事件时间和处理时间。 水位线主要解决,数据乱序到达或者延迟到达的问题 2.水位线原理 即只有当水位线,越过窗口的结束时间,才会触发窗口计算。 窗口计算需要同时满足两个条件: 1.水位线…

spring之IoC注解

文章目录前言一、回顾注解1、注解怎么定义2、注解怎么使用3、通过反射机制怎么读取注解二、Spring IoC注解式开发原理1、扫描程序2、通过反射机制解析注解3、实例化对象三、声明Bean的注解前言 注解的存在主要是为了简化XML的配置 一、回顾注解 1、注解怎么定义 定义一个注解…

c语言操作符(上)

前言 🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏: 🍔🍟🌯 c语言初阶 🔑个人信条: 🌵知行合一 🍉本篇简介:>: 讲解c语言中有关操作符的知识. 金句分享: 最慢的步伐…

Python读取sqlite3数据库中的数据

文章目录1. 简介1.1. 使用1.1.1. 创建1.1.2. 插入1.1.2.1. 插入一条数据1.1.3. 查询1.1.3.1. 查询所有数据查询一条数据1.1.3.2. 读取特定位置的数据1.1.4. 修改数据1.1.5. 删除数据1. 简介 从Python3.x版本开始,在标准库中已经内置了SQLlite3模块,它可…

Redis中的哨兵机制

有了主从复制的实现以后,我们如果想对主从服务器进行监控,那么在redis2.6以后提供了一个 “哨兵” 的机制,在2.6版本中的哨兵为1.0版本,并不稳定,会出现各种各样的向题,在2.8以后的版本哨兵功能才稳定起来。 顾名思义,哨兵的含义就是监控Redis系统的运行状况。其主要功…

STM32/51单片机实训day6——Proteus8.6版本+ STM32F103驱动LCD12864显示Keil5程序设计

内 容:实现LCD显示 学 时:4学时 知识点:LCD12864芯片介绍,读写操作时序,电路设计 重点: 读写操作时序 难点:读写操作时序 时间:2022年12月26日 9:00~11:50 总结&…

全国产龙芯2K0500多功能SoC处理器及其解决方案

龙芯2K0500片内集成单个64位龙架构(LoongArch)LA264处理器核、32KB一级指令缓存、32KB一级数据缓存、512KB二级缓存、32位DDR2/3-1066控制器、2DGPU图形核心、DVO显示接口、两路PCIe2.0、两路SATA2.0、四路USB2.0、一路USB3.0、两路GMAC、PCI总线、彩色黑白打印接口、HDA及其他…

有备无患!DBS高性价比方案助力富途证券备份上云

“某中心受病毒攻击,导致服务中断,线上业务被迫暂停” “某公司员工误操作删库,核心业务数据部分丢失,无法完全找回” “由于服务器断线,某医院信息系统瘫痪近4小时,期间病人无法使用医保卡挂号和结算” …

Talk预告 | 微软高级研究员杨征元:统一的视觉语言模型

本期为TechBeat人工智能社区第467期线上Talk! 北京时间12月29日(周四)20:00,微软高级研究员——杨征元的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主题是: “统一的视觉语言模型”,届时将从一个统一的角度概述视觉语…

深度循环神经网络

在深度循环神经网络中,隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。 有许多不同风格的深度循环神经网络, 如长短期记忆网络、门控循环单元、或经典循环神经网络。 这些模型在深度学习框架的高级API中都有涵盖。 总体而言&#xff0c…

第三方库react-redux基础使用 容器UI组件使用 数据管理优化

其实redux并不是React特有的技术 redux是一家独立公司 做出来 适配与目前几大前端主流框架的状态管理工具。 其实 最初 redux也希望码友们用它来管理vue的状态数据 但后面 React官方发现 很多人喜欢在React项目中使用redux 于是 React公司专门做了react-redux这个第三方的库 帮…

【计组】数据通路和流水线设计--《深入浅出计算机组成原理》(三)

课程链接:深入浅出计算机组成原理_组成原理_计算机基础-极客时间 目录 一、建立数据通路 (一)组合逻辑电路 1、指令周期 2、数据通路 3、CPU所需硬件电路 (二)时序逻辑电路 1、时序逻辑电路可以解决的问题 二…

Python爬虫进行正则数据解析实战

今天继续给大家介绍Python爬虫相关知识,本文主要内容是Python爬虫进行正则数据解析实战。 一、需求分析 今天,我们尝试使用re正则表达式来对爬取到的页面进行数据解析。需求如下: 针对网页:https://blog.csdn.net/weixin_402282…

第三十二章 数论——组合数详解(1)

第三十二章 数论——组合数的多种求法一、数学基础二、组合数——递推公式1、题目2、思路3、代码三、组合数——快速幂1、问题:2、分析一、数学基础 组合数来自于高中排列组合的知识: 我们从aaa个小球中随机一次性取出bbb个,所有的取法记作…

Numpy学习记录

numpy.ma.ravel 返回一个连续的扁平数组。 参考: numpy中的ravel()方法使用介绍https://blog.csdn.net/weixin_44025103/article/details/125062287 Python numpy.ravel函数方法的使用https://www.cjavapy.com/article/870/ numpy.meshgrid 二维坐标系中,X轴…

图片如何批量重命名?一步一步教会你

爱拍照的小伙伴应该都知道,无论是手机还是相机拍出来的照片,导入电脑后,它的默认名称都是一串长长的字符。不仅让桌面看起来杂乱无章,还会给我们在查找图片时带来诸多的不便。其实我们可以通过软件对这些图片进行批量重命名的&…

线性代数基础----矩阵

秩的理解: 举证的秩的理解: 特征值和特征向量 线性相关和线性无关 向量的拉伸和旋转: 特征值和特征向量: 特征值: 特征向量: 用来描述矩阵的信息 特征向量 和 特征值之间的关系 拳击:方向和力量 特征值和特征向量的物理意义: 表示相关的重要性 特征值和特征向量:进行提…

阳了在家没事干?教大家用python在家做一个万能看视频软件,绝对正经啦~

嗨害大家好鸭!我是小熊猫~ 我前阵子不小心阳了,该说不说,真挺难受的 我在家真的就是纸巾热水不离手, 楼下水果店老板娘还说我年轻人身体怎么这么差… 哼我阳过之后我就锻炼去!!! 效果展示 有…

如何删除掉设备和驱动器下百度网盘的图标

电脑安装百度网盘后,在设备和驱动器这里会有百度网盘的图标,如下图所示。 对有强迫症的人来说,这很难受,就一定要想办法删除掉该图标,那么具体怎么操作呢? 你如果在设备和驱动器下右击百度网盘&#xff0c…

12月小报|读小报,涨知识

本期知识小集的主要内容包括:• Flutter桥调用请注意结果反馈• Flutter await代码带来的潜在并发• Flutter FPS 高不代表一定流畅• Flutter新渲染引擎impeller尝鲜Flutter桥调用请注意结果反馈通过桥来拓展Flutter的能力,是非常通用的Flutter开发场景…