挺进云存储,天翼云全新一代XSSD勇立潮头

news2024/11/22 16:36:44

引言:自研高性能分布式存储引擎LAVA,实现云硬盘持续创新获得新突。

【全球云观察 | 科技热点关注】

作为算力基础设施的基石,云存储的发展一直备受公有云厂商所重视,对拉动云厂商营收规模带来重要价值,就此也成为了云厂商技术创新与业务发展的重点领域。

天翼云已经是全球最大的运营商云,在云存储的创新上一直非常重视。自研高性能分布式存储引擎LAVA,将云硬盘的创新推向新的高潮,进一步赋能科技应用创新,加快行业数字化进程,助力数字经济的发展。

01

没有最快只有更快,为什么需要越来越快的云存储?

当前,全球进入数字化高度发展的新时代,数字经济已为我国经济发展带来了前所未有的动力。助力数字经济发展离不开算力、存力与运力的三大驱动,更离不开来自云计算、AI、大数据等新兴技术的广泛应用。正因为技术进步与创新应用的普及,从而带来了海量数据呈现出新的增长趋势。

在AI训练领域,ChatGPT将对话机器人的智能化能力推向了历史最高点,不仅如此,ChatGPT持续迭代,不断攀登高阶智能的举措引发了全球对大模型的狂热。随着GPT-4的诞生,模型参数进入百亿千亿级别已经逐渐成为常态。与此同时,中国参与大模型创新厂商也与世界同步,持续迭代大模型的智力。

然而,无论是GPT-4还是其他大模型,所有参与百模大战的厂商聚焦AI算力的同时,也对存储进行再创新,以此应对AI大模型参数规模呈现指数级爆发增长的挑战。细心分析AI模型训练的特点,我们不难发现小文件海量数据的存储需求最为突出,同时大家对训练结果要求越来越快,因为越快越有价值。打造高效存储的支撑系统,是其中必要条件。传统磁盘阵列系统因其缺乏云的弹性与灵活性,难以胜任AI训练时高时低的新需求变化。唯有结合闪存技术同时发挥出云存储的优势才是必然之选。由此,既有云的灵活弹性,又有高性能表现的SSD云硬盘,也就顺理成章地成为AI模型训练的好搭档。

此外,随着大模型行业化发展大潮的到来,各个细分行业大模型诞生将此起彼伏。模型变小是大模型行业化的必然趋势,为此,对于算力、存力在规模与性能上更灵活的需求也将随着模型行业化发展而逐渐呈现出来。在这种情况下,高性能SSD云硬盘实现更多技术创新可谓正逢其时。

在数据库领域,随着用户关键应用能力的加强,对数据库性能的要求也变得更为苛刻,SSD云硬盘对加速数据库性能有着立竿见影的作用,特别是再结合RDMA网络的加持,应用SSD缓存与加速技术对数据库应用场景带来了非常有效的支撑。这也是源自SSD本身比HDD传统磁盘具有更好的IO特性,不需要磁盘那样寻道读写数据,SSD云硬盘带来更加优异的IOPS性能表现,也被更多地应用在数据库场景。高性能SSD云硬盘可以灵活满足用户的高IOPS需求,也可以按需分配存储资源,在数据库应用较少情况下节约资源,按需付费,弹性支撑数据库场景的灵活应用。

在游戏渲染领域,当前不少游戏厂商与视频创意组织乐意选择云端算力平台,在渲染工作繁忙时花费云端GPU等资源,在闲暇时可以节省资源。与此对应渲染数据存储支持上,选择高性能SSD云硬盘最为匹配。关键在于渲染应用会随着数据的增长,对存储性能要求会更高,在很大程度上,也驱使相关云存储厂商不断提升云硬盘性能,实现更优越的百万级IOPS。

很显然,要求存储越来越快,这是所有用户一直以来的普遍追求,对性能越来越苛刻的要求,主要源自新兴应用的蓬勃发展。新应用驱动新数据快速增长,包括AI训练、数据库、游戏渲染等应用对数据读写IOPS和时延要求极高。

除了AI训练、数据库、游戏渲染之外,视频创意、AR/VR、动画制作、仿真建模等领域,同样对存储性能、弹性、按需使用等方面有着刚需。

以用户需求为创新的源动力,天翼云在云硬盘上加速创新,迎来了新的发展拐点。没有最快只有更快,特别是在高性能的云硬盘技术发展上,依托自研高性能分布式存储引擎LAVA,将百万级IOPS云硬盘XSSD推向市场。

02

全面进发云存储,XSSD勇立数字化发展的潮头

事实上,在云硬盘领域,天翼云布局十分广泛,旗下拥有包括普通IO、高IO、通用型SSD、超高IO、极速型SSD以及最新推出的XSSD,总计六类产品。为了覆盖用户各种各样的需求,天翼云全面进发,以不同容量、不同性能的云硬盘来支持用户多样化需求,彰显云存储的创新优势。

针对越来越苛刻的高性能需求,天翼云一直保持着业界少有的创新节奏,特别是在闪存技术的应用上,有着多年的积累,这有助于天翼云在云硬盘上推陈出新,并不断实现新突破。

天翼云基于高性能分布式存储引擎LAVA,在主机侧采用VFIO-User架构,提供企业级NVMe SSD云硬盘,IO经过虚拟机内核后直达LAVA客户端,降低了原QEMU开源虚拟机IO处理的消耗。借助零拷贝数据传输机制,通过全自研L-RDMA协议,不仅降低通信开销,提升数据传输效率,而且缩短了全栈IO处理路径,直接带来时延上的明显优化。

不过,SSD因其自身erase-before-write特性的限制,写放大一直是件麻烦事。为此,天翼云结合日志即数据技术,通过多版本数据管理技术,解决了整个写IO流程无写放大的难题,即使遭遇上千快照也不会产生额外IO,从而很好地规避了SSD云硬盘因写操作带来的IO性能影响。

此外,还在分布式存储纠删码EC技术基础上,天翼云叠加动态路由功能,实现与多副本同级别性能,存储利用率提升50%以上。

独特的分布式引擎架构的技术虽好,但是,XSSD到底可以达到怎样的性能水平呢?总体来看,与天翼云的上一代极速型SSD、超高IO云硬盘相比,XSSD表现还是相当突出。

之前推出的超高IO云硬盘可以提供最大带宽350MBps,最低时延1ms,实现最大IOPS为3.3万。极速型SSD可以提供最大带宽750MBps,时延低于1ms,实现最大IOPS为10万。

而X系列云硬盘亮相之后,其带宽、时延、IOPS等指标均提升了2~10倍。在数据库等时延敏感场景,XSSD可以实现稳定低时延,并为用户提供媲美本地盘的高性能。目前,XSSD分为两种规格,其中面向IO密集型数据库的XSSD-1在带宽和IOPS上虽然与之前的极速型SSD旗鼓相当,但是在时延上却获得更优越的百微秒级表现,性能高且时延低才是诸多用户尤为重视的关键。

面向关键/核心数据库、内存数据库、AI和大数据应用场景的XSSD-2,在带宽、时延、IOPS三个核心表现上都获得前所未有的突破,最大带宽达到4000MBps,实现最大IOPS高达100万,而最低时延却被控制在了0.1ms,相当于比极速型SSD最低时延表现降低了10倍左右。

高性能云硬盘几乎所有公有云厂商都在提供,天翼云XSSD到底能否“闯关”成为行业翘楚,除了天翼云对外公布的具体性能情况之外,更需要业界权威机构的评测认可。

2023年,中国信通院为天翼云分布式块存储XSSD测试颁发测试证明,天翼云XSSD成为业内首家通过信通院权威认证百万IOPS,并且实现存储全国产化的云硬盘,进一步夯实了数据要素的存储基石,勇立数字化发展的潮头。

03

全新科技突破,应对苛刻应用场景的存储挑战

话又说回来了,XSSD性能虽好,可靠性到底如何呢?毕竟检验云硬盘品质的核心指标,离不开高可靠性。

从可靠性需求的早期发展来看,之前企业上云方案中不少采用物理机加本地盘的方式,虽然可以满足用户的高性能需求,但受限单台服务器存储资源的使用,因而在可靠性上难以得到有效保障,不仅无法容忍“Double Fault”双点失效,即使单点故障也同样无法容忍,与此同时存储容量无法实现弹性扩展,在满足用户应用需求增减变化上显得格格不入。

实现全新科技突破,应对苛刻应用场景对高可靠性的挑战,XSSD的表现异常突出。在高可靠性上,不仅实现高达99.9999999%的数据持久性,而且实现了99.975%的业务可用性。

实际上,拥有如此突出的高可靠性,这与天翼云在XSSD上实现技术突破,应对四大可靠性挑战有着很大关系。

针对故障快速修复的挑战,XSSD基于分布式存储引擎LAVA,采用独有的EC动态路由叠加多层数据保护技术,实现跨AZ数据高可用,减少跨AZ数据修复流量,达成快速修复故障目的。

针对存储引擎写入方式的挑战,所有数据写入XSSD都采用Append Only模式,优化写链路,规避底层数据覆盖写的难题,可追溯数据,遭遇故障读写不降级,从SSD云硬盘底层技术革新,硬碰硬增强可用性。

针对快照影响性能的挑战,XSSD采用多版本管理的快照技术,降低快照对IO性能的干扰,实现快照性能无损,目前每块云硬盘的快照数量可达千级,支持用户在数据备份与持续保护上的苛刻需求。

针对数据读写全流程的可靠性挑战,XSSD凭借全路径数据校验技术,实现端到端数据保护的DIF校验,同时支持多种DIF配置,确保读写全流程的数据一致性。

应对苛刻应用场景的存储挑战,实现高可靠性虽然必不可少,但少了弹性扩展,必然就难以满足用户实际应用需求的增减变化。

在高弹性方面,XSSD表现依然不俗。有着对天翼云在云服务弹性优势上的天然承袭,XSSD采用分布式元数据存储管理,元数据规模与性能随节点增加而线性增长,最大支撑万亿级元数据规模,满足关键业务、核心数据库、内存数据库、AI训练等典型应用对容量和性能的要求,同时通过两级集群设计,万级节点扩展能力不在话下。

此外,XSSD为用户提供按需采购付费的方式,通过预配置IOPS的订购模式,实现容量和性能的解耦,任何用户都可以按照业务发展的不同阶段情况,针对波峰或波谷按需动态配置性能。很显然,在动态性能需求场景上,XSSD支持预配置IOPS订购模式,可谓深得人心。

由此可见,从高性能、高可靠、高弹性、按需配置等多个方面硬指标出发,满足苛刻应用场景的用户需求。天翼云通过创新性设计的端到端IO路径,采用软硬件多层面技术优化,加上自研高性能分布式存储引擎LAVA的技术加持,打造出新一代高性能云硬盘XSSD,令业界眼前一亮。

更值得一提的是,助力数字中国的蓬勃发展,在全栈式国产化设计思路上,天翼云XSSD创新坚持安全可信。为了确保整个云硬盘产业链不被“卡脖子”,保障云硬盘的生态安全性,天翼云积极携手CPU、存储介质、SSD控制器、网络、操作系统、存储软件等国产厂商,联合存储全产业链的上下游合作伙伴,充分发挥国产技术的创新优势,互为开放,广泛兼容,借助存储软件在系统层面扬长避短,实现XSSD整体能力达到业界领先水平。

不过,全球存储观察认为,基于分布式存储引擎LAVA的XSSD系列云硬盘推出,只是天翼云挺进云存储的一个新开始,下一步将会有更多基于完全自研的云硬盘新品出现,实现云硬盘在技术上的更多新突破,满足更多苛刻应用场景的新需求,让我们拭目以待。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察|全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1307542.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用python打印出菱形图案

你可以使用Python编写一个简单的函数来打印菱形图案。下面是一个例子,这个函数接受一个参数n,表示菱形的高度,然后打印出一个菱形图案: def print_diamond(n): # 上半部分 for i in range(n): print(" " …

云智融合浪潮之下,中国操作系统逆势向上

自从2020年12月CentOS项目宣布 CentOS 8于2021年12月31日停止维护和更新,CentOS 7也将于2024年6月30日停服,就掀起了中国操作系统的替换浪潮。作为基于Red Hat Enterprise Linux的开源操作系统,CentOS广泛应用于企业级服务器和云计算平台。而…

Linux——MySQL数据库系统()

一、访问MySQL数据库 MySQL数据库系统也是一个典型的C/S(客户端/服务器)架构的应用,要访问MySQL数据库需要使用专门的客户端软件。在Linux系统中,最简单、易用的MySQL客户端软件是其自带的mysql命令工具。 1、登录到MySQL服务器经过安装后的初…

AdobeXD 是什么?你想知道的都在这里!

AdobeXD 是一个功能强大的原型创建工具。使用这个工具,你可以更快地开发你的设计。让你的项目有条不紊,消除拖延工作流程的重复任务和单调任务。快速与开发团队分享详细的设计规范。使用 AdobeXD 能够把创意迅速转化为原型,创建、构建、共享原…

结合eNSP实验讲VLAN,让理论生动

目录 一、VLAN的简介 1、定义 2、产生的原因--解决传统以太网的问题 3、VLAN的作用 4、VLAN数据帧格式--插入VLAN标签 5、VLAN的种类 5.1静态VLAN--常用 5.1.1静态vlan的范围 5.2动态VLAN 6、VLAN的三种端口类型 6.1Access接口 6.2Trunk接口 6.3Hybrid接口 二、配置…

利用机器学习实现客户细分的实战

前言: Hello大家好,我是Dream。 今天来学习一下机器学习实战中的案例:创建客户细分,在此过程中也会补充很多重要的知识点,欢迎大家一起前来探讨学习~ 一、导入数据 在此项目中,我们使用 UCI 机器学习代码库…

MATLAB基础运算

矩阵和数字相乘 就是矩阵里面每个元素跟这个数字乘一遍,无论是点乘还是叉乘,对于这个都一样。 >> Aones(3) A 1 1 11 1 11 1 1 >> 10*A ans 10 10 1010 10 1010 10 10 矩阵和矩阵叉乘 能不能相…

竞赛保研 python 爬虫与协同过滤的新闻推荐系统

1 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 python 爬虫与协同过滤的新闻推荐系统 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分工作量:3分创新点:4分 该项目较为新颖&…

「C++」内存管理

🎇个人主页:Ice_Sugar_7 🎇所属专栏:C启航 🎇欢迎点赞收藏加关注哦! 文章目录 🍉内存分布🍉关键字new🍉关键字delete🍉new和delete的封装实现🍉总…

kafka 详细介绍

目录 前言 分布式架构: 消息发布-订阅模型: 持久性存储: 分区和副本: 水平扩展: 高性能: 生态系统: 我的其他博客 前言 Kafka 是由 Apache 软件基金会开发的一种开源流处理平台&#xf…

基于Java SSM框架实现沙县小吃门店连锁点餐订餐系统项目【项目源码+论文说明】

基于java的SSM框架实现县小吃门店连锁点餐订餐系统演示 摘要 随着社会的发展,社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 沙县小吃点餐系统,主要的模块包括实现管理员;个人中心、用户管…

视频推拉流平台EasyDSS点播文件播放请求添加token验证的实现方法

EasyDSS视频直播点播平台可提供一站式的视频推拉流、转码、点播、直播、播放H.265编码视频等服务,搭配RTMP高清摄像头使用,可将设备的实时流推送到平台上,实现无人机视频推流直播等应用。今天我们来介绍下EasyDSS系统点播文件播放请求添加tok…

实战章节:在Linux上部署各类软件

详细资料见文章的资源绑定 一、前言 1.1 为什么学习各类软件在Linux上的部署 在前面,我们学习了许多的Linux命令和高级技巧,这些知识点比较零散,同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用,但是并没…

TDengine Kafka Connector将 Kafka 中指定 topic 的数据(批量或实时)同步到 TDengine

教程放在这里:TDengine Java Connector,官方文档已经写的很清晰了,不再赘述。 这里记录一下踩坑: 1.报错 java.lang.UnsatisfiedLinkError: no taos in java.library.pathat java.lang.ClassLoader.loadLibrary(ClassLoader.j…

【Geoserver】将geoserver迁移到jetty的发行包中

之前讲了在Geosever的二进制发行包中升级jetty的内容,我测试之后发现有些问题,本地运行可能没有问题,但是在linux上运行报错了。 于是我想着换个思路好了,总是想着将Geosever中的jetty包替换掉,干脆反过来,…

Java 数据结构篇-用数组、堆实现优先级队列

🔥博客主页: 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 优先级队列说明 2.0 用数组实现优先级队列 3.0 无序数组实现优先级队列 3.1 无序数组实现优先级队列 - 入队列 offer(E value) 3.2 无序数组实现优先级队列 - 出…

mysql数据备份策略-shell脚本优化代码

一.备份的主机上需要自己手动安装xtrabackup工具 1.安装xtrabackup-yum源 #下载xtrabackup的yum源 wget http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpmrpm -ivh percona-release-0.1-4.noarch.rpm2.打开yum源 #打开xtra…

竞赛保研 python 机器视觉 车牌识别 - opencv 深度学习 机器学习

1 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 基于python 机器视觉 的车牌识别系统 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分工作量:3分创新点:3分 🧿 更多资…

道路坑洞数据集(坑洞目标检测)VOC+YOLO格式650张

路面坑洞的形成原因是由于设计、施工、养护处理不当、控制不适和受气候、环境、地质、水文等自然因素影响,以及车辆的运行和车辆超载运行导致路面破损,出现坑洞的现象。 路面坑洞的分类: (1)路面混凝土板中坑洞&…