这家十年磨剑的企业级存储厂商,为什么将分布式块存储也开源了?

news2025/1/19 14:13:05

只要提到企业级存储,任何成功的厂商无不以十年为单位的积累,才能实现真正的创新。

当然,作为存储领域相对更为复杂的分布式块存储,存储创新公司一般都不太愿意碰它。原因很简单,在技术自研的道路上,更需要坐得住冷板凳,坚持不懈,然后才能真正掌握块存储技术,创新不已。

掌握块存储技术本就不容易了,更何况还要将它开源。细数一下,华为存储、曙光存储、浪潮存储、新华三、中国电子云、宏杉科技、Dell EMC、NetApp、HitachiVantara、IBM等国内外的企业级存储厂商,块存储作为其业务组合的重要支撑部分,开源“块存储软件”的想法对他们而言,可谓十分“敏感”。

因而,之前一直未能听说哪个企业级存储厂商会将自己的块存储软件开源。

开源不是目的,开源只是开始

不过,现在有了第一个吃螃蟹的人,历经10年自研的长期打磨,南京鹏云网络科技有限公司(以下简称:鹏云网络)正式宣布在2023年1月1日将ZettaStor DBS分布式块存储软件开源,开源代码可以在github开源平台搜zettastor的DBS,进行下载使用。

从闭源到开源,鹏云网络为什么选择现在这个时间点将块存储软件开源呢?

从行业发展的大趋势来看,《“十四五”数字经济发展规划》强调了加强数字基础设施建设,完善数字经济治理体系,协同推进数字产业化和产业数字化,赋能传统产业转型升级。同时,党的二十大对科技发展思路提出了新规划、新要求,强调自主可控、安全创新在经济发展中的重要性。随着数据要素生态的不断丰富,采集、存储、计算、传输、分析等各个环节呈现出前所未有的市场规模。来自华为《全球产业展望(GIV)》预测显示,到2030年,全球数据将从ZB时代迈入YB时代。存储作为支撑数字经济发展的基石,数据存储领域的技术创新将直接影响到行业数字化升级与转型,以及经济社会的高质量发展。

虽然我们正处于快速发展数字经济的关键时期,但由于受到大环境的影响,在应对科技领域出现“卡脖子”的挑战时,更需要强化行业自主安全的发展趋势,更需要有真正技术研发能力的科技公司做出贡献,构建“存储开源”的创新体系,从而实现数据存储关键技术的“弯道超车”。

作为鹏云网络的创始人,陈靓博士在国外学习和工作多年之后,于2013年回国并带领鹏云团队历经10年自研路,研发出一系列自研分布式存储产品,希望让更多的厂商和开发者用到属于中国的存储软件产品,加快存储软件领域的信创进程。

ZettaStor DBS分布式块存储软件由鹏云网络自己设计的技术架构,经过多年迭代升级,就软件本身而言已经比较完善,现在贡献给开源社区,提供一个成熟的分布式块存储产品。好与不好,也可以让更多的用户、开发者、合作伙伴来亲自验证测试。

全球存储观察分析认为,ZettaStor DBS分布式块存储开源之后,将为存储行业向前发展注入新动力。降低块存储开发难的技术门槛,激励更多关注存储技术的用户、合作伙伴以及产业人士来参与存储创新。最终将拓宽分布式存储的新赛道,驱动分布式存储商业化与开源化“双向”协同发展。

此外,在开源软件领域,Linux毫无疑问应是成功的典范。从生态体系构建,到全球业界的重视度,以及带给云计算的发展基础,Linux的开源成果备受瞩目。同时像OpenStack、Hadoop 、Spark等偏底层技术的开源项目,对大数据、云计算、物联网等新兴产业的发展带来了很好的推动作用。

然而,这些开源软件、开源项目发展到今天,都离不开背后商业化带来的互补作用。可见,开源并不是软件发展的目的,开源只是软件发展的另一个创新开始。

拥抱开源并非放手不管,

全面构建块存储开源治理体系

“开源并非将软件开放出去就放手不管,做甩手掌柜了。实际上,我们还要为此付出更多的成本,包括组建支持开源社区发展的技术团队,发展开源生态的服务团队等。”南京鹏云网络创始人、董事长兼CEO陈靓博士如是说道,对于开源的态度,也是“不鸣则已,一鸣惊人”。拥抱开源,借助社区力量,可以发挥出群策群力的价值。块存储开源后不是放手不管,而是需要全面构建其开源治理体系。

为此,鹏云网络面向块存储开源做好了几个方面的重要事情。

一是,开源之前将块存储知识产权做了清晰梳理。既然选择了开源,那么鹏云网络也做好了开放的准备。

一方面欢迎业界朋友来实测、使用或借鉴,ZettaStor DBS分布式块存储软件开源对于中小企业或是有自研想法刚刚起步的企业带来非常直接的参考作用,DBS开源版本可以满足中小规模用户的基本使用需求,同时对有自研想法的企业可以提供借鉴意义。

另一方面也对ZettaStor DBS核心技术进行了专利申请。这样的准备可以让鹏云网络在进行社区开源贡献的同时,也能更好地保护自己的权益不受侵害。“由于DBS的基础架构和算法都由我们自主研发,所以我们很清楚哪些是最核心的技术关键点。在为DBS申请专利时,会聚焦这些关键技术点,从而保证DBS知识产权的完整性。”陈靓博士介绍说,目前围绕DBS已经申请了10余项核心专利。

全球存储观察分析指出,对于ZettaStor DBS核心技术申请多项专利的做法,值得国内其他有自研能力又想做开源的科技企业借鉴。兼顾社区开源贡献与知识产权的保护,这也是开源治理体系中很重要的一部分。

二是,将商业版软件验证测试体系引入到开源领域,提升开源代码质量,并保持一致的开发逻辑。众所周知,开源软件领域的安全漏洞问题,一直是影响其发展的重要原因。建立整体完善机制,避免DBS软件开源之后可能出现漏洞安全威胁。在应对安全的挑战上,鹏云网络是认真的,不仅基于商业版软件测试流程对开源版本做代码的长期监测,而且从0代码开始就完全采用自研,将安全作为了块存储软件开发的生命线。

况且贡献给开源社区的DBS是成熟产品,早已在金融,运营商领域的头部企业运行多年,经过了长期应用实践的检验,有着高安全高可靠性的特点,DBS的成熟度保证发布到开源社区可以“拿来即用”,从而推动分布式块存储软件通过开源实现“技术普惠”。

当然,为了体现鹏云网络对于代码安全的信心,针对本次开源,鹏云网络还特别推出“块存开源,万元捉虫”的有奖找BUG活动,并设立活动总奖金池100万元。目前该活动仅限于鹏云网络在GitHub上发布的分布式块存储系统ZettaStor DBS(开源版)在数据安全领域所存在的BUG,具体内容可以关注鹏云网络,了解详细活动规则。

目前针对分布式块存储系统ZettaStor DBS开源是在GitHub社区发布,未来还将继续开源鹏云网络的云原生存储平台ZettaStor HASP,当鹏云网络开源软件产品越来越多的时候,也不排除建立自己的开源社区或联合其他厂商一起建立开源社区。

三是,吸引企业用户参与,加大支持开源拓展的投入。从开源社区出发,让更多企业用户成为分布式块存储开源技术的使用者,同时也是分布式块存储需求的提出者,最终也成为块存储开源的贡献者,从而打破了分布式块存储软件的传统开发边界。

针对ZettaStor DBS,鹏云网络在技术人力方面做了充分准备,组建专门支持开源社区发展的技术服务团队,配合社区发布以及开发者的后续使用,定期举办开发者见面会或是通过线上的方式,帮助大家去理解DBS的架构。毕竟每一个想要参与分布式块存储自主研发的企业、每一位想要学习或尝试分布式块存储技术应用的开发者都有着不同的技术背景与应用能力。就此,鹏云网络积极推进开源,积极支持DBS开源的后续发展,对于分布式块存储要求不高的企业或是想借鉴DBS架构研发块存储的企业可以使用开源版本,而对于块存储能力有较高要求的企业可以使用商用版本。

可见,鹏云网络正在以认真严谨的态度打造ZettaStor DBS开源版本,就像是其商用版本的一个体验装,任何企业用户都可以“先尝再买”,在选择分布式块存储产品上,可以多一个好的选择。“不好吃不付钱”,就像街头巷尾特色小吃的体验式营销一样。

四是,积极参与GitHub等开源社区建设,充分发挥开源的生态力量,打造分布式块存储的开源文化。这是全面构建块存储开源治理体系的关键。

对于鹏云网络的未来生态发展而言,必然是希望有越来越多拥有自主研发能力的厂商都能参与到分布式块存储的开源事业中来,这样也可以提高中国自主开源代码的繁荣度,促进中国数字化进程以及软件自主化的发展。宣布开源之后,鹏云网络会以更加开放的心态去与同样拥有自研能力的企业合作,进一步完善基础软件“信创”开源生态,升级迭代产品功能,实现存储服务内容的更大丰富。

全球存储观察分析认为,分布式块存储软件开源,作为数字化基础设施领域的关键技术,开源带来了更强的生命力,开源开放可以使得ZettaStor DBS块存储软件获得更广泛的使用。在商业拓展上,ZettaStor DBS块存储开源项目被大范围使用后,必然可以加速整个技术升级迭代,加速软件进化。对于任何类型的软件,只有让更多的用户“用起来”,才是产品迭代的关键。与此同时,开源的力量可以反哺并支持商业化的发展,毕竟在现实中,依然有相当多的企业希望获得商业版的支持与应用价值。

由此而言,鹏云网络拥抱开源不是放手不管,也永远做不成“甩手掌柜”,反而将更为努力,通过更多的投入,全面构建块存储开源治理体系,才能彰显出开源开放的真正企业价值。

“出道即巅峰”,

打造从自研到开源的新路径

如前文所述,在块存储软件领域的开源,到目前为止,鹏云网络属于行业首举。然而,走了10年的块存储软件自研路,将ZettaStor DBS分布式块存储软件版本正式开源,打造从自研到开源的新路径,如何做到“出道即巅峰”呢?

其一,要对自主研发和开源的相辅相成关系有着深刻的认知。自研与开源,两者本就不矛盾。开源的开放性有助于自主研发的能力提升。拿来主义不可取,但可以在借鉴中去学习去完善自我,提升自主研发的能力,跟上全球技术创新的先进步伐,并在这个过程中寻求新的技术路线,从而找到弯道超车、换道超车的机会。就如国产汽车的研发之路,从当初模仿起步,到自主品牌的成熟,再到现在新能源电动汽车的引领,这样的发展模式对软件行业发展也有相当的借鉴意义。

其二,鹏云网络ZettaStor DBS是属于分布式块存储软件,对于目前的电信、金融、能源等客户而言,都涉及这类垂直行业重要客户的数据库、云计算、虚拟化、海量数据存储的关键应用场景,这关系着他们数字化进程的成败。为此,DBS开源后继续保持两个版本,两个版本所针对的用户有所不同。开源版具备了分布式块存储的最基本功能,对于中小企业来说,可以满足基本上云需求。而对于运营商、金融、能源等大型企业来说,他们对于上云的数据安全有着更高的要求,针对这批有高要求的用户,就可以采用商业版本,商业版本拥有比开源版本更加高级的企业级功能,可以更好地满足高要求企业用户的需求。

其三,值得注意的是,开源并不是DBS的终点,鹏云网络还将会对DBS进行长期优化和继续迭代,从而保证DBS可以满足不同时期用户对于分布式块存储软件的需求。

其四,鹏云网络坚持十年的自主研发是顺势而为,ZettaStor DBS分布式块存储软件与业界现有的存储开源软件Ceph有所不同,没有对比就没有鉴别,从架构、高可用、高性能访问三个企业用户备受关注的重要方面对比来看,DBS技术的先进性十分突出,有望实现“出道即巅峰”。

在架构先进性方面,Ceph属于非全对称架构,使用Monitor服务作为中央控制节点,这种架构在一定程度上直接限制了系统扩展规模,并带来可用性隐患。ZettaStor DBS开源版本采用全对称分布式架构,没有中央控制节点及元数据节点,因而能实现更高的扩展性、访问性能、以及可用性。

在高可用性方面,Ceph核心的Crush算法采用了分布式哈希环技术,故障处理过程中响应时间长,IO中断超过15秒,不做优化会影响前端业务处理,甚至报错中断。ZettaStor DBS开源版本基于专利技术的自研故障处理算法,IO中断时间小于1秒,前端业务不受影响。

在高性能访问方面,Ceph底层以RADOS对象存储为基础,再模拟成块设备接口,从根源上就不适合高并发低延迟的块级IO访问。所以IO性能表现不佳,不得不依赖高比例的缓存配置来提供可用的性能。ZettaStor DBS开源版本底层基于原生块存储架构,专为以磁盘为主存的块级IO访问设计,同时配合磁盘IO性能加速、最短网络传输路径等技术,实现高并发、超低延迟的IO处理性能。

有了在分布式块存储领域的技术先进性打底,同时再加上广泛的行业应用落地,目前已服务金融、通信、医疗等20多个重点行业并完成装机部署200PB+容量,鹏云网络开源创举的“底气”与信心从此更足了。

为了满足更多用户的实际需求,DBS开源后将保持开源版与商用版双向发展,为高端用户存储需求提供更专业的新选择。在针对“从自研到开源”的新路径新价值的探索上,双管齐下。一方面坚持自研,继续磨剑,继续彰显自主创新的价值与意义。另一方面推进开源,促进存储产业蓬勃发展,突出生态兼容并包的共荣价值。通过完善开源生态治理体系,继续打造开源存储赛道,在分布式环境下,做好存储基石,满足企业用户应用需求变化的高稳定性、数据安全性与可靠性。

“如果有大企业愿意做二次开发,意味着鹏云网络DBS的开源走进成功了。”

谈到未来的发展,陈靓博士分析指出,目前ZettaStor的系列存储产品如统一文件服务平台FileCloud、分布式块存储系统DBS、分布式对象存储系统DOS等都属于IaaS,通过IaaS领域的存储布局,逐渐向上发展靠近应用但不直接做应用,然后面向PaaS进发。未来打造PaaS层的存储平台,将成为鹏云网络的战略方向。

虽然ZettaStor DBS分布式块存储开源的举措,或许很快将成为过去,但这份创举必将成为鹏云网络面向未来发展的试金石,也将为中国存储行业的创新发展带来新的活力。

(by Aming)

- END-

欢迎文末评论补充!

【全存储观察 | 阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/161575.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Nginx之限流

文章目录Nginx如何限流配置基本的限流处理突发无延迟的排队高级配置示例location包含多limit_req指令配置相关功能发送到客户端的错误代码指定location拒绝所有请求总结流量限制(rate-limiting),是 Nginx 中一个非常实用,却经常被错误理解和错误配置的功…

JavaScript 数据处理 · 基本统计(文末附视频)

第 5 节 基本数据处理 基本统计 学习了如何对 JavaScript 中的数组数据进行操作之后,我们就要回到刚开始选择购买这本小册的目的了:使用 JavaScript 开发灵活的数据应用。既然说是数据应用,那么便离不开统计计算,而数组就可以说…

Android 设备自动重启分析[低内存]——MTK平台 debuglogger

大家有没有遇到和我一样的问题,android设备(我这里android 平板)用着用着突然就黑屏自动重启了,重启后一切正常,这个问题还是概率性的,复现都不好复现... 本人公司是做平板定制的,主要针对平板进行上网限制&#xff0c…

C语言进阶——字符函数

目录 一.前言 二.strlen 1.函数介绍 2.三种模拟实现 三.长度不受限制函数 1.strcpy 模拟实现 2.strcat 模拟实现 3.strcmp 模拟实现 四.长度受限制函数 1.strncpy 模拟实现 2.strncat 模拟实现 3.strncmp 模拟实现 五.字符串查找 1.strstr 模拟实现 2.st…

手把手教你快速搞定4个职场写作场景

“ 【写作能力提升】系列文章: 为什么建议你一定要学会写作? 手把手教你快速搞定 4 个职场写作场景 5 种搭建⽂章架构的⽅法”免费赠送! ”一、前言 Hello,我是小木箱,今天主要分享的内容是: 写作小白需要避免的五个写作误区和灵魂五问。 二…

好家伙谷歌翻译又不能用了(有效解决方法)

今天打开idea想翻译单词发现谷歌翻译又又又挂了。为什么挂掉,可能是那个ip节点太多人用了,我也不懂我就是一个小白。不bb了说一下解决方法。一、手动Ping可以连接的ip这里我使用的是:https://ping.chinaz.com然后我们输入: transl…

YoloV8简单使用

我们坐在阳光下,我们转眼间长大,Yolo系列都到V8了,来看看怎么个事。目标检测不能没有Yolo,就像西方不能没有耶路撒冷。这个万能的目标检测框架圈粉无数,经典的三段式改进也是改造出很多论文,可惜我念书时的…

论文投稿指南——中文核心期刊推荐(植物学)

【前言】 🚀 想发论文怎么办?手把手教你论文如何投稿!那么,首先要搞懂投稿目标——论文期刊 🎄 在期刊论文的分布中,存在一种普遍现象:即对于某一特定的学科或专业来说,少数期刊所含…

English Learning - L1-12 情态动词 + 倒装 2023.1.12 周四

这里写目录标题9 情态动词9.2 may - mightmay(1) 表许可(2) 推测 --- 可能,或许(50% 的概率)might9.3 can - couldcan核心思维: 潜在的可能性,有某种知识和技能而能办到(1)能力(有做 。。。的能…

java 计算机概述看这一篇文章就够了

第一章 计算机概述 第1节 计算机介绍 1广义上: 凡是可以帮助我们完成计算的工具统称为计算机(比如 算盘、计算器等...) 狭义上: 当前说计算机一般情况特指电子计算机(电脑)第2节 计算机历史 算盘(机械/手动) 源于中国具体作者不详,发明时间不详.我国第一颗原子弹的很多数据早期…

【论文速递】ACM2022 - 基于嵌入自适应更新和超类表示的增量小样本语义分割

【论文速递】ACM2022 - 基于嵌入自适应更新和超类表示的增量小样本语义分割 【论文原文】:Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation 获取地址:https://arxiv.org/pdf/2207.12964.pd…

靶机测试djinn笔记

靶机地址https://www.vulnhub.com/entry/djinn-1,397/靶机测试信息收集nmap扫描nmap -p- -A 192.168.1.106 -oA dj 通过 nmap 扫描得到21 端口 可以匿名访问22 端口 ssh 但是被过滤了 1337 是一个游戏端口7331 是 python web测试 1337 端口访问端口nc -vv 192.168.0.177 1337这…

智慧工地安全帽智能识别检测 yolov5

智慧工地安全帽智能识别检测通过yolov5opencv深度学习技术,可自动对现场画面检测识别人员有没有戴安全帽。OpenCV基于C实现,同时提供python, Ruby, Matlab等语言的接口。OpenCV-Python是OpenCV的Python API,结合了OpenCV CAPI和Python语言的最…

【Spring(六)】彻底搞懂Spring的依赖注入

文章目录前言依赖注入setter注入构造器注入自动装配集合注入总结前言 在核心容器这一部分bean相关的操作,我们已经学完了,接下来我们就要进入到第二个大的模块,与我们的DI,也就是依赖注入相关知识的学习了,那我们先来学习第一个内…

ChatGPT!我是你的破壁人;比尔·盖茨不看好Web3与元宇宙;FIFA押中4届世界杯冠军;GitHub今日热榜 | ShowMeAI资讯日报

👀日报合辑 | 🎡AI应用与工具大全 | 🔔公众号资料下载 | 🍩韩信子 🎡 『GPTZero』用 ChatGPT 写论文糊弄老师?已经不灵了~ 语言生成模型的诞生与优化,给教育和学术界带来了不少困扰。继纽约教育…

前端工程化解决方案-Webpack编程

文章目录1. 前端工程化目前主流的前端工程化解决方案2.webpack2.1 主要供能2.2 webpack与webpack-cli的使用2.2.1 初始化项目2.2.2 安装2.2.3 配置2.2.3.1 webpack.config.js2.2.3.2 package.json2.2.3.3 打包构建2.2.3.4 项目中引入 dist/bundle.js2.3 动态部署2.3.1 webpack-…

微服务架构概述

微服务架构概述一、架构演变1.1 单体架构1.2 分布式架构1.3 微服务二、SpringCloud2.1 简介3.2 痛点三、SpringCloud Alibaba3.1 简介3.2 优点3.3 主要组件3.4 版本对应一、架构演变 1.1 单体架构 讲业务的所有功能集中在一个项目中开发,打成一个包部署。 优点&am…

SaaS架构实现理论(四)可伸缩多租户

目录1.伸缩性(Scalable)的概念2.应用服务器层的水平扩展2.1基于Session复制的水平扩展方式2.2基于Session Sticky的水平扩展方式2.3基于Cache的集中式Session实现水平扩展2.4三种水平扩展方式的比较3.数据库的水平扩展3.1数据库的垂直切分3.2数据库的读写…

ArcGIS基础实验操作100例--实验93插值模型的精度分析

本实验专栏参考自汤国安教授《地理信息系统基础实验操作100例》一书 实验平台:ArcGIS 10.6 实验数据:请访问实验1(传送门) 空间分析篇--实验93 插值模型的精度分析 目录 一、实验背景 二、实验数据 三、实验步骤 (…

ESP-IDF:使用基本类型,指针,引用,指针的指针,指针的引用作为函数参数的几个例程

1.例程: /下面是使用基本类型,指针,引用,指针的指针,指针的引用作为函数参数的几个例程/ // 值拷贝 int add10(int a) { a 10; return a; } // 指针传参,是一种地址拷贝 void add101(int *a) { // int *…