国内首个多主架构方案发布:数据库产业生态的一次开放式升维

news2025/2/24 21:19:28

文 | 智能相对论

作者 | 叶远风

作为数字化变革最仰仗的基础设施之一,数据库的建设已经成为当下的热点。

长期以来,通过数据库的自主创新来保证数据基础设施的安全可控,一直是业界以及众多行业客户的普遍愿望。

但是,这一进程很难说足够快、足够达到普遍预期。

毕竟,底层基础软硬件技术的硬骨头,从来不是那么好啃的。

好消息是,在一些玩家的努力下,某种程度上的里程碑式成果终于出现。

最近,华为存储与万里数据库共同发布“存算分离&多主架构联合创新方案”(以下简称联合方案),采用GreatDB数据库+华为参天引擎+华为闪存存储,该方案成为国内首个多主架构数据库解决方案。

攻克多主架构难题,毫无疑问成为我国数据库技术创新上的巨大进步。

但更应该看到的,还有这种创新背后的数据库产业生态的改变,以及它能够给行业、给客户群体带来的未来价值。

数据库替代,只有实力才能为理想买单

用自主创新的产品替代Oracle这样的经典数据库,已经成为一种行业理想。

事实上,在国外,由于Oracle的授权和服务费比替代它的数据库平均贵出30%~50%以上,处于节约成本目的,很多企业也在加速对Oracle的替代。

但替代这件事,国内企业尤其是互联网科技巨头们喊了很多年也实践了很多年,雷声很大也在努力下雨,在技术能力上始终没有达到Oracle相关水准。

典型地,Oracle的多节点同时读写数据能力让数据库整体性能表现十分优异,在国内,这方面的创新一直是各企业努力的方向,但始终没有实质的突破。其结果,是虽然舆论上数据库自主创新很火热,但真正到了金融业等产业场景中,国产方案的渗透率增长仍然十分缓慢。

理想浪漫,现实蹒跚。

国内每一个数据库从业者,都在渴望一个在硬实力上能站出来与Oracle掰手腕的玩家。

症结在于,已经取得长足进步的国内数据库方案,由于多采用基于服务器本地盘的存算一体架构,“一个节点读、其他节点看戏”,其架构与多节点同时读取数据的能力需求背道而驰,很难实现多节点同时读取能力的对齐,尤其在大表性能方面,可靠性、性能和效率等方面无法满足核心系统要求。

在架构层面,国内数据库方案就存在天然的“基因缺陷”。

这时候,替代原本主从架构的多主架构,就成为国内众多企业尝试的方向。

比如,某很早就提出去IOE的互联网大厂,投入了大量精力进行多主架构的创新,但其结果并不尽如人意。

而万里数据库和华为存储的强强联手,就是基于存算分离架构,实现了国内首个多主架构数据库方案的创新。

在多主架构下,单主架构数据库的性能瓶颈被突破,多副本、跨表操作等影响性能的障碍被逐步消除,且基于高可用的存储能力,客户企业不用再面对可靠性弱的、以服务器为底层的做法,也可避免因异步复制导致的的数据丢失。

通过数据库跨节点缓存池化技术,这套联合方案做到了全局表并发读写、事务并发处理能力,真正实现了数据库多读多写,修正国内数据库在架构上的“基因缺陷”。

而国内数据库也第一次基于实力有了与Oracle对话的权利。

降本增效+平滑过度,“不折腾”才是好的数据库方案

从客户企业来看,任何的技术创新首先要满足业务需要,满足企业内部发展要求。

以金融业为例,目前其数据库更新需求大约占到了整个市场的20%,是数据库行业突破的重中之重。

但是,金融企业的数据变革,从来不是为了替代而替代,它仍然遵循“数字化变革”的大逻辑,即需要在降低成本、提升性能和可靠性、强化扩展性、支撑业务创新等方面有充足的理由。

虽然联合方案实现了技术突破,但要想市场买账,还需要从客户角度提供应有的价值。

目前,在性能上,联合方案由于完全激发了所有节点算力,消除了副本间同步带来的性能损耗,其相对于过去的主备数据库和分片数据库,性能最高可提升10倍。

而在可靠性方面,存算分离架构下,以华为OceanStor闪存存储为共享数据底座,再加上多主架构中单节点故障则另一节点快速接管业务的优势,联合方案可实现节点故障RTO<60秒。

此外,高可靠外置存储和成熟容灾能力,使得多读多写下即使节点故障,数据也不会丢失,满足金融业等客户的严苛需求。

在成本方面,高性能、高可靠性的同时,由于多主架构的大表处理能力大幅提升,不需要进行分库分表和业务改造,且数据单副本的做法大幅度提升了存储资源利用率(存储空间、耗电量、网络传输等),客户企业将节约大量的数据库升级和运营的成本。

可以说,降本增效上,联合方案也已经有了充分的替代理由。

而更进一步看,在金融业等领域,随着数据库迁移的深入,客户企业将更多开始考虑迁移工作的章法,“高速行驶中更换轮胎”,对平滑过度有着越来越高的要求。

除了前文提到的无须分库分表和业务改造,联合方案本身还高度兼容MySQL/Oracle等主流数据库语法,并兼容国内外主流的基础软、硬件,这使得客户企业几乎不用改变过去使用Oracle等数据库的习惯,能够快速、平滑地实现数据库改造升级。

好用又“不折腾”,这样的方案,很难不被认可。

这些特性的背后,是华为底层存储技术能力与伙伴解决方案能力的有效整合。

在数据库方面,万里GreatDB数据库原本就具备较强的性能与安全性能力,这次联合创新还进行了安全增强、执行计划与性能增强、可观测性与性能分析增强、数据可靠性增强等强化动作。

在底层存储方面,联合方案采用的华为OceanStor闪存存储,可以达到2100W IOPS的闪存性能释放,基于华为自主研发的SmartMatrix全互联架构,能容忍控制器八坏七、硬盘三盘同时失效、硬盘整框失效等情况,数据可靠性从传统服务器本地盘的99.99%提升至99.9999%。

在存储与数据库之间,华为参天引擎成为多主架构实现的关键力量,推动多读多写性能提升10倍、多副本归一、TB级大表性能优化、快速故障切换、存储级容灾等特性的实现。

有专业的存储,有优质的数据库产品,有将它们连接起来的引擎,联合方案才能让多主架构以高可靠、高性能、底成本的方式成功实现。

“全栈”≠“全栈封闭”,开放生态才是数据库产业的大未来

回过头来看,Oracle之所以能够做到多节点同时读写数据能力,与其开放姿态有密切的关系。

Oracle的底层,往往接入的是戴尔EMC这样的存储厂商的专业存储——Oracle只做存储管理,下边的存储是谁,它并不限制。

换句话说,Oracle虽然强,但从来没有想过吃独食,而是充分利用了优质伙伴厂商的能力。Oracle的成功不是一家企业的成功,而是整个市场不同数据库关联主体相互合同的产物。

从这个意义上看,华为存储与万里数据库的合作,在国内数据库产业发展上还有更深的生态意义。

在过去,国内很多所谓大厂动辄宣扬“全栈”,数据库接入的对象是服务器而不是存储层,要把从底层到应用层的商业机会都吃下去。这与大厂们在互联网狂奔突袭中早已经习惯了用大规模、大体量的方式收割市场的习惯有关,要“赢家通吃”。大厂之间相互有壁垒,生态玩法也以站队为主,很难谈得上开放。

但在数据库这里,这个方式已经行不通。

“全栈”的本质成为“全栈封闭”,多主架构需要存储与数据库协同配合的创新很难被真正实现,开放已经是必然选择。

另外一边,国内的数据库市场也迫切需要开放。

根据信通院的统计,2022年国内规模上千人的数据库企业仅有3家,数据库企业从业技术人员不足2万人,而对比来看,仅Oracle一家就有数万名工程师。

不但整体规模不大,也十分分散,生存和有限的发展就成为很多中小厂商现阶段的主要任务,也就几乎不可能出现“单挑”Oracle的厂商。

联合方案出现,表明中国数据库的产业链主体正在紧密合作,以新的开放姿态促进国内数据库产业的振兴,从而推动国内数据库大规模产业落地,并最终走出国门。

万里数据库正与华为存储在技术、市场、生态、产业等维度的连接与协同,数据库和存储方面的优势资源被充分融合,实现1+1>2,将最终更好地服务客户。

值得一提的是,通过产业链的开放合作,中小厂商还能克服定制化(往往是数据库客户需要的)能力不足的难题——行业开放合作,不仅能让更多中小厂商活下去,还能藉由产业整体的力量,推出更多先进的方案服务客户,例如数据库行业那些离散的力量可以借势存储前沿技术能力实现产品与方案的突破。

游戏规则的改变,才能让中国数据库产业真正有资格与Oracle等掰手腕。

当然,这种产业生态的开放合作,并非一蹴而就,它离不开生态参与者过去长期的技术积累。

例如,华为存储技术已经在国内、国际上实现领先,但其重点着力于存算分离架构,本质上反应出其对开放的产业生态的追求,一开始就愿意和产业生态伙伴一起做大蛋糕,只不过现在随着技术创新突破,迎来了最佳的契机。

结语

在数据库业界有一些奇特的现象,比如有些需求不会向Oracle提,但却总是要找国产数据库的“麻烦”;数据库连接中断明明有日志文件“自证清白”,但客户仍然要厂商去仔细排查问题……

尤其在金融领域,这一类的现象更为普遍。

这些,根本上反应了国产数据库所面临的“信任”问题——在外在形象方面,一是能力不够强,二是小问题太多,怎么放心交给你?

现在,开放的产业生态所融合的优质技术力量,呈现出满足需求的产品和方案,通过长期的打磨与运用,将最终解决这个问题。

在这个过程中,即便是多主架构、联合方案这种实现能力突破的创新,在场景适配的成熟度、解决方案的丰富度以及工具生态的完备度上进行工程化打磨仍然必不可少,应对“慢满夯宕错”的基本功必须更加扎实。

开放的产业生态下,实际上参与者相较过去需要投入更多的资源,才能对客户负责、对场景负责、对伙伴负责,最终实现国产自主替代的目标。

2022年,Oracle研发总计投入了72.2亿美元,来完善细节、打磨产品。

2023年起,在新的开放生态建设努力下,在多主架构突破下,国内数据库行业已经有了底气,但也必须进一步增加创新投入、奋起直追了。

*本文图片均来源于网络

#智能相对论 Focusing on智能新产业新服务,这是智能的服务NO.231深度解读

此内容为【智能相对论】原创,

仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。

部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。

•AI产业新媒体;

•澎湃新闻科技榜单月度top5;

•文章长期“霸占”钛媒体热门文章排行榜TOP10;

•著有《人工智能 十万个为什么》

•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/743555.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TP4056充电管理芯片使用详解

一.芯片简介 TP4056充电管理芯片是一款常用的单节锂电池恒定电流/恒定电压线性充电管理芯片。 内部电路框图如下&#xff1a; 芯片采用了内部 PMOSFET 架构&#xff0c;加上防倒充电路&#xff0c;无需增加外部隔离二极管。热反馈可对充电电流进行自动调节&#xff0c;以便在…

【Docker】error pulling image configuration: download failed after attempts=6: dial tc

问题&#xff1a;在学习Docker的时候遇到pull失败的情况 解决方法&#xff1a; sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-EOF {"registry-mirrors": ["https://yxzrazem.mirror.aliyuncs.com"] } EOF sudo systemctl daemon…

【Visual Studio】在 Windows 上使用 Visual Studio 构建 VTK

知识不是单独的&#xff0c;一定是成体系的。更多我的个人总结和相关经验可查阅这个专栏&#xff1a;Visual Studio。 文章目录 1 版本环境2 构建步骤1 准备文件夹结构2 运行 CMake3 在 Visual Studio 中构建4 安装 VTK5 再次在 Visual Studio 中构建6 添加环境变量 3 测试是否…

基于妙记多 Mojidoc 剪藏内容和内容创建的工作流程

早在我开始创作之前&#xff0c;我就是一个信息消费者——收集想法和想法&#xff0c;但不对它们做任何事情。这给了我很多创建信息捕获和综合系统的经验。直到现在&#xff0c;我才有了适当的方法来分析我是如何做到的… 这是一个工作流程&#xff0c;可以在较多杂乱信息中增…

【Java】面向对象基础 之 静态字段和静态方法

1、静态字段 在一个class中定义的字段&#xff0c;我们称之为实例字段。实例字段的特点是&#xff0c;每个实例都有独立的字段&#xff0c;各个实例的同名字段互不影响。 还有一种字段&#xff0c;是用static修饰的字段&#xff0c;称为静态字段&#xff1a;static field。 …

Kkfileview | Docker | +Redis文件预览kkfile配置

文章目录 简介DockerRedis部署 简介 kkFileView为文件文档在线预览解决方案&#xff0c;该项目使用流行的spring boot搭建&#xff0c;易上手和部署&#xff0c;基本支持主流办公文档的在线预览&#xff0c;如doc,docx,xls,xlsx,ppt,pptx,pdf,txt,zip,rar,图片,视频,音频等等 …

【Excel导出文件】

文章目录 课程内容1. 工作台1.1 需求分析和设计1.1.1 产品原型1.1.2 接口设计 1.2 代码导入1.2.1 Controller层1.2.2 Service层接口1.2.3 Service层实现类1.2.4 Mapper层 1.3 功能测试1.3.1 接口文档测试1.3.2 前后端联调测试 2. Apache POI2.1 介绍2.2 入门案例2.2.1 将数据写…

微信小程序中的条件渲染和列表渲染,wx:if ,wx:elif,wx:else,wx:for,wx:key的使用,以及block标记和hidden属性的说明

微信小程序中的条件渲染和列表渲染 1. 条件渲染1.1. 语法格式 (wx:if, wx:elif ,wx:else)1.2. block标记1.3. hidden属性1.4. wx:if 与 hidden 的对比 2. 列表渲染2.1. wx:for 语法格式 及 wx:key的使用 1. 条件渲染 1.1. 语法格式 (wx:if, wx:elif ,wx:else) <view wx:if…

Vue+element-UI实现列表排序(sortable、custom)

1.sortable、custom区别&#xff1a; 在列中设置sortable属性即可实现以该列为基准的排序&#xff0c;接受一个Boolean&#xff0c;默认为false。 可以通过 Table 的default-sort属性设置默认的排序列和排序顺序。 可以使用sort-method或者sort-by使用自定义的排序规则。 如…

大数据Hive篇:explode 和 posexplode

一. explode单独使用。 1.1. 用于array类型的数据 table_name 表名array_col 为数组类型的字段new_col array_col被explode之后对应的列 select explode(array_col) as new_col from table_name1.2. 用于map类型的数据 由于map是kay-value结构的&#xff0c;所以它在转换的…

跨平台低延迟RTSP转RTMP推送技术方案探讨

实现RTSP摄像头数据转RTMP推送到服务器&#xff0c;可以用第三方库或者工具实现&#xff0c;总体设计架构如下&#xff1a; 一个好的转发模块&#xff0c;首先要低延迟&#xff01;其次足够稳定、灵活、有状态反馈机制、资源占用低&#xff0c;跨平台&#xff0c;最好以接口形式…

使用python get post数据 http https

0、目的 目的比较简单&#xff0c;测试&#xff0c;使用python来提交数据是非常简洁的&#xff0c;修改代码也容易&#xff0c;除了做人工智能&#xff0c;本身也是一个非常好的测试端工具 1、简单的post 一个简单的示例程序&#xff0c;将 headers 内容置为’application/j…

C#轻松读写NDEF智能海报

NDEF 全称 NFC data exchange format 即 nfc 数据交换格式&#xff0c;是一种标准化的数据格式&#xff0c;可用于在任何兼容的NFC设备与另一个NFC设备或标签之间交换信息。数据格式由NDEF消息和NDEF记录组成。 NDEF信息可以写到不同类型的NFC芯片中&#xff0c;如Ntag系列芯片…

Python算法笔记(1)-时间复杂度、空间复杂度

Python算法笔记&#xff08;1&#xff09;-时间复杂度 1.时间复杂度 时间复杂度是一个描述算法的运行时间的一个函数&#xff0c;它描述了算法的运行时间和输入数据的规模之间的关系&#xff0c;时间复杂度的表示方法用O表示&#xff0c;时间复杂度也用来考察输入值无限趋近无…

【嵌入式Qt开发入门】Qt如何使用多线程——继承QObject的线程

QObject 在上篇已经说过&#xff0c;继承 QThread 类是创建线程的一种方法&#xff0c;另一种就是继承 QObject 类。继承 QObject 类更加灵活。它通过 QObject::moveToThread()方法&#xff0c;将一个 QObeject 的类转移到一个线程里执行&#xff0c;可以通过下图理解。 通过…

注解和反射02(Java)

反射机制 首先需了解静态语言和动态语言。 动态语言是一类在运行时可以改变其结构的语言&#xff1a;例如新的函数、对象、甚至代码可以被引进&#xff0c;已有的函数可以被删除或是其他结构上的变化。通俗点说就是在运行时代码可以根据某些条件改变自身结构。主要动态语言&a…

一文解析Arm64 栈回溯

AArch64栈的结构 Arm64有4种栈&#xff0c;分别是空增栈(Empty Ascendant Stack,EA)、空减栈(Empty Descendant Stack,ED)、满增栈(Full Ascendant Stack,FA)、满减栈(Full Descendant Stack,FD)。常用的是满减栈&#xff0c;Linux内核也使用满减栈。 下图是一个满减栈的示意…

AppSpider Pro 7.4.053 for Windows - Web 应用程序安全测试

AppSpider Pro 7.4.053 for Windows - Web 应用程序安全测试 Rapid7 Dynamic Application Security Testing (DAST) 请访问原文链接&#xff1a;https://sysin.org/blog/appspider/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;sysin…

分板机视觉定位切割软硬件方案

【检测目的】 定位切割 【拍摄效果图一】 【拍摄效果图二】 【拍摄效果图三】 【方案评估】 以目前样品进行实验来看&#xff0c;图像效果明显&#xff0c;可以找到中线位置。 视野&#xff1a;44mm*33mm 视觉精度&#xff1a;44mm/2448pixel0.018mm/pixel。 【硬件配置】…

抖音seo源码.视频剪辑功能开发(一)

一、短视频抖音seo账号矩阵系统 批量剪辑功能的开发一般有以下几种方式 1. 前端实现&#xff1a;通过前端技术&#xff0c;利用vue jquery layui JavaScript&#xff0c;等语言&#xff0c;实现一个可视化的编辑器&#xff0c;用户可以批量上传视频文件&#xff0c;设置剪…