从“存算一体”到“存算分离”:金融核心数据库改造的必经之路

news2024/11/15 17:18:05

科技云报道原创。

近年来,数据库国产化趋势愈发明显,上百家金融业试点单位在数据库国产化的进程中,进一步增强信心,向50%国产化率大步迈进。

但随着数据库国产化的深入,一些金融机构采用国产数据库+服务器本地盘的“存算一体”部署策略,逐渐在实践中暴露出短板,难以满足金融核心的场景需求。

金融机构想要高效安全地完成核心数据库国产化改造任务,到底该如何破局?
在这里插入图片描述
“存算一体”难以满足 金融核心系统改造

在金融行业,数据库使用涉及多种场景,如:核心交易、互金类APP、分析类应用、办公应用等。

尽管金融各类业务场的数据库系统都在逐步向国产数据库改造,但除了办公等非关键业务场景,核心业务场景改造仍进展缓慢。

究其原因,主要在于国产数据库尤其是国产分布式数据库,大多采用“存算一体”架构。

在金融核心业务场景中,对数据库的高并发、易扩展、数据的时延性、强一致性等方面都着严格要求,但“存算一体”架构却难以支撑,主要体现在以下几点:

服务器可靠性不足

存算一体架构采用服务器本地盘部署方式,但服务器的可靠性有限,服务器故障会导致硬盘失效,副本冗余度降低,一旦出问题数据库就无法访问乃至丢失数据。同时,服务器故障修复起来也需要较长的时间,运维管理过于复杂。

●数据同步难做到强一致性

由于服务器本地盘的可靠性不足,存算一体架构下数据库往往通过一主多备的形式提升系统可用性。但在主库和备库间同步数据时,几乎无法同时满足金融核心对高性能和强一致性的要求。

资源利用率不高,无法按需扩张

由于计算和存储强绑定,存算一体不可避免地存在CPU的争抢,有限的CPU在业务繁忙的情况下往往顾此失彼。

在扩容时,计算和存储资源扩容不可能一致的同比例被消耗,势必导致一边资源出现浪费,无法实现资源的按需扩张。

由于数据库弹性伸缩能力出现挑战,再依靠堆叠节点数量来提升性能和可靠性,企业成本势必也会持续增加。

●容灾不满足行业要求

在金融核心场景,容灾是必要的能力。对于五大行或头部股份制金融机构的核心系统而言,基本都要求达到RTO分钟级、RPO=0的最高水平。

而存算一体架构在主备库间复制产生的问题,在容灾场景下表现更为显著,因为链路拉远后故障场景更为复杂。

目前采用存算一体架构的数据库,几乎都采用单集群拉远+异步复制模式,核心业务下多集群数据库强一致性容灾的案例几乎没有,很难满足金融核心系统对于容灾的要求。

回顾存算一体架构为何会兴起,互联网企业在其中扮演了关键角色。

大约20年前,互联网时代兴起,数据井喷式增长,互联网电商对数据库提出了水平扩展、大集群规模、高并发等新诉求。

当时在国内市场形成垄断的“IOE”数据库系统,由于架构欠缺横向扩展能力,越来越难适应互联网业务激增的性能和灵活扩容诉求。

同时由于市场垄断,“IOE”系统的价格十分高昂,国外厂商对国内企业的诉求响应优先级也比较低,导致使用和维护“IOE”的成本逐年走高。

出于成本和反垄断的考虑,也恰好因为互联网业务对扩展性、吞吐量要求高,但对可靠性要求不高,以大型互联网厂商为代表的国内企业开始提出“去IOE”的想法,存算一体架构由此出现。

而大型互联网厂商在自身技术成熟后,有了更多将能力外溢和变现的商业动机;同时互联网本身具备极强的布道性,带动了国内许多数据库厂商选择“存算一体”路线进入这个风口,“存算一体”数据库也因此从互联网行业走进了更多行业。

但也应看到,在金融和其他行业中,“存算一体”数据库更多部署在其新兴互联网业务或非核心业务中。

毕竟对于这些行业而言,并没有互联网行业那么大的并发访问需求,也没有那么多的数据需要存储。

相反,业务连续性、可靠性是第一考虑因素。这也是为什么金融等行业的核心业务数据库改造总显得步履维艰的原因。

不过历史总在轮回,如同当年“IOE”架构让数据库从“存算一体”走向了“存算分离”,而国内的“去IOE架构”和上云浪潮又让数据库从“存算分离”走向了“存算一体”,如今在企业数字化转型不断深化的进程中,数据库再次走到了“存算分离”的技术拐点”。

“存算一体”转向“存算分离”成为大势所趋

从目前业界的技术发展趋势看,IT巨头们都不约而同采用了共享存储的方式,通过“存算分离”架构,去提升数据库的整体能力。不论是AWS Aurora,还是华为GaussDB、阿里PolarDB、腾讯TDSQL,都在向存算分离架构靠拢,这绝不是一种巧合。

FaceBook在提出“技术拐点论”时指出,当下之所以可以实现存算分离的技术原因,在于传输协议和带宽能力已不再是IO瓶颈,可以基于低延时、高带宽支持大量数据相互间同步。

当传输性能短板被填补以后,以及存储技术的提升,必然会迎来IT架构的变革。业界发现采用存算分离,可以基于架构变化带来事半功倍甚至从0到1的改变,从而让数据库替换的代价变小。

正因如此,新一代存算分离架构正成为全球数据库大势所趋,其优势非常明显:

●可靠性提升

在存算分离架构下,数据被存放在高可靠的专业存储中,即使服务器损坏,数据也不会丢失,换一台新的服务器仍然可以照常使用。

特别是高端存储从体系架构设计出发,提供了超高的故障容忍能力,提升了可靠性短板,减少因可靠性、运维能力不足造成的硬件冗余。

●主从强一致性

存算分离后,就无需多副本数据同步,性能问题可以很好的得到解决,存储资源的利用率也大大提升,从而为主从强一致打下了基础,进一步可以实现多主多写。

资源按需分配,扩容灵活

存算分离架构下,存储不消耗计算节点的CPU资源,计算节点专职负责数据库的运算,而且存储性能的提升有利于充分发挥服务器CPU利用率。同时,计算和存储可以弹性扩展,按需分配,灵活迅速。

●专业级容灾

存算分离后,可以利用专业企业存储的容灾备份能力,如快照、复制等,满足金融核心业务的数据保护需求。

●能力复用

此外,使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,还能快速提升数据库整体解决方案能力,节约开发成本。

事实上,新一代存算分离架构是业界基于当前改造的现状和本地盘部署的弊端不断探索出来的,更是互联网企业和数字化转型企业的共同选择。

只有将数据库升级为存算分离架构,把不可靠的计算设施和数据分离开,由更加可靠的专业存储来保存数据,才能从根本上解决存算一体数据库系统不可靠的问题。

唯有提升了可靠性,金融行业才敢于把关键业务交给新一代国产数据库,才有破局的可能性。

“存算分离+专业存储”是金融核心数据库的最优选择架构

如今随着政策形势和业务需求变化,国产数据库走向金融核心已是大势所趋。

在追赶业界领先者的道路上,国产数据库更应站在巨人的肩膀上,利用存算分离架构既有优势,打造场景普适性更强、更有竞争力的产品。

近日,华为存储与南大通用共同发布的“金融核心级数据库高可用解决方案”,正是基于“存算分离+专业存储”的领先架构,率先为金融业提供了国产化的核心数据库改造落地方案。
在这里插入图片描述
据悉,该联合方案在可靠性、性能与能效上均能满足金融核心业务需求:

●高性能:实现一写多读,性能大幅提升

联合方案实现一份数据库副本一写多读能力,使能业务系统读写分离、负载均衡;数据并发处理性能大幅提升,实现业务交易平均响应时延缩短20%,批量处理时间较缩短38%,数据备份耗时缩短6倍。

●高可靠:异地双重容灾保障,RPO=0

联合方案采用双重容灾机制确保核心业务系统高可用。在应用层,实现基于逻辑复制的数据库容灾,备库可读;在存储层,确保数据高效、完整复制到容灾站点,且不影响工作站点性能,确保RPO=0,满足金融核心系统业务要求。

当前,该联合方案已在西南某城商行核心业务系统商用落地并稳定运行,成为我国金融业核心数据库改造的标杆案例。

从行业层面看,华为作为全球存储领导者,南大通用作为国产数据库“四小龙”之一,两者的强强联合为业界带来了切实可落地的国产化改造方案,使得金融、运营商等关基行业不再受制于存算一体数据库的短板,大胆将核心业务交给国产数据库,进一步加速我国关基行业核心数据库的国产化进程。

正如GBase南大通用 8s数据库总经理崔志伟所说,南大通用和华为均是我国扎根IT基础设施技术多年、达到业界领先水平的基础设施供应商,面临传统核心系统改造这一历史转折点,这既是挑战、也是机遇。

存储与数据库的持续合作创新,将进一步促进我国基础设施核心系统升级转型。

在技术层面,该联合方案所采用的“存算分离+专业存储”,不仅是金融核心数据库的最优选择架构,更代表着未来数据库的技术趋势,这使得中国数据库与国际领先数据库在性能与可靠性上的差距进一步缩小。

事实上,中国并不缺少优秀的数据库和存储厂商,从数据库产业链上下游来看,国产技术已全面成熟。

但是从全球数据库市场看,中国数据库厂商在占全球数据库厂商总量的32%;而在全球700亿美元的市场规模中,中国市场只有47亿美元,仅占5.2%。

根据DB-Engines Ranking 2023年数据显示,全球热度最高的数据库中,前100名中均无国产数据库。

随着国际局势持续紧张,一方面数据库国产化替代急需加速,另一方面国产数据库走向世界也是大势所趋。

国产数据库想要参与国际竞争,就必须面对Oracle、IBM、谷歌、AWS等国际数据库巨头的巨大竞争压力,而解决之道无外乎两点:

一是,正视与国外领先数据库的差距,并借鉴其成功经验。国产数据库需站在“存算分离”架构的技术优势上谋发展,通过追求技术领先来参与国际竞争。

二是,加强国产基础设施协同。国产数据库不能“同行内卷”、“全栈通吃”,而是要国产产业链间通力合作,共同加快国产数据库的发展,才能直面激烈的国际竞争。

如今,华为存储和南大通用的合作,正是国产基础设施合作、整合产业链优质技术的典范,这也将鼓励更多国产技术厂商从竞争走向合作,助力国产数据库加速发展。

结语

随着企业数字化转型的不断深入,“存算分离+专业存储”架构正在成为金融核心数据库共同的选择,也是最适合当前时代发展需求的一种架构。

在此基础上,相信国产数据库和存储厂商的紧密合作,也将走出中国数据库领先的未来。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/729110.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【微信小程序创作之路】- 小程序中WXML、JS、JSON、WXSS作用

【微信小程序创作之路】- 小程序中WXML、JS、JSON、WXSS作用 第三章 微信小程序WXML、JS、JSON、WXSS作用 文章目录 【微信小程序创作之路】- 小程序中WXML、JS、JSON、WXSS作用前言一、WXML是什么?二、JS是什么?三、JSON是什么?四、WXSS是什…

IPC 进程间通讯 (1)

目录 1.1 为什么要通信 1.2 为什么能通信 2.1 进程间通信机制的结构 2.2 进程间通信机制的类型 2.3 进程间通信机制的接口设计 3.1 SysV共享内存 3.2 POSIX共享内存 3.3 共享内存映射 3.4 Android ION 3.5 dma-buf heaps 3.6 匿名管道 3.7 命名管道 3.8 SysV消息队列…

基于Java实验室考勤管理系统设计实现(源码+lw+部署文档+讲解等)

博主介绍:✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…

buuctf pwn入门1

目录 1. test_your_nc(简单nc ) pwn做题过程 2. rip(简单栈溢出) 3. warmup_csaw_2016(栈溢出 覆盖Return_Address) 4. ciscn_2019_n_1(栈溢出 浮点数十六进制) (1) 覆盖v2值 (2) 利用system("cat /flag"); 5. pwn1_sctf_2016(字符逃逸栈溢出 32位) 6. jarvis…

实现【Linux--NTP 时间同步服务搭建】

实现【Linux--NTP 时间同步服务搭建】 🔻 前言🔻 一、NTP 校时🔰 1.1 NTP 服务校时与 ntpdate 校时的区别🔰 1.2 NTP 校时服务搭建🔰 1.2.1 确认 ntp 的安装🔰 1.2.2 配置 ntp 服务🔰 1.2.3 启动…

QTday1

#include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) {this->resize(500,600);this->setFixedSize(500,600);//设置窗口标题this->setWindowTitle("盗版qq");//设置窗口图标this->setWindowIcon(QIcon("D://QQ下载//ic…

【C++STL】list的反向迭代器

list的反向迭代器 文章目录 list的反向迭代器reverse.h疑问1:为什么在迭代器当中不需要写深拷贝、析构函数疑问2:为什么在迭代器当中需要三个模板参数?疑问3:反向迭代器是怎么实现的?疑问4:为什么*解引用不…

LCD_1602 显示单个字符

目录 效果图:​ 硬件接线: 源代码: Lcd1602.c lcd1602.h main.c 硬件:lcd1602 51单片机 串口 软件:stc keil 效果图: 硬件接线: LCD1602 RW RS E 分别接51单片机的P25 P26 P27 LCD1602…

决策树分析特征重要性可视化无监督特征筛选

from sklearn.tree import DecisionTreeClassifierdtc DecisionTreeClassifier() # 初始化 dtc.fit(x_train, y_train) # 训练# 获取特征权重值 weights dtc.feature_importances_ print(>>>特征权重值\n, weights)# 索引降序排列 sort_index np.argsort(weights…

【学习】ChatGPT对问答社区产生了哪些影响?

引用 StackExchange 社区 CEO Prashanth Chandrasekar 的一篇博客标题 “Community is the future of AI”,引出本文的观点,即ChatGPT对问答社区产生了颠覆性影响,问答社区必须釜底抽薪、涅槃重生,但我们必须坚信“社区才是AI的未…

慎用QGraphicsDropShadowEffect绘制阴影,会导致部分控件一直resizeEvent、重新绘制

我的程序还在创作中,代码还只是UI部分,数据都是固定的,也没有定时刷新之类代码,样式也只是使用了一小部分。有一天我发现我在QTableWidget添加自定义控件的时候,效应特别慢,而自定义控件只是在鼠标进入或离…

活动策划大揭秘:如何制定执行方案

对于刚转行做活动策划的小白,我对你的建议,就是两个字“借鉴”! 小白要写出一份优秀的活动策划与执行方案,“借鉴”其实是唯一的方式。 而且而且越资深,借鉴的越多。 当我是小白的时候,我做一个案子只看…

vue3模型代码

效果&#xff1a; 代码 <template><div class"json_box"><json-viewer :value"jsonData" :boxed"false" :expand-depth"5" :expanded"true" ></json-viewer></div> </template><sc…

哈利波特!AI动画已经这么稳定了?MJ控制角色统一性5种技巧;百度大模型Prompt开发与应用新课上线;SD进阶万字长文 | ShowMeAI日报

&#x1f440;日报&周刊合集 | &#x1f3a1;生产力工具与行业应用大全 | &#x1f9e1; 点赞关注评论拜托啦&#xff01; &#x1f916; 哈利波特动画视频&#xff0c;使用 TemporalNet 制作 img2img 动画 这是 Reddit 论坛小伙伴分享的自制动画&#xff0c;内容选自哈利波…

Apikit 自学日记:添加测试步骤-脚本步骤

脚本步骤 在流程测试用例界面&#xff0c;进入用例管理&#xff0c;点击 添加脚本[Javascript] 按钮&#xff1a; 进入编辑用例页面&#xff0c;点击 新API测试 新建一个 API 请求。 API 自动化测试平台为代码模式的测试用例设计了一套简单的API信息模板&#xff0c;因此只需要…

d3dx9_33.dll丢失怎么解决

d3dx9_33.dll的作用 在讨论如何修复d3dx9_33.dll丢失错误之前&#xff0c;我们首先需要了解d3dx9_33.dll的作用。d3dx9_33.dll是DirectX 9的一个核心文件&#xff0c;它是DirectX库的一部分&#xff0c;用于提供图形和多媒体功能支持。DirectX是由Microsoft开发的一组多媒体技…

java项目根据启动位置指定 log4j2日志输出到指定目录

痛点 我们在开发的 java 项目一般都会记录日志&#xff0c;日志输出位置通常使用相对路径记录到当前启动 jar 包的同一个父文件夹下面。 当我们使用像 jsch、ssh 这种远程启动 java 程序的时候会出现一个问题&#xff1a; 日志会输出到当前登录用户的目录下面&#xff08;如…

机器学习洞察 | 降本增效,无服务器推理是怎么做到的?

2022 年&#xff0c;无服务器推理受到了越来越多的关注。常见的推理方式包括实时推理、批量转换和异步推理&#xff1a; 实时推理&#xff1a;具有低延迟、高吞吐、多模型部署的特点&#xff0c;能够满足 A/B 测试的需求 批量转换&#xff1a;能够基于任务 (Job-based) 的系统…

故障排查:通过ssh远程执行命令时报错未找到命令

博客主页&#xff1a;https://tomcat.blog.csdn.net 博主昵称&#xff1a;农民工老王 主要领域&#xff1a;Java、Linux、K8S 期待大家的关注&#x1f496;点赞&#x1f44d;收藏⭐留言&#x1f4ac; 目录 故障详情问题原因解决方案命令使用全路径修改~/.bashrc 故障详情 最近…

设计模式 - 抽象工厂模式

学完工厂模式&#xff0c;才发现还有一个抽象工厂模式&#xff1b;学习后发现不论是通过接口方式、还是继承方式&#xff0c;都可以使用抽象工厂模式&#xff1b;但是个人建议更多的时候&#xff0c;我们可以优先考虑接口方式&#xff0c;毕竟 单继承&#xff0c;多实现 设计模…