华为云分布式数据库GaussDB,做金融数字化的坚实数据底座

news2024/11/27 2:30:37

本篇为大家分享下GaussDB的商业进展以及产品能力升级方面的最新情况。

1. 华为云GaussDB正在从金融覆盖到更多行业

从2019年开始,在华为内部通过持续的锤炼,推出了融合多项技术的自主创新的GaussDB数据库,而且陆续完成了华为公司内部核心系统的替代,这里面包括三个方面。

第一,在终端云上实现了6PB数据的全面替代和上线,分布式节点有6千个节点的规模,资源利用率提升了30%。

第二,在ERP的替换中,替换了600多套的业务库,经历了十倍流量的突发流量考验,业务效率得到了10倍的提升,实现了零故障、零时延和零调账。这里简单给大家普及一下,华为公司的订单系统的特点,每到一个月的月末,每到一个季度的结束以及每年结束的时候,它的流量是平时流量的5-10倍。所以华为公司在ERP上线的时候,我们是经历了20倍流量的测试和压测才能上线。

第三,运营商设备,累计发货也有30多万套。

从收入结构也可以发现,GaussDB从最初的金融行业已经覆盖到更多的关基行业,非金融的占比提升了一倍,越来越多的客户选择GaussDB作为其数字化转型的伙伴。

2. 在丰富的实践场景中打磨成熟

数据库是一个全场景的软件,所以场景实际上是数据库的磨刀石。下面,将进一步解读刚才讲的这几个业务和后面要讲的金融业务对数据库的磨炼是极其重要的。

华为的MetaERP系统,是一个典型的重度的使用传统商业数据库的场景,也是制造业里面非常典型的一个应用的代表,在华为公司,ERP是我们的生产系统,它支撑了华为每年数千亿订单,170多个国家的订单发货。从华为自身业务连续性的视角看,华为的ERP替换,相当于长征途中的强渡大渡河。

作为全球数据库应用场景最复杂的ERP系统之一,华为的MetaERP面临几个挑战:

  • 首先,就是有近7亿行的SQL脚本需要改造;

  • 其次,业务高峰期业务流量可能达到5-10倍,在实际上线前,我们做了20倍流量的压测;

  • 最后,就是大表的改造,有最大160亿行大表,超过100亿行的表就有十几个,这些大表的迁移都非常具有挑战性。那如何解决呢?

第一,对于SQL脚本的替换,UGO工具实现了近100%的自动化结构迁移。今天,去替换数据库,如果还投入几十个人去改造一个应用实现替换的话,是不可以维系的。

第二,数据迁移,在35个小时内,实现了3200亿行数据的迁移。也就是说,今天大家已经不用担心数据迁移的一致性和完备性问题了。

另外,通过智能代价估计、高效索引并发控制等算法顺利地通过了业务历史最大峰值20倍流量的压测。

这里也给大家讲一个小故事,在ERP切换成功后,华为成都的一个操作人员,第一次运行资产核算任务,只用了3分钟。但是之前这个操作人员的历史经验都需要2个多小时。所以他认为这次可能是运行失败了,按照操作的规范立即预警。经过实际确认,结果是准确的,是一个“美丽的误会”。

而华为终端云服务,这个代表着新兴的一类生于云、长于云的云原生企业的典型应用,它的主要挑战是什么呢?首先是成本问题,如何提升资源利用率,特别是在海量的数据和分布式的情况下,大量的部署节点带来的成本问题以及传统的机房转换到云上的成本挑战;其次是海量业务带来的大量的分布式的诉求,需要有非常强的扩展性,和弹性伸缩能力;最后是数据多样化,因为其中既有关系型数据,也有非关系型数据。

GaussDB原生的分布式架构,使负载更加均衡,已经上线的最大单集群节点数超过了200个,并且支持多种生态,实现了资源利用率和运营效率的大幅度提升。

还有就是对数据库要求最高的金融核心系统,几乎所有的金融CIO或CTO都知道迁移并不好做,金融行业大量的应用都重度依赖传统数据库的接口,存在大量的不确定性,客户都希望有一套可量化的、逐步推进执行的方案。

从芯片、服务器、存储、网络到数据库、操作系统,GaussDB是当前国内唯一能够做到软硬协同、全栈自主创新的国产品牌,高度兼容传统数据库的语法,有一站式的数据加应用平滑迁移方案,使得迁移变得更简单。同时基于多数派协议的原生分布式架构,更大幅提升了系统的可用性。

3. 面向更深入、更广泛的场景,我们思考如何更好地满足客户诉求

随着GaussDB的成熟,未来GaussDB将向两个方向发展。第一是做深做透金融行业,一次性解决金融客户数字化转型和可持续发展的双重诉求;第二是从金融走向政务、能源、交通等更多关键信息基础设施行业,这也是一个新的使命。

在做深做透金融上,发现客户以前只关注接口的适配性,现在开始逐步重视替换后应用的可用性、稳定性。大家都知道,主机的可靠性大部分来自硬件,而没有了这种专用硬件的加持,如何通过软硬件协同保障大机整体可用性指标就非常重要了。金融核心业务不同于互联网追求性能峰值的极限,更需要的是一个确定的不抖动的性能,让每一笔交易的时延都可控。最后,在客户从几个应用替换到几百个应用替换的落地过程中,如何把迁移做成可量化的实施过程,是摆在每个金融CIO眼前最大的挑战。

近些年,关基行业的数据规模也越来越大,由于科技力量薄弱,技术人员投入相对较少,就需要数据库简单易用,最好能直接复用在金融行业已经实践成熟的技术来降低总体拥有成本,实现快速推进。

4. GaussDB始终以安全可信、高质量为首要目标

为了满足更多场景的客户诉求,发布了新一代的分布式数据库GaussDB,具备“五高两易”的全面能力。下来我就其中的一些关键的新能力跟大家做一下解读和分享。

在讲具体的产品能力升级变化之前,想先给大家分享下GaussDB没变的东西,那就是对安全可信、高质量的追求。

从产品定义、代码实现、开源治理到运营运维等各个环节,GaussDB基于华为软件工程全栈可信框架,实现了从结果可信到过程可信,做到了包括开发GaussDB软件的整个工具链在内的真正的自主创新。

同时,构建起了一个9层的测试防护网,通过全链路的深度交互测试平台减少低概率、复杂交互类的问题,当前已有20万测试用例消减了大部分基本问题,今年还会继续增加到80万,还构建了10多个金融客户场景化的防护网,消减了金融场景化的问题,实现真正的高质量。

5. 聚焦客户业务痛点,GaussDB产品关键能力全新升级

在产品能力升级上,大家最关心的还是可用性。GaussDB新版本支持了Paxos一致性协议,更好地提升了RTO,高负载业务下DN故障倒换可以稳定在10秒以内;去年跟工商银行联创推出了国内首个双集群强一致的方案,实现了集群级故障完全隔离RPO=0,双AZ双活;今年又进一步支持了双集群的逻辑复制,以及全新的应用无损透明切换方案,做到应用大版本升级完全不停机,主备倒换应用微感知,真正实现大机业务7*24小时不间断。

性能上,GaussDB存储引擎可以实现业务长时间频繁更新下依然保持系统高性能,同时不抖动。这得益于GaussDB和招行的联创,重构了底层的整个存储引擎,采用的是原地更新的模式,它和常见的基于不断追加的这种引擎最大的区别是,传统的模式在底层垃圾的回收和内存做数据化的时候会有非常大的抖动。经过实测,在大压力的情况下,性能的抖动依然可以控制在3%,同时存储空间的利用率提升了17%。

智能化上,对DBA来说,最头疼的就是在系统出现亚健康状态的时候,如何能够快速感知到问题,及时地进行识别和分析,方便进一步操作。作为国内首个AI-Native数据库,GaussDB提供从应用开发到运维阶段全流程的数据库智能化体验,有全新的SQL Audit工具,在开发验证阶段就完成SQL自动审核,减少亚健康出现的情况,一旦出现亚健康状态,GaussDB可以快速感知到问题,识别出实时慢SQL,并进一步通过慢SQL的耗时点分析,自动诊断出是否处于被阻塞状态,以便运维人员进行判断查杀。

在一些严重过载的情况下,过载熔断能力可以自动kill过载会话,避免因个别慢SQL拖住整个系统。还有DBMind的慢SQL根因分析、索引推荐、异常检测等多种运维功能也让DBA更加得心应手。

除了上面讲的这些硬核技术外,对于客户关注的性价比、平滑迁移,GaussDB的新版本也做了大量的工作。

首先是海量数据带来的存储资源压力。压缩是一个办法,但简单的高压缩比并不是我们追求的目标,我们更关注的是如何让业务尽量无感地使用压缩,并且性能不会有大幅降低,最好控制在5%,甚至更低的性能影响,这才是真正有用的压缩。我们既能够降低资源的使用,对应用的侵入性更小。

其次,新版本还将支持内核多租户的能力,帮助用户可以快速在不同的租户资源上进行迁移,让应用使用更加灵活,资源利用率更高。

最后,GaussDB有一站式的迁移解决方案,让原本不确定的迁移工作变成一个确定性的事情。

  • 第一个就是我们的UGO,可以对现有系统的所有应用进行扫描和评估,告诉我们哪些能够兼容,哪些不能兼容,以及如何进行改造,现在我们已经做到95%的自动化。

  • 第二个就是DRS,可以实现在线零中断迁移,并且通过数据比对保证数据零丢失。

  • 第三个是流量回放,和UGO配合,可以真实地抓取源数据库上的流量,在新数据库上进行回放,避免大家现在普遍遇到的覆盖不全的问题。我认为,只有通过上述工程化可落地的方案,才能真正地实现国产数据库的规模替换。

数据库的发展,除了产品的创新,更离不开产学研用的通力合作。金融客户是数据库的重要出发点和落脚点,为GaussDB的发展起到了关键的作用。我们希望更多的金融客户能够开放自己更多的典型业务场景,基于分布式架构,来设计自己的多地多中心方案,形成最佳实践,加速推进行业数字化转型。

今天的分享就到这里,欢迎大家一起探讨、交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1188515.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Grafana安装配置

配置文件路径 /etc/grafana/grafana.ini 一、Grafana 安装 https://grafana.com/grafana/download?editionoss&pgget&plcmtselfmanaged-box1-cta1 以centos为例 #安装 sudo yum install -y https://dl.grafana.com/oss/release/grafana-10.2.0-1.x86_64.rpm#修改端…

RT-Thread提供的网络世界入口 -net组件

作为一款在RTOS领域对网络支持很丰富的RT-Thread,对设备联网功能的支持的工具就是net组件。 位于/rt-thread/components/net路劲下,作为一款基础组件,env与Studio的工程配置项界面的配置项都依赖该目录下的Kconfig。 我们对网络功能的选择&am…

STM32 GPIO

STM32 GPIO GPIO简介 GPIO(General Purpose Input Output)通用输入输出口,也就是我们俗称的IO口 根据使用场景,可配置为8种输入输出模式 引脚电平:0V~3.3V,部分引脚可容忍5V 数据0就是低电平&#xff0c…

【开源三方库】Easyui:基于OpenAtom OpenHarmony ArkUI深度定制的组件框架

万冬阳 公司:中国科学院软件所 小组:知识体系工作组 简介 Easyui是一套基于ArkTS语言开发的轻量、可靠的移动端组件库,它是对OpenAtom OpenHarmony(以下简称“OpenHarmony”) ArkUI进行深度定制的组件框架。Easyui可扩…

等保测评怎么做?有哪些流程?

现在很多信息系统想要上线都需要做等保测评,如果不能通过等保测评,不仅系统不允许上线,同时一旦出现了网络安全事件,相关企业还需要承担重要的责任。目前如果是为政府、事业单位、国企等开发系统,等保测评报告也是重要…

怎么在web显示模型的动态应力图?

要在网页上显示模型的动态应力图,需要执行几个步骤。动态应力图通常涉及有限元分析 (FEA) 模拟中的应力和应变数据的可视化,可以使用 Python、JavaScript 等工具以及 Three.js、Plotly 或 D3.js 等库来渲染图一个网页。以下是该过程的概述: …

互联网是如何运作的?以前端角度出发(b站objtube的卢克儿听课笔记)

1、你是如何用你的计算机设备发送数据和接受数据的呢? 例如我们是如何访问到哔哩哔哩的数据的 当你的设备开始连接到互联网时,会被分配一个IP地址。 而哔哩哔哩的服务器也接入到互联网,它也将被分配一个IP地址。 我们常说你访问某个网站&a…

数据库|Binlog故障处理之drainer周期性罢工

目录 一、背景 二、故障现象 三、分析过程 四、解决方案 五、思考 六、总结 一、背景 最近,用户反馈我们的生产环境TiDB集群的drainer频繁发生故障。故障表现为服务崩溃无法启动,或者数据在运行过程中丢失,给我们的业务带来了很大的困扰…

uniapp刻度尺的实现(swiper)滑动打分器

实现图&#xff08;百分制&#xff09;&#xff1a;滑动swiper进行打分&#xff0c;分数加减 <view class"scoring"><view class"toggle"><view class"score"><text>{{0}}</text><view class"scoreId&quo…

GitHub金矿:一套智能制造MES的源代码,可以直接拿来搞钱的好项目

目前国内智能制造如火如荼&#xff0c;工厂信息化是大趋势。如果找到一个工厂&#xff0c;搞定一个老板&#xff0c;搞软件的小虾米就能吃几年。 中国制造业发达&#xff0c;工厂林立&#xff0c;但是普遍效率不高&#xff0c;需要信息化提高效率。但是矛盾的地方在于&#xf…

开源:特殊的垄断

免责声明&#xff1a;本博客旨在分享我对开源策略的理解和体会&#xff0c;不代表任何组织或机构的立场或观点&#xff0c;也不构成任何商业或投资的建议或担保。本博客的内容可能存在错误或遗漏&#xff0c;也可能随着时间的推移而变得过时或不适用。请在使用或依赖本博客的内…

4、FFmpeg命令行操作2

三、ffprobe命令 ffprobe命令- ffprobe用来查看多媒体文件的信息 常用命令如下所示: ffprobe -show_packets input.mp4 //获取文件信息并显示文件中每个帧的包信息(包含audio和video包),如下图所示: codec_type : 帧类型&#xff0c;如视频包、音频包等 stream_index : 多媒体的…

2023 ChinaJoy后,Flat Ads成为游戏、社交出海的新选择

今年ChinaJoy 展会&#xff0c;共吸引了来自世界各地的 500 多家企业参展&#xff0c;预计吸引超过33万人次参观。ChinaJoy年年有&#xff0c;那今年对于行业来说有什么新变化呢&#xff1f; 01 出海热潮不减&#xff0c;新增客户明显提升 据不完全统计&#xff0c;展会期间前…

雨云 宿迁 14900KF 高防云服务器性能测评

雨云游戏云上线了用I9 13900KF做CPU的VPS服务器&#xff0c;雨云游戏云VPS的14900KF和13900KF机型是纯大核的&#xff08;屏蔽小核&#xff09;保证你的VPS不会被分配到小核上而导致性能下降&#xff0c;水冷散热&#xff0c;超频至6.3Ghz&#xff0c;超高单核性能。 适合开我…

Django快速入门(一)

Django三板斧 1. 基本使用 三板斧: HttpResponse,render,redirect from django.shortcuts import HttpResponse,render,redirect# 一. 返回字符串类型的数据 return HttpResponse(字符串) # 二. 返回HTML文件 # 1. 动态HTML页面: return render(request,login.html) def ab…

Unity 3D 调整cube的颜色

1.选中Assets后&#xff0c;右键->Create->Material 2.调整Material的颜色&#xff0c;然后将Material拖到对应的cube上

家用工作站方案:ThinkBook 14 2023 版

本篇文章聊聊今年双十一&#xff0c;我新购置的家用工作站设备&#xff1a;ThinkBook 14 2023&#xff0c;一台五千元价位&#xff0c;没有显卡的笔记本。我为什么选择它&#xff0c;它又能做些什么。 写在前面 2021 年年中的时候&#xff0c;我写过一篇《廉价的家用工作站方…

【深入浅出Spring原理及实战】「夯实基础系列」360全方位渗透和探究Spring配置开发实战详解

360全方位渗透和探究Spring配置开发实战详解 Spring对于配置的转折点Xml配置 vs Java配置Xml配置模式的优点Xml配置模式的缺点Java配置模式的优点Java配置模式的缺点 Java编程配置流程配置代码案例 组件注入Bean注解配置自动扫描包路径和规则Filter常用的拦截类型FilterType.AS…

【广州华锐互动】VR安防网络综合布线仿真实训打造沉浸式的教学体验

随着科技的快速发展&#xff0c;综合布线技术在建筑、数据中心、网络基础设施等领域的应用越来越广泛。为了适应这一趋势&#xff0c;传统的教学方法已经无法满足现代教育的需求。因此&#xff0c;采用创新的教学手段&#xff0c;如虚拟现实&#xff08;VR&#xff09;技术&…

自动化测试框架 —— pytest框架入门篇

今天就给大家说一说pytest框架。 今天这篇文章呢&#xff0c;会从以下几个方面来介绍&#xff1a; 1、首先介绍一下pytest框架 2、带大家安装Pytest框架 3、使用pytest框架时需要注意的点 4、pytest的运行方式 5、pytest框架中常用的插件 01、pytest框架介绍 pytest 是 pytho…