巩飞:构建自治智能的数据库云管平台,加速国产数据库应用进程

news2024/11/17 15:31:37

导语

4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会以“开源·融合·数字化——引领数据技术发展,释放数据要素价值”为主题,汇聚产学研各界精英到场交流。云和恩墨数据库云管平台产品总经理巩飞在「数智趋势:智能运维与自治」专题论坛发表了题为《构建自治智能的数据库云管平台,加速国产数据库应用进程》的演讲。本篇文章对巩飞的演讲内容进行了整理归纳,供大家学习参考。

近年来,信息安全的急切需求和政策的大力推动,使得国产数据库进入高速发展期,然而其生态的成熟度较之老牌的商业数据库还有较大差距,运维管理有较大难度,一定程度上制约了国产数据库的深入发展;除此之外,企业的基础设施也在发生翻天覆地的变化,私有云、公有云、混合云大行其道。数据库的多样性和基础设施的多样性交织在一起带来了极大的运维挑战。因此,企业急需创新的运维方式,使运维更加高效,业务和数据库更稳定。

6457c2324a540f4d949b87ff902be6a0.png

巩飞在本次演讲中就云和恩墨解决以上挑战做的探索和实践做了分享。云和恩墨早期仅提供数据库运维管理服务,2014年起,识别到客户的需求和产业发生的变化,因此将专家经验和能力转化为产品和平台能力,让更多的客户享受到高水平的数据库管理服务,zCloud 数据库云管平台就起步和发展于这个时期。经过了多年的发展,zCloud 逐渐融入AI能力,形成智能、自治的多元数据库管理能力,打造全面的企业级dbPaaS平台,并提供了混合云管理能力,满足用户云上发展需求。

DTC2023

从WaaS理念看自治智能的实现

那么怎样才能实现将运维经验代码化形成产品/平台能力呢?将朴素的传统运维抽象一下可以得出,数据库的各种指标就是各种数据,数据与数据之间是相互关联的,这种关联就形成了有用的信息,信息与信息之间产生联系就形成了知识。当特定事情发生时,应用这些知识进行响应或调动一些动作,就形成了简单的智慧操作。这就是云和恩墨提出的WaaS(Wisdom as a Service, 经验即服务)理念的基本原理。

0e5bb547a871f7211be47a3193e490e2.png

巩飞说到:“WaaS理念在 zCloud 产品中的落地不仅体现在当特定情况发生的时候去做特定的响应,并且能够采集数据库各种各样的指标,通过专家经验和知识对它进行持续的标注分析,当新情况形成时也能自动感知处理。因此,zCloud 的内核有不断积累形成的知识库和知识图谱,以及专家库和人工标注信息点,这是它的核心。”

1baf5a6b238434114721865e81b1f4fa.png

基于WaaS理念构建的 zCloud 智能运维能力能够覆盖从数据库安装部署到生产上线之后的监控巡检性能分析、容量管理、发生灾难时的备份恢复高可用切换等全生命周期。在国产数据库的落地应用方面,着重做了监控告警巡检和性能分析的重点投入。巩飞举例对这两方面能力做了说明。

01

智能诊断

在智能诊断能力中,zCloud 会对诊断出的故障问题按照重要程度分级标志,如图展示了用户的某一套数据库发生橘色警告问题后自动诊断、响应,没有人工干预的分析结果,智能分析阻塞的原因是SQL语句GC的请求过多导致。

d880cbf0ac0f340780042a33cdaf0850.png

(点击放大查看)

但GC的失败次数过多也可能多种原因造成的,进一步下钻分析原因,可以看到诊断报告显示该故障是由于Linux主机网卡发包失败次数过多造成的,这就便于运维人员总结经验、归纳整理。可以看到,zCloud 的智能诊断能力不仅可以实现分析定位,而且对过程能够留痕,可审计、可追溯

b65a660e89866d2b544ae1bacb94e7a7.png

(点击放大查看)

智能诊断包括数据采集、问题感知、自动诊断、识别根因、故障自愈五个部分,WaaS知识库再加上标注的知识图谱形成的智能算法主要体现在问题感知、自动诊断和识别根因这三部分,能够覆盖26个大场景,解决80%以上常见数据库问题。

82e070ba76004f6ee7ceefd1c53f3e6e.png

(点击放大查看)

02

性能分析

zCloud 基于WaaS理念的性能分析能力不止实现在 Oracle 这样的老牌商业数据库中,在达梦、openGauss 等国产数据库上均实现了性能分析能力。巩飞对国产数据库的性能分析场景进行了简单的总结(如下图所示)。无论是主动还是被动分析场景,问题的分析路径都比较类似,依据专家经验生成的分析树和积累的知识图谱进行。

57f98f0778cc2ff6848306fe6d700879.png

以达梦数据库为例,可以看到管理界面清晰明了的展示了分析时段内的资源情况。在数据库性能分析的总览中有很多能力,其中性能分析这一卡片显示出基于知识图谱的分析结果,将采集的数据根据算法汇聚展示出来的时序图,可以从等待事件、TopN SQL维度分析,还可叠加性能基线、CPU核数、CPU使用率分析,能够清晰的展示出性能问题的关键时点和SQL等情况。

f3d4c84728ca71bffabd8a91db13f353.png

其中有一条参考线(图中红线)叫做性能基线,这条线是将达梦数据库过去90%的时间里SQL性能情况根据WaaS内置的算法绘制出的参考线,当一个波动/毛刺刺破了这条线时就需要DBA重点关注。同时,智能发现能力还会对性能衰变或新增的Top SQL进行标注,辅助DBA进行进一步分析处理。

DTC2023

从落地案例看用户价值

在演讲的最后,巩飞为我们分享了四则真实案例。

苏州银行是长三角区域里比较有影响力的区域银行,它使用的数据库种类较多,如 Oracle、MySQL、OceanBase 和 openGauss 等,因此采用了 zCloud 打造数据库统一监控平台,纳管生产环境数百套,实现智能的统一的数据库的性能管控能力。其中重点应用了事前分析预防、事中精准监控、事后智能定位的能力,提前规避了80%的问题。

- 安信证券践行国产化战略,现阶段已引入了较多种类的国产数据库,在运维管理方面需要建设跟商业数据库同样的标准的能力,于是引入 zCloud 构建了平台化的诊断和监控能力并和IaaS、CMDB、ITSM、即时通讯等各种上游系统进行融合,形成信息联动或者智能处理联动,大大增强了数据库管理和对业务线数据库服务能力。

易方达作为基金行业的龙头企业,其基金管理规模已超过2.7万亿元,以前多种商业、国产数据库的运维管理大部分仍以人工为主,压力大,风险高,与投顾业务要求的灵活性以及基金业务的数据高安全性要求形成差距,因此,采用 zCloud 的管理能力将运维效率提升50%,实现数据库运维的敏捷化、自助化、自动化、智能化,保障基金业务系统稳定连续运行。

广东电网积极响应“数字南网”的建设要求,加快部署数字化建设和转型工作,不断上线新业务,引入多种类型的数据库,zCloud 将异构数据库统一纳管,形成坚实有力数据库管控能力的底座,为业务提供强大的支撑力。

DTC2023

结语

zCloud 是云和恩墨最早将运维管理工具化、平台化实现出来的代表产品,至今已经在功能钻研和实践场景中打磨了8年,形成了完善的功能和开放的生态兼容能力,累计帮助八大关键行业的数百家企业建设自动化、标准化、智能化的异构数据库运维管理体系,减少运维成本,提升数据库管理效率,保障用户安全稳定高效运行。

“路漫漫其修远兮,吾将上下而求索。”简化应用、为用户提供企业级数据库产品和服务能力以及端到端的保障是我们不懈追求的目标,我们定将为此奉献全部力量。

点击文末“阅读原文”回顾完整演讲视频

cd02c0d9bf42568600c0fd8c87894154.gif

数据驱动,成就未来,云和恩墨,不负所托!


云和恩墨创立于2011年,以“数据驱动,成就未来”为使命,是智能的数据技术提供商。我们致力于将数据技术带给每个行业、每个组织、每个人,构建数据驱动的智能未来。

云和恩墨在数据承载(分布式存储、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、隐私计算)等领域为各个组织提供可信赖的产品、服务和解决方案,围绕用户需求,持续为客户创造价值,激发数据潜能,为成就未来敏捷高效的数字世界而不懈努力。

9c4964007ce1833bd17c0c565273b732.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/509315.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

什么是医学影像PACS系统?PACS系统功能有哪些?作用有哪些?对接哪些设备?业务流程是什么?

一、什么是医学影像PACS系统 PACS:为Picture Archive and CommunicationSystem的缩写,是图象归档和通讯系统。PACS系统应用在医院影像科室的系统,主要的任务就是把日常产生的各种医学影像(包括核磁,CT,超声…

入门PyTorch的学习路线指南

PyTorch是目前最受欢迎的深度学习框架之一,它具有易于使用、灵活性强、支持动态图等优点,因此备受研究者和工程师的青睐。如果你想学习PyTorch,下面是一个入门PyTorch的学习路线。 学习基础知识: 学习Python编程语言:…

从入门到精通:教你如何使用Page Object模式提高WebUI自动化测试质量

目录 前言 什么是Page Object模式? 如何编写Page Object模式测试脚本? 步骤1:创建页面对象类 步骤2:编写测试用例 步骤3:运行测试用例 总结 前言 在进行Web应用程序开发的时候,我们经常需要进行自动…

前端工程化 搭建私有组件库 组件从开发到发布私有npm仓库的全过程

前言 基于Vue3.0 TS的组件从开发组件库到发布私有npm仓库的全过程 环境 这里列出本文所使用的环境版本 vue 3.0 vue/cli 4.5.9 nodeJs 14.15.1 npm 6.14.8 vue --version vue/cli 4.5.9 npm -v 6.14.8 node -v v14.15.1 步骤 创建项目 使用 vue-cli 创建一个 vue3 项目&a…

震坤行工业超市建设数字化采购供应链的实践

震坤行工业超市建设数字化采购供应链的实践 行业洞察: 【行业洞察】是震坤行工业超市新媒体推出的专注于行业思考主题栏目。 在这里,您可以收获:行业专家对于新理念、新模式、新技术的深度洞见,关于企业采购实操的干货分享。本…

OpenCL编程指南-1.1OpenCL简介

什么是OpenCL OpenCL是面向由CPU、GPU和其他处理器组合构成的计算机进行编程的行业标准框架。这些所谓的 “异构系统” 已经成为一类重要的平台,OpenCL是直接满足这些异构系统需求的第一个行业标准。OpenCL于2008年12月首次发布,早期产品则在2009年秋天…

数据可视化工具 - ECharts折线图的编写

1 官网找到类似实例&#xff0c; 适当分析&#xff0c;并且引入到HTML页面中 <!DOCTYPE html> <html> <head><meta charset"utf-8"/><title>ECharts</title><!-- 引入刚刚下载的 ECharts 文件 --><script src"ech…

HTML与JavaScript联动

目录 一、数组&#xff08;增删查改&#xff09; 1.创建数组 2. 增加数组元素 3.删除数组中的元素 4.查看数组元素 5.修改数组元素 二、创建方法 1.函数 2.作用域 3.作用域链 三、对象 1.使用 字面量 创建对象 [常用] 2.使用 new Object 创建对象 四、JavaScript…

thinkphp报错 in_array() expects parameter 2 to be array, object given

我的问题是 foreach ($books as $k > $v) { if (in_array($v[id], $book_id)) { //这个地方报错的 $books[$k][check] checked; }else { $books[$k][check] ; } } 这个问题是因为 你的变…

5.9-5.10学习总结

项目分析&#xff1a; 1.用户共有的&#xff1a; 登录&#xff0c;注册&#xff0c;忘记密码&#xff0c;个人资料&#xff0c;修改密码 个人资料&#xff1a;包括生日&#xff08;日期栏选择&#xff09;&#xff0c;手机号&#xff0c;邮箱&#xff0c;学号&#xff0c;姓…

网络路径下倾斜模型生产流程-空三计算,像控刺点

网络路径下倾斜模型生产流程-空三计算&#xff0c;像控刺点 1.新建工程 ①新建工程文件夹 确定本机的网络路径&#xff0c;如演示机为192.168.100.10 在网络路径下新建工程文件夹&#xff0c;如//192.168.100.10/e/YNPE27 在工程文件夹下&#xff0c;新建工程存储文件夹CC和照片…

docker安装与配置docker镜像加速器

文章目录 前言一、准备工作二、docker安装三、配置镜像加速器1.配置中科大镜像加速器2.配置阿里云镜像加速器 前言 我真的受不了虚拟机了&#xff0c;我电脑上有9个虚拟机&#xff0c;占了132G&#xff01;&#xff01;&#xff01;我还不敢随便删&#xff0c;怕到时候要用。。…

聚观早报 | 菜鸟回应明年赴港 IPO;谷歌即将发布最新 AI 大模型

今日要闻&#xff1a;菜鸟回应明年赴港 IPO&#xff1b;谷歌即将发布最新 AI 大模型&#xff1b;中国移动推出周杰伦数字人&#xff1b;“老头乐”销量冠军雷丁汽车申请破产&#xff1b;网信部门工作组进驻斗鱼平台 菜鸟回应明年赴港 IPO 近日&#xff0c;有消息称&#xff0c…

跟着我学 AI丨ChatGPT 详解

随着人工智能的发展&#xff0c;聊天机器人成为了一个备受关注的领域。而ChatGPT作为其中的佼佼者&#xff0c;其功能和技术水平也越来越受到人们的关注。那么&#xff0c;什么是ChatGPT&#xff1f;它又有哪些优点和限制呢&#xff1f; ChatGPT是一款基于自然语言处理技术开发…

zed2i相机内参标定

参考&#xff1a; https://blog.csdn.net/yanpeng_love/article/details/107166922 https://blog.csdn.net/weixin_41954990/article/details/127928852 参考以上连接先安装kalibr。 注意&#xff1a; python包装不上&#xff0c;换成&#xff1a;pip install出现pyx找不到…

React JSX

文章目录 React JSX使用 JSX独立文件JavaScript 表达式样式注释数组HTML 标签 vs. React 组件 React JSX React 使用 JSX 来替代常规的 JavaScript。 JSX 是一个看起来很像 XML 的 JavaScript 语法扩展。 我们不需要一定使用 JSX&#xff0c;但它有以下优点&#xff1a; JSX…

Linux共享库、动态库详解

目录 一.静态库 二.动态库 三.静态库的制作与使用 四.动态库的制作与使用 在日常编程中我们不想让别人看到我们写的源码&#xff0c;但还需要发给对方使用&#xff0c;在这种情况下我们引入了静态库动态库&#xff0c;让对方用调库的方式也可以实现我们写的代码的功能&…

2023天津Web前端开发培训就业排行榜(你对Web前端工程师了解多少)

2023天津Web前端开发培训就业排行榜。前端开发技术在多个开发领域得到了广泛的应用&#xff0c;现在对前端开发技术人员的需求越来越大&#xff0c;没有基础要学好前端开发技术知识&#xff0c;更需要系统的学习。今天给大家分享一下Web前端程序员&#xff0c;0基础学前端&…

React 安装

文章目录 React 安装使用实例实例解析 通过 npm 使用 React使用 create-react-app 快速构建 React 开发环境 React 安装 React 可以直接下载使用&#xff0c;下载包中也提供了很多学习的实例。 你也可以直接使用 BootCDN 的 React CDN 库&#xff0c;地址如下&#xff1a; &l…

matlab实现BP神经网络(完整DEMO)

本站原创文章&#xff0c;转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com 目录 一、BP神经网络Demo代码 1.1 代码整体思路 1.2 BP神经网络Demo代码 二、运行结果 2.1 拟合曲线 2.2训练误差与预测误差 三、相关文章 3.1-BP的入门学习目录&#xff1a;老饼…