自治调优!人大金仓解放DBA双手

news2024/11/17 22:17:53

f64c5cd457305b869abd41a09d168beb.gif

数据库系统的性能是确保整个应用系统高效运转的关键因素,因此数据库性能调优工作至关重要。KingbaseES通过将人工调优过程内化为数据库内核,成功实现了自治调优。这种创新的调优方案为DBA提供了更高效且准确的性能调优途径,同时也显著降低了数据库系统的维护成本和复杂性。

当今数据库调优难题

如今,DBA需要具备专业的技能和知识,才能够对数据库进行充分优化。但数据库性能优化涉及诸多因素,完全依赖DBA人工进行数据库和系统统计信息收集,再进行多轮分析和定位,会耗费大量的时间和精力。如果数据库拥有自动调优工具,那么工作效率将得到极大的提升。可以说,数据库性能调优的种种难题本质上源于数据库的易诊断性较低。为了解决这些问题,需要实现数据库性能的自治。

内核驱动的自治调优方案

自治数据库其实是从基础级、管理级、预测级到自适应级逐步发展而来的,相当于汽车从手动挡到自动挡的变化过程。在基础级阶段,管理者往往要依靠能力和经验来做调优;到管理级的时候,系统能够去做相对完善的信息收集,管理者可以基于这些信息去做分析和决策;到预测级时,系统可以自己做模式识别与预测。

9d07eab880fd2c30a63635016981b9f6.png

以遇到TOP SQL问题为例,系统可以根据问题预测原因:缺索引、需要做语句改写,还是因为类型转换出现无法使用索引等问题,并给出相应建议;最后是自适应级,相对于预测级的半自动升级到了自动档的状态,遇到性能问题系统可以自动进行优化。

66dd4b8edcbadce2db5eb13eb196a3e8.png

KingbaseES在内核中建立了自治数据库的框架,将感知、诊断、建议、优化的过程都模块化,从而能够灵活地基于建议任务对各个模块进行填充,进而实现实例和SQL性能问题的自治调优。

实例调优

在诊断和建议方面,针对传统数据库内部的性能度量单位不同、内容不全面,无法准确诊断定位问题,KingbaseES以数据库时间为单位,统一了度量衡,建立了基于数据库时间的决策树模型,可以自顶向下来定位性能问题的根本原因。针对时间模型,采集、存储必需的性能分析数据,同时尽量避免对系统的性能影响。

88d09dc5702b85d086692ba0d0dbf6be.png

以上述技术为基础,KingbaseES在数据库内部实现了大量的动态性能视图,并提供KWR、 KWRDIFF、KSH等诊断报告。此外,对于内存不足、IO问题、锁问题、缺少索引等常规问题,用户直接调用KDDM即可给出建议。对于建议未能覆盖的问题,需要用户通过分析KWR、KSH等方式来进行人工分析。

SQL调优

在SQL调优方面,KingbaseES提供了建议、自适应逻辑优化规则、自适应基数估计三种方式。

基于采集到的问题SQL,调优建议器可以做进一步分析,最后基于规则, 给出优化建议,如索引建议、统计信息建议、改写建议等。

逻辑优化是一种基于规则的优化方法,它按照一定的顺序应用一系列优化规则来对输入的逻辑执行计划进行改进,使其变得更加高效。KingbaseES已经内置了一百多条常用的逻辑优化规则,能够满足大部分复杂业务的需求。

对于 SQL调优中常见的基数估计错误问题,KingbaseES可以利用执行结果自动修正,对于基数估计偏差较大的情况,经过一轮或多轮的迭代执行,可以给出更优的执行计划。

目标:自治+AI

KingbaseES性能管理方向和目标就是自治,让用户的性能调优工作越来越简单。目前,KingbaseES已经提供了预测级和自适应级的优化方法,并将持续丰富相关能力,包括更丰富的SQL建议、参数建议,PGA、SGA的自适应,执行计划代价的自适应等。除此之外,KingbaseES开始将AI应用在趋势预测、参数调优、基数估计等方面

17e7b9402fcb60a86fd904abaf7457f0.jpeg

国产数据库的时代已经到来。人大金仓在性能自治等方面进行了诸多探索,将推动产业发展进入全新阶段,致力成为世界卓越的数据库产品与服务提供商。未来,金仓数据库将不断突破关键技术的创新,为数据库产业创新发展带来更多的可能性。

2276f8331ab54c622bf2cd4c00e9da6d.png供稿:产品研发中心

编辑:王堇

审核:日尧

69a2ac8cf63075dee1910514fdb28376.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1298847.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【头歌系统数据库实验】实验5 SQL的多表查询-1

目录 第1关:等值连接:求S表和J表城市相同的等值连接(列顺序还是按照S、J表) 第2关:查询供应情况,并显示供应商、零件和工程三者的名称 第3关:找出上海厂商供应的所有零件号码 第4关:找出使用上海产的零…

ES 如何将国际标准时间格式进行格式化与调整时区

需求,日志收集的时候,时间格式是国际标准时间格式。形如yyyy-MM-ddTHH:mm:ss.SSS。 (2023-12-05T02:45:50.282Z)这个时区也不对,那如何将此类型的时间,进行格式化呢? 本篇文章体统一个案例&…

基于Python+Django+mysql图书管理系统

基于PythonDjangomysql图书管理系统 一、系统介绍二、功能展示三、其它系统四、获取源码 一、系统介绍 程序开发软件:Pycharm 数据库:mysql 采用技术: Django(一个MVT框架,类似Java的SSM框架) 人生苦短,我用Python&a…

Web服务安全架构——一、Web应用程序基础理论

Web安全架构 一、引言二、Web应用程序的生成过程三、程序员是如何开发Web应用程序的1、Web程序的分层结构2、各司其职的程序员3、研究 Web 应用程序的利器3.1 黑盒测试类工具3.2 白盒测试类工具 四、小结 一、引言 随着互联网的迅速发展,我们越来越多地使用Web应用…

【前端】CSS盒子模型(学习笔记)

一、盒子模型 1、网页布局的本质 先准备好相关的网页元素,网页元素基本都是盒子 Box 。利用 CSS 设置好盒子样式,然后摆放到相应位置。往盒子里面装内容. 网页布局的核心本质: 利用 CSS 摆盒子。 2、盒子模型 盒子模型:就是把 …

LangChain 25: SQL Agent通过自然语言查询数据库sqlite

LangChain系列文章 LangChain 实现给动物取名字,LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储,读取YouTube的视频文本搜索I…

随机分词与tokenizer(BPE->BBPE->Wordpiece->Unigram->sentencepiece->bytepiece)

0 tokenizer综述 根据不同的切分粒度可以把tokenizer分为: 基于词的切分,基于字的切分和基于subword的切分。 基于subword的切分是目前的主流切分方式。subword的切分包括: BPE(/BBPE), WordPiece 和 Unigram三种分词模型。其中WordPiece可以认为是一种特殊的BPE。完…

臻程密封科技(江苏)有限公司携橡胶密封产品亮相2024生物发酵展

臻程密封科技(江苏)有限公司盛装亮相2024第12届国际生物发酵产品与技术装备展(济南) 展位号:2号馆H56 臻程密封科技(江苏)有限公司专注于橡胶密封材料的研发,橡胶密封产品的生产、…

阿里云SLB的使用总结

一、什么是SLB 实现k8s的服务service的一种推荐方式,也是服务上云后,替代LVS的一个必选产品。 那么它有什么作用呢? 1、负载均衡,是它与生俱来的。可以配置多个服务器组:包括虚拟服务器组、默认服务器组、主备服务器…

来自OpenAI的官方解释:ChatGPT中的GPTs与Assistants API的区别是什么?有什么差异?

本文原文来自DataLearnerAI的官方网站: 来自OpenAI的官方解释:ChatGPT中的GPTs与Assistants API的区别是什么?有什么差异? | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051701996595465 OpenAI发布的产…

大数据技术5:OLAP引擎对比分析

前言:数据仓库建设,初级的理解就是建表,将业务数据、日志数据、消息队列数据等,通过各种调度任务写入到表里供OLAP引擎使用。但要想建好数仓也是一个复杂、庞大的工程,比如要考虑:数据清洗、数据建模&#…

使用Vue3+Typescript手写一个日历签到组件

设计理念 昨天写了个简单美观的日历签到组件,使用的是Vue3TypeScript,大概逻辑是先找到本月份第一天是周几,然后开始填充月份日期:weeksArray:[[]]:之后渲染到表格中,对于签到事件触发则先判断是否是今天且还未没有签…

计算机视觉 基于Open3D了解用于网格和点云邻域分析的KD树和八叉树

一、简述 距离计算和邻域分析是理解网格和点云的形状、结构和特征的重要工具。我们这里要基于一些3D库来提取基于距离的信息并将其可视化。 与深度图或体素相比,点云和网格表示 3D 空间中的非结构化数据。点由它们的 (X, Y, Z) 坐标表示,在 3D 空间中可能彼此靠近的两…

6.3 U-boot 启动流程详解

通过对 uboot 启动流程的梳理,我们就可以掌握一些外设是在哪里被初始化的,这样当我们需要修改这些外设驱动的时候就会心里有数。 一、链接脚本 u-boot.lds 分析 uboot 的启动流程,首先要找到“入口”,找到第一行程序在哪里。程序…

【Delphi】FMX开发 ios 和 android 异同点(踩坑记)

目录 一、前言 二、补充下基础知识 1. APP程序事件:TApplicationEvent 2. APP内置Web服务器或者UDP服务端或者TCP服务端 三、iOS 和 android 平台的不同点 1. TApplicationEvent的不同点:以下不同点,请仔细阅读! 2. APP内置…

嵌入式培训-Linux系统及C编程高级-DAY6-linux shell脚本编程

Shell脚本概述 Shell脚本是利用 shell 的功能所写的一个程序。这个程序是使用纯文本文件,将一些 shell 的语法与命令(含外部命令)写在里面,搭配正则表达式、管道命令与数据流重定向等功能 Shell脚本编写流程 Shell脚本的文件扩展名…

luceda ipkiss教程 45:在版图上加LOGO

**在设计版图时往往需要加上公司或者学校的LOGO,只需要LOGO的图片,通过代码就可以将LOGO加到版图上,比如: ** 通过代码可以得到版图上的LOGO: ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8daea33f74f342ed9f506ae5d8cea711.…

求导公式,求导的四则运算,复合函数求导

求导公式 求导的四则运算 复合函数求导

原码、反码、补码、大端、小端

原码、反码、补码 计算机中的整数有三种2进制表示方法,即原码、反码和补码。 三种表示方法均有符号位和数值位两部分,符号位都是用0表示“正”,用1表示“负”, 而数值位: 正数的原、反、补码都相同。负整数的三种表…

接触huggingface

接触huggingface finetuning llama 按照https://github.com/samlhuillier/code-llama-fine-tune-notebook/tree/main中的教程一步一步了解。 pip install !pip install githttps://github.com/huggingface/transformers.gitmain bitsandbytes # we need latest transforme…