VastBase——数据库参数调优

news2024/11/27 1:37:02

一、内存参数调优

        数据库的复杂查询语句性能非常强的依赖于数据库系统内存的配置参数。数据库系统内存的配置参数主要包括逻辑内存管理的控制参数和执行算子是否下盘的参数:

1.逻辑内存管理参数:max_process_memory

max_process_memory – shared memory ( 包括shared_buffers ) – cstore_buffers

根据上述计算公式可以看出影响执行作业可用内存参数的主要两个参数为shared_buffers及cstore_buffers

2.共享内存参数:shared_buffers

设置实例使用的共享内存大小。增加此参数的值会使openGauss比系统默认设置需要更多的System V共享内存。

3.列存共享缓冲区:cstore_buffers

列存表使用cstore_buffers设置的共享缓冲区,几乎不用shared_buffers。因此在列存表为主的场景中,应减少shared_buffers,增加cstore_buffers。

4.逻辑内存查询

逻辑内存管理有专门的视图查询数据库节点中各大块内存区域已使用内存及峰值信息。

select * from PG_TOTAL_MEMORY_DETAIL;

5.work_mem

内部排序操作和Hash表在开始写入临时磁盘文件之前使用的内存大小:work_mem

二、逻辑内存管理模块

逻辑内存管理模块参数:enable_memory_limit

设置enable_memory_limit为true,即启用内存管理模块,可用于限制进程的内存使用。当其他参数配置不满足数据库启动条件时,则启动失败,并给出提示。

  • 用户设置enable_memory_limit=true,但其他参数配置不满足条件,则数据库启动失败,并提示原因:

  •  如果用户设置enable_memory_limit=false, 启动成功并且提示风险

 

 三、IO参数调优

1.pagewriter_sleep

        增量checkpoint模式下,控制后端写线程pagewriter刷页频率,当脏页占据shared_buffers的比例达到dirty_page_percent_max时,每批脏页数量以设定的max_io_capacity计算出的值刷页。
pagewriter线程刷页用于推进recovery点,设置时间较长时,会导致recovery点推进慢,宕机启动时间长和xlog日志堆积问题。
        为降低RTO,减少日志膨胀,需要将pagewriter_sleep适当调小,加快页面刷盘,推进recovery点,促进日志回收。

2.bgwriter_delay

        增量checkpoint模式下,控制后端写线程bgwriter刷页频率,当前空闲缓冲页面个数占据shared_buffers的比例低于candidate_buf_percent_target时,每批脏页数量以设定的max_io_capacity计算出的值刷页。
        bgwriter线程将可以淘汰的页面刷盘,加速业务执行时,页面占用槽位的速度,时间过长会影响性能。

        为了提升业务性能时,适当调小bgwriter_delay的时间

3.max_io_capacity

        设置后端写线程(pagewriter线程和bgwriter线程)批量刷页每秒的I/O上限,需要根据具体业务场景和机器磁盘I/O能力进行设置。
        要求RTO很短时间或者数据量比共享内存大多倍的情况,业务访问数据量又是随机访问时,该值不宜过小。该参数设置较小会减小后端写线程刷页个数,如果业务触发页面淘汰多时,该值设置小会影响业务。
        max_io_capacity需依据随机写I/O能力进行最优设置。

                

四、常见问题

 1.work_mem 参数设置得太小

        在 openGauss数据库中,work_mem 参数指定了每个运行的内部排序操作或哈希表操作使用的内存量。如果将 work_mem 参数设置得太小,可能会导致以下一些常见问题:
        临时文件使用增加: 当内存不足以执行排序或哈希操作时,openGauss可能会将部分数据存储在临时文件中进行处理。这会增加磁盘 I/O 操作,导致查询性能下降,并可能对系统的整体性能产生负面影响。
        性能下降: 当 work_mem 设置得太小时,数据库可能不得不频繁地将数据分成更小的块进行处理,这可能会导致性能下降。特别是对于需要进行大量内部排序或哈希操作的查询,性能影响可能尤为明显。
        查询超时: 对于需要大量内存的查询,如果 work_mem 设置得太小,可能会导致查询超时或被取消。这可能会影响用户体验,并且可能导致某些查询无法完成。
        资源争用: 如果多个并发查询都需要大量内存,但 work_mem 设置得太小,可能会导致资源争用和竞争条件,进而影响系统的整体稳定性和性能。

2.I/O 操作较大

        性能下降: 大量的 I/O 操作可能会导致数据库性能下降,因为 I/O 操作通常是数据库中最耗费资源的操作之一。特别是在磁盘 I/O 受限的情况下,数据库的响应时间可能会显著增加。
        查询响应时间增加: 如果数据库需要频繁地从磁盘读取或写入数据,查询的响应时间可能会显著增加。这可能会影响用户体验,并导致用户感觉到数据库反应不及时。
        并发性能下降: 当大量的 I/O 操作发生时,数据库可能会面临并发性能下降的问题。例如,如果多个用户同时执行大量的查询或写操作,磁盘可能会成为瓶颈,导致查询响应时间增加或甚至查询超时。
        数据一致性问题: 如果数据库在执行写操作时发生故障或意外关闭,可能会导致数据一致性问题,因为尚未写入磁盘的数据可能会丢失或损坏。因此,高 I/O 负载下的数据库需要确保适当的备份和恢复策略,以最大程度地减少数据丢失的风险。

五、总结

        CPU通常情况下并没有多少调优手段,依赖于厂商调校。所以需要与服务器厂商充分沟通。研读厂商技术手册。
        I/O性能指标通常有:使用率、饱和度、IOPS(Input/Output Per Second)吞吐量、响应时间。通过选择不同的文件系统、缓存配置以及数据库参数pagewriter_sleep、bgwriter_delay等进行调优。
        网络的性能指标通常有:带宽、延时、吞吐量、PPS,网络性能通常情况下较难诊断,若为生产环境建议部署监控。
        数据库中可以通过内存参数work_mem、shared_buffers等进行调优,或者根据实际情况选择是否开启参数enable_memory_limit。

        

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2092338.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SQL Server Profiler 工具的使用

在很多时候,我们需要优化接口的执行效率,一方面是提高代码在内存中的执行效率,另一方面就是提高数据库操作相关的效率了。 .NET中在System.Diagnostics类库下提供了Stopwatch类用来分析代码的执行耗时。那么如果是牵扯到数据库相关的操作&am…

前端速通面经八股系列(一)—— CSS篇

CSS高频面经目录 一、CSS基础1. CSS选择器及其优先级2. CSS中可继承与不可继承属性有哪些3. display的属性值及其作用4. display的block、inline和inline-block的区别5. 隐藏元素的方法有哪些6. link和import的区别7. transition和animation的区别8. display:none与visibility:…

Beyond Compare 4试用过期规避办法

声明: 支持正版软件 一: 注册表处理 在搜索栏中输入 regedit ,打开注册表 删除项目:计算机\HKEY_CURRENT_USER\Software\ScooterSoftware\Beyond Compare 4\CacheId 二: 脚本处理 创建bat文件, 写入下面的命令行. reg delete “HKEY_CURRENT_USER\…

华为od全面介绍!!!

三分钟带你全面了解华为OD 【合同及管理】签约方为科锐国际/外企德科(人力服务公司),劳动合同期为4年,试用期6个月。员工关系合同管理、五险一金、考勤发薪由科锐国际/外企德科负责;定级定薪、员工培训、工作安排、绩…

Redis的配置和启动+Redis Insight连接

一、安装 Redis的安装:从镜像站下载:索引 redis-local (huaweicloud.com),然后将其传到Linux虚拟机中进行解压,解压之后需要下载gcc,因为Redis底层是用c写的,所以要编译一下生成redis文件,然后…

人工智能领域正经历模型规模变革,小型语言模型(SLM)崛起,挑战“规模至上”观念。

在人工智能领域,一场关于模型规模的深刻变革正在悄然发生。长久以来,科技巨头们热衷于庞大语言模型(LLM)的开发竞赛,但如今,小型语言模型(SLM)正以其独特的优势逐步崭露头角&#xf…

麦弗逊悬架KC特性分析APP开发与应用

汽车悬架系统是汽车重要的组成部分之一,起到支撑车身、减震降噪、提高行驶稳定性等多种作用。其中,悬架系统的K&C特性是一个重要指标,直接影响到汽车的操纵稳定性和乘坐舒适性,是悬架系统设计和优化的关键目标之一。 图1 汽车…

font-face 字体设置

摘要: font-face是css3中允许使用自定义字体的一个模块。 font-face的是一个CSS规则,允许你输入自己的字体出现在网站上,即使在特定的字体在访问者的计算机上没有安装。这条规则最重要的是,它为设计师打开了一个全新的世界。您可以使用任何你…

不平衡分类的成本敏感学习

不平衡分类的成本敏感学习 大多数机器学习算法都假设模型所犯的所有错误分类错误都是相同的。 对于不平衡分类问题,情况通常并非如此,因为遗漏正类或少数类案例比错误地将示例归类为负类或多数类更糟糕。有许多现实世界的例子,例如检测垃圾…

高效好用的10个自动化办公库分享

高效可用的10个自动化办公库 10个常用的Python自动化办公库本次内容涵盖了Excel、Word、PPT、ODF、PDF、邮件、微信、文件处理等所有能在办公场景实现自动化的库,希望能够对大家有所帮助。 PythonExcel自动化库 1.xlwings 库官网:https://www.xlwings…

用 Python 解锁电影台词中的秘密:给孩子一个学英语的新奇方式

引言 想象一下:孩子们不仅在看他们喜欢的电影,还能从中学到新的英语单词!有没有什么比这更有趣、更高效的学习方式?在这篇博客中,我将带你一步步搭建一个 Python 工具,从电影台词中提取单词并生成详细的词…

06:网表更新到PCB

1.先了解HDMI设计规范 有4对差分线,1对IIC串行总线信号从芯片---->防静电器件—>HDMI输出 发现错误,没有SDA网络,检查原理图 重新导网表 3.完成信号芯片—>防静电模块—>HDMI布局

PMP–知识卡片--迭代型生命周期

迭代指的是多次循环。例如,软件开发按照版本发布,每一个版本内部都是一个小的瀑布开发,都会经历“需求分析—设计—开发—测试—发布”周期,下一个迭代在此基础上重复这些步骤,对软件进行优化升级,发布新的…

用友U8接口-自定义项和扩展自定义项(6)

概括 本文的操作需要正确部署U8API保存单据时传入自定义项和扩展自定义项 单据自定义项 ERP界面 接口参数 自定义项为标准erp字段,以cDefine开始的字段对应接口传入参数位置 [{"Inum": "OtherIn","Data": {"iHead": {&…

和星辰为伴,与代码共舞

大家好,我是小悟 在探索数字编织的浩瀚宇宙中,独立开发者犹如孤独的星际航行者,驾驶着创意与技术的飞船,穿梭于代码的无垠星海。 他们的日常工作,是一幅由无数个日夜辛勤耕耘编织而成的壮丽画卷,每一笔都…

进程通信——共享内存

文章目录 1.基本认识1.1 概念介绍1.2主要原理 2.使用方法2.1创建共享内存shmget2.1.1 shmget2.1.2 ftok 2.2映射地址空间shmat2.3 访问共享内存2.4 同步和互斥 3.接口封装3.1 创建shm_create3.2 映射shm_connect3.3 多进程共享内存 共享内存是一种机制,也是进程间进…

SpringBoot中@SchedulerLock注解实现定时任务中分布式锁的使用

背景 在SpringBoot项目中经常会去写一些定时任务,但是当我们的服务的实例部署多个的情况下,那么每个实例中的定时任务都会执行一遍,这显然不是我们想要的,我们只想让它执行一次。在没有引入像xxl-job之类的分布式任务调度框架的前…

BIRTV2024圆满落幕,中科极光9万流明点亮观影新体验

8月21日,第三十一届北京国际广播电影电视展览会BIRTV 2024隆重开幕。展示广电先进技术设备和发展成果,引领中国广播影视技术发展潮流,全媒体、超高清、强智能,带着本届BIRTV理念,中科极光携RGB三色激光光源升级解决方案LSS-AM系列…

【大模型】LangChain基础学习

前言:LangChain是一个用于构建端到端语言模型应用的框架 目录 1. 基础知识2. 基本使用2.1 安装2.2 启动示例2.3 使用prompt2.4 输出解析器 3. 相关应用3.1 RAG 参考文献 1. 基础知识 六大组件 模型(Models):包含各大语言模型的LangChain接口…

2024年“羊城杯”粤港澳大湾区网络安全大赛 PWN部分

2024年“羊城杯”粤港澳大湾区网络安全大赛 PWN部分 Author:Ns100kUp From:极安云科-服务中心 Data:2024/08/27 Copyright:本内容版权归属极安云科,未经授权不得以任何形式复制、转载、摘编和使用。培训、环境、资料、考证 公众号…