【性能优化】低配starRocks常驻内存优化

news2024/11/16 15:53:11

背景说明

由于服务器的实际资源小于starRocks官方的配置,导致starRocks在无任务的情况下,常驻内存偏高,可用于查询的资源变小。

在这里插入图片描述
官方文档

实际部署的集群一般是4C8G和8C16G,be的配置不达标

为了解决单次查询内存不足的问题,提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑,降低内存使用。

注意事项

部分参数无法在conf文件中配置,需要执行SQL语句,进行set操作。

参数调整

query_mem_limit

感觉是starRocks的BUG,默认是不配置的,就是不限制。但一段时间后会触发BUG,变成2G的效果,只能手动配置来解决。

Limit:2147483648,刚好是2GB。

ERROR 1064 (HY000) at line 1: Memory of Query4c93de21-7bb9-11ef-a38d-00163e3ad810 exceed limit. Pipeline Backend: 172.16.204.181, fragment: 4c93de21-7bb9-11ef-a38d-00163e3ad811 Used: 2150710904, Limit: 2147483648. Mem usage has exceed the limit of single query, You can change the limit by set session variable query_mem_limit.

SET GLOBAL query_mem_limit = 13743895347; 
--具体数值需要根据实际资源确认,大约是服务器的80%

enable_persistent_index

这个参数用于控制是否持久化主键索引。在主键表中,StarRocks可以使用磁盘和内存同时存储主键索引,以减少主键索引占用的内存空间。如果设置为true,则主键索引会被持久化到磁盘上,这样可以在使用大量数据的情况下节省内存。默认情况下,这个参数可能设置为false,意味着主键索引只在内存中维护,这可能会导致内存使用量较大。常驻内存使用问题之一,内存不足或导入操作多的表,可以考虑关闭。

disable_storage_page_cache

是否开启 PageCache。开启 PageCache 后,StarRocks 会缓存最近扫描过的数据,对于查询重复性高的场景,会大幅提升查询效率。true 表示不开启。该配置项与 storage_page_cache_limit 配合使用,在内存资源充足和有大数据量 Scan 的场景中启用能够加速查询性能。storage_page_cache_limit,默认20%,修改为0% 。BE 存储层 page 缓存可以使用的内存上限。

管理内存 | StarRocks

chunk_reserved_bytes_limit

其参数修改在【metadata常驻优化】中 chunk_reserved_bytes_limit=100000000

用于加速小块内存分配的 Cache,默认上限为 2GB。您可以在内存资源充足的情况下打开。

修改为0,不启用

管理内存 | StarRocks

metadata常驻优化

降低到常驻进程中metadata的占比

在be.conf中加上 
disable_column_pool=true
chunk_reserved_bytes_limit=100000000
data_page_size=524288

中间表落盘

中间结果落盘 | StarRocks

【默认】Data Cache

speedo系统默认是false,未开启

如需永久禁用 Data Cache,需要将以下配置添加到 CN 配置文件 cn.conf 中,并重新启动 CN 节点:

starlet_use_star_cache = false

Data Cache | StarRocks

【默认】Query Cache

speedo系统默认是false,未开启

Query Cache 特性,可以帮助您极大地提升聚合查询的性能。开启 Query Cache 后,每次处理聚合查询时,StarRocks 都会将本地聚合的中间结果缓存于内存中。这样,后续收到相同或类似的聚合查询时,StarRocks 就能够直接从 Query Cache 获取匹配的聚合结果,而无需从磁盘读取数据并进行计算,大大节省查询的时间和资源成本,并提升查询的可扩展性。在大量用户同时对复杂的大数据集执行相同或类似查询的高并发场景下,Query Cache 的优势尤为明显。

Query Cache | StarRocks

内存分析方法

管理内存 | StarRocks

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2171983.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

拉格朗日插值讲解与MATLAB例程

文章目录 拉格朗日插值拉格朗日插值的基本概念已 知 数 据 点拉格朗日基多项式插值多项式 MATLAB源代码代码讲解运行结果拉格朗日插值的特点(优缺点) 拉格朗日插值 拉格朗日插值是一种用于在已知数据点之间进行插值的数学方法。它通过构造拉格朗日基多 …

处理execl表格的库----openpyxl

一、打开现有的工作文档 import openpyxl# 打开工作簿 workbook openpyxl.load_workbook(download/nihao.xlsx)# 获取工作表 sheet workbook[Sheet1]# 读取单元格数据 cell_value sheet[A1].value print(cell_value)二、创建新的execl文档 import openpyxl# 创建新的工作簿…

Pandas -----------------------基础知识(五)

索引和列操作函数缺失值 索引和列操作 # 1 加载数据 # 1.1 从链家租房数据集中获取天通苑租房区域的所有数据存储在df2中 # 1.2 从df2中获取价格列存储在df2_price对象 import pandas as pd df pd.read_csv(/root/pandas_code_ling/data/b_LJdata.csv) df2 df[df[区域] 天通苑…

Android Button “No speakable text present” 问题解决

记录一个问题,今天让同学们做了个小车控制界面,使用Button控件,删除设置的text属性,会出现“No speakable text present”的错误,如图所示。这是由于Android的无障碍设置需要朗读Button的文本,如果没有设置…

Linux系统安装MySQL8.40(保姆级教程)

前言: 说明:本文章是在阿里云ecs上安装MySQL,即:Linux是在联网状态下。 一、安装前环境准备 1.查看MySQL应用是否已存在 rpm -qa |grep mysql说明:若返回空信息,就说明当前环境没有安装MySQL。 2.查看ma…

重磅!三十载种业盛会今年10月换址举办

重磅!三十载种业盛会今年10月换址举办 粮安天下,种筑基石。2024 年,在种业振兴行动迈入“五年见成效”新阶段的关键之年,哈尔滨种业博览会也即将迎来它的第30个年头。因“第九届亚洲冬季运动会”占用哈尔滨国际会展中心&#xff…

en造数据结构与算法C# 之 二叉排序树的增/查

前篇:en造数据结构与算法C# 二叉排序树 泛型类的基本构成-CSDN博客 了解了基本结构以后就可以为其编写增加代码了 注意在二叉排序树类中定义了一个根节点 AddNode(添加节点)方法分析 输入: 一个添加节点的位置(默认为…

鳕鱼检测系统源码分享

鳕鱼检测检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vision …

LLM - 理解 多模态大语言模型(MLLM) 的 幻觉(Hallucination) 与相关技术 (七)

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/142463789 免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。 多模态…

【湖南步联科技身份证】 身份证读取与酒店收银系统源码整合———未来之窗行业应用跨平台架构

一、html5 <!DOCTYPE html> <html><head><meta http-equiv"Content-Type" content"text/html; charsetutf-8" /><script type"text/javascript" src"http://51.onelink.ynwlzc.net/o2o/tpl/Merchant/static/js…

电脑桌面美化用什么软件?精选6款桌面文件管理工具,小白秒变大师!

随着电脑在日常生活和工作中的普及&#xff0c;越来越多的用户开始重视电脑桌面美化的需求。单调的桌面背景和杂乱的文件排列已经无法满足我们对个性化与效率的追求。许多用户渴望找到合适的桌面整理工具&#xff0c;使他们的电脑桌面不仅美观&#xff0c;还能提升工作效率。为…

艺术家刘欢近况时隔5年再登《歌手》舞台,国家级嗓音引发热议

在我国&#xff0c;有这样一位艺术家&#xff0c;他自上世纪80年代至今&#xff0c;用一首首脍炙人口的歌曲和他那独特的嗓音陪伴数代人成长。凭借音乐上的造诣和天赋&#xff0c;他被众多网友誉为“音乐教父”&#xff1b;攀登至领域巅峰时&#xff0c;他不忘提携后辈&#xf…

低代码平台推荐与对比,国内外哪家更胜一筹?

低代码开发通过图形界面简化开发&#xff0c;提升速度与协作&#xff0c;降低成本。国内外平台如ZohoCreator、OutSystems等各具特色&#xff0c;支持快速开发、集成与数据安全。企业可试用后按需选择&#xff0c;降低决策成本。 一、低代码是什么&#xff1f; 低代码开发是一…

如何组织一场考试并筛选未参加答题的考生?

&#x1f64b;频繁有小伙伴咨询&#xff1a;我组织了一场答题活动&#xff0c;导出考试成绩时只有参加了答题的人&#xff0c;但我想要找到哪些人没答题 此前我们会建议小伙伴逐人排查&#xff0c;但这建议被反复吐槽&#x1f926; 确实&#xff0c;如果只有十几个人逐人排查还…

一家5口全感染?幽门螺杆菌筛查的意义!

近日&#xff0c;浙江的一家医院消化内科专家接诊了一名因感染幽门螺杆菌多年而罹患胃癌的患者。糟糕的是&#xff0c;他一家5口全感染了这种菌。2023年底&#xff0c;浙江杭州李先生&#xff08;化名&#xff09;在公司组织体检时查出幽门螺杆菌阳性。但他也不知道自己是何时、…

HTML基础用法介绍一

VS code 如何快速生成HTML骨架注释是什么&#xff1f;为什么要写注释&#xff1f;注释的标签是什么&#xff1f;标题标签段落标签换行标签与水平线标签 (都是单标签&#xff09;文本格式化标签图片标签超链接标签音频标签视频标签 &#x1f698;正片开始 VS code 如何快速生成…

相亲交友系统的社会影响:家庭结构的变化

随着互联网技术的发展&#xff0c;相亲交友系统已成为许多单身人士寻找伴侣的重要途径。这些平台不仅改变了人们的社交方式&#xff0c;还对家庭结构产生了深远的影响。本文将探讨相亲交友系统如何促使家庭结构发生变化&#xff0c;开发h17711347205并通过简单的Python代码示例…

【bug fixed】hexo d的时候Spawn failed

在执行hexo d部署的时候&#xff0c;遇到报错&#xff1a; % hexo d INFO Validating config INFO Deploying: git INFO Clearing .deploy_git folder... INFO Copying files from public folder... INFO Copying files from extend dirs... [main 8e89088] Site updated…

信息学奥赛的最佳启蒙阶段是小学还是初中?

信息学奥赛&#xff08;NOI&#xff09;近年来越来越受家长和学生的关注&#xff0c;尤其是在编程教育不断升温的背景下&#xff0c;信息学竞赛成为了许多家庭的教育选择之一。家长们往往关心的是&#xff1a;孩子应该在什么年龄段开始接触信息学竞赛&#xff0c;才能打下坚实的…

设计模式 之 —— MVC模式

目录 什么是MVC模式&#xff1f; MVC 工作流程&#xff1a; MVC模式&#xff08;java示例.部分代码&#xff09; 1、Model java 2、View HTML CSS JS 3、Controller java 运行结果&#xff1a; 适用场景&#xff1a; 什么是MVC模式&#xff1f; MVC模式提供了灵活…