StarRocks案例2: 升级后性能变慢

news2024/11/25 0:45:42

文章目录

  • 一. 问题描述
  • 二. 解决方案
    • 2.1 从慢查询定位
    • 2.2 定位CPU解析时间就的问题

一. 问题描述

2023-05-18 将StarRocks从2.3.0升级到2.5.5。
升级完成后,所有的查询均比较慢,前端报表页面点开也卡。

二. 解决方案

2.1 从慢查询定位

StarRocks慢查询对应的GitHub地址:https://github.com/WuMenglong/fe-plugins-auditloader

select * 
  from starrocks_audit_db__.starrocks_audit_tbl__ sat
 where sat.isQuery = 1 
 and queryType = 'slow_query'
 order by sat.`timestamp`  desc;

可以看到,慢查询里面,CPU用于解析SQL生成执行计划的时间非常长,远高于实际执行的时间
image.png

2.2 定位CPU解析时间就的问题

从普罗米修斯上看到,集群CPU资源使用率不高,也就不存在资源的瓶颈
image.png

后面想到了,新版本的统计信息会有新增,那我们来看看统计信息
image.png

select * from table_statistic_v1 tsv order by tsv.update_time DESC ;

select * from column_statistics cs order by cs.update_time  desc;
-- 直方图手工收集
select * from histogram_statistics hs order by hs.update_time  desc;

从下图我们可以看到列的统计信息是此次新增的,要收集所有存量表的列的统计信息,耗时较久
CPU解析SQL生成执行计划,需要依赖统计信息,如统计信息正在收集中,那么此时CPU会等待统计信息收集完成或采用动态采样
无论使用哪一种方式,都会消耗CPU时间,导致SQL执行计划生成时间大大增加。

顾我们耐心等待统计信息收集完成即可。
image.png

有点坑,升级后自动开启全量的统计信息采集(而不是抽样的)
image.png

后台查看,任务处于pending状态
image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/596517.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智慧档案馆十防一体化建设主要设计依据

1、《中华人民共和国档案法》 2、《中华人民共和国档案实施办法》 3、GB/T 9386-1988《计算机软件测试文件编制规范》 4、GB/T 15532-1995《计算机软件单元测试规范》 5、GB/T 30961-2014 嵌入式软件质量度量 6、GB2421-89 电工电子产品基本环境试验规程 7、GB16796-2009…

阿里影业业绩:2023财年经调整EBITA盈利2.95亿元,同比增加106%

今年以来,社会经济加速恢复,影视业也在加速抓住市场机遇,走进电影院的佳作和消费者都在顺势增长。 5月31日,阿里影业(01060)发布2022/23财年业绩,得益于业务结构的多样化建设及运营效率的持续提…

调试代码可能会成为潜在的安全漏洞

有时候,我们不得不开发一些所谓的”调试用”代码。 但是,不要忘记了,虽然这些调试代码只是用来调试的,但是并不意味着我们就可以忽略掉安全性。 我记得,曾经有一位客户问过如下的问题: 我们正在开发一个后…

一文带你搞懂防盗链

防盗链 举个例子。我们平时在网上看到图片,觉得不错,想要复制地址。有的复制地址后我们可以拿来用,但是有的,就算是复制地址,用到我们自己的img上,还是没效果。 原因是,有的图片所在服务有自己…

跨境电商客户服务五步法

互联网技术的革新与升级对商务客服产生了巨大的影响,过去由在线客服与客户直接电联的单一服务形式被全渠道客服系统所替代。在电子商务时代,商家与客户之间的互动变得尤为重要:一方面,卖家通过分析客户喜好及消费趋向来针对性处理…

WhatsApp-跨境电商必争之地

作为世界上最受欢迎的即时通讯软件,WhatsApp在全球拥有超过20亿的月活跃用户,覆盖180多个国家,每天通过WhatsApp发送的消息数量超过了1000亿条。作为中国企业出海的热门国家,印度、巴西、美国、印尼...同时也是WhatsApp受众排名前…

数据在内存中的存储(2)——浮点数

目录 1、什么是浮点数 2、浮点数与整数存储方式相同吗? 3、浮点数的存储规则 3.1 、国际标准IEEE(电气和电子工程协会) 754 3.2、IEEE 754规定: 3.3、IEEE 754对有效数字M的规定。 3.4、IEE 754对有效数字E的规定 E不全为0或不全…

Day58【单调栈】739.每日温度、496.下一个更大元素 I

739.每日温度 力扣题目链接/文章讲解 视频讲解 暴力解法很容易想到。外层 for 遍历填充 answer,内层 for 针对每一天去寻找下一个更高温度 直接超时 本题可以采用单调栈解决! 什么是单调栈? 从名字上就听的出来,单调栈中…

创建型设计模式05-抽象工厂模式

✨作者:猫十二懿 ❤️‍🔥账号:CSDN 、掘金 、个人博客 、Github 🎉公众号:猫十二懿 抽象工厂模式 1、抽象工厂模式介绍 抽象工厂模式(Abstract Factory Pattern)是一种创建型设计模式&#x…

MATLAB按照曲线模型拟合数据

用到了曲线拟合工具箱,如果没有下载需要另外安装: 没有下载的话在命令行内输入cftool不会弹出窗口,而是提示没有这个命令 在菜单栏的APP: 点击获取更多APP: 在弹出的窗口输入Curve Fitting Toolbox 注意这里输入cft…

100种思维模型之多维视角思维模型-70

“多维视角思维模型”让我们用众生之眼看世界,继而看见更真实世界的思维模型。 01、何谓多维度视角思维模型 一、多维度视角 所谓多维视角,指的是除了用自己本能的视角看待问题,还会用360度其他人的视角,如对立面的视角&#xff…

仅用自然语言,让ChatGPT输出连贯的长篇小说!苏黎世联邦理工大学提出RecurrentGPT

夕小瑶科技说 原创 作者 | ZenMoore,Wangchunshu Zhou 前言 ChatGPT 是万能的吗? 显然不是,至少在今天我们所讨论的长文本生成上,ChatGPT 可以说是几乎完全不太可能生成长篇小说。 在某种程度上,这是 Transformer 模…

2自由度并联关节的制作

1. 运动功能说明 2自由度并联关节模组的主要运动方式为用舵机带动连杆摆动。 2. 结构说明 构成本模组的零部件主要是舵机(行程0度~180度)、舵机支架、舵机输出头、连杆、螺丝、螺母等。此模组的机械系统介绍及运动学算法讲解可参考【R306】5自由度并联机…

回收站不见了怎么恢复?3个方法快速解决!

案例:我想把需要删除的软件拖到桌面回收站中进行删除,却发现我电脑桌面上的回收站不见了,有小伙伴知道怎么恢复吗? 在日常使用电脑的过程中,回收站是一个至关重要的功能。当我们删除文件时,它提供了一个安…

git 远端分支管理、仓库迁移:017

1. 在Github上创建分支: 2. 在Github上删除分支: 3. 使用命令来删除远端分支: 如果远端分支发生改变, 需要通过git pull来获取远端最新分支,如下图,就可以看到获取到了最新分支: 查看本地分支和…

springboot+vue新闻稿件java在线投稿管理系统

本文介绍了新闻稿件管理系统的开发全过程。通过分析新闻稿件管理系统管理的不足,创建了一个计算机管理新闻稿件管理系统的方案。文章介绍了新闻稿件管理系统的系统分析部分,包括可行性分析等,系统设计部分主要介绍了系统功能设计和数据库设计…

数据库整理

文章目录 1、将Excel转换为CSV1.1 代码 2、将CSV文件的数据追加到另一个CSV文件2.1 代码 3 、另外的发现 背景:在数据库里面导出来一批excel文件,现在需要将这些数据进行合并为csv文件 分两步: 1、将Excel转换为CSV 参考:用Pytho…

如何使用宝塔面板搭建网站(搭建宝塔页面)

书接上回,咱们已经搭建好咱们的Linux服务器,接下来改是搭建宝塔页面的教程了。 这里我们需要一个域名,自行去各家云服务器购买域名(例如:腾讯云,阿里云,华为云等等) 购买一个域名之…

FPGA纯vhdl实现XGMII接口10G万兆网UDP协议DMA传输 配合10G Ethernet PCS/PMA使用 提供工程源码和技术支持

目录 1、前言2、我这里已有的UDP方案3、详细设计方案传统UDP网络通信方案本方案详细设计说明DMA和BRAMAXIS-FIFO10G-UDP协议栈10G Ethernet PCS/PMA IP核输出 4、vivado工程详解Block Design设计SDK设计 5、上板调试验证并演示6、福利:工程代码的获取 1、前言 目前…

【ChatGPT】开发人员教程:38 种提高 10 倍工作效率的方法(附Youtube视频地址)...

1. 推荐3本顶级的学习xx的书籍 2. 询问细节:“Head first Java”的主要内容是什么?What are the key takeaways from "Head first Java"? 3. 我如何成为一名前端开发人员?How do I become a front-end developer? (英…