慢sql优化和Explain解析

news2024/11/25 4:44:27

要想程序跑的快,sql优化不可懈怠!今日来总结一下常用的慢sql的分析和优化的方法。

1、慢sql的执行分析:

大家都知道分析一个sql语句执行效率的方法是用explain关键词:
举例:sql:select * from test where bussiness_date =‘2024-10-30’;
分析: explain select * from test where bussiness_date =‘2024-10-30’;
分析执行结果:
在这里插入图片描述
给business_date 加上一个索引,索引名称:test_bussiness_date_IDX
再执行分析:
在这里插入图片描述
对照着这两个分析结果下边来说下每一列都是什么意思

id:

在一个大的查询语句中,每个select关键字都对应一个id,代表多个表之间的查询顺序,或者包含子查询语句中的顺序,id顺序分为3中情况:
(1)id相同,执行顺序从上到下(因为小编举例都是单表,所以分析结果只有一行数据,如果sql中包括子查询或者多表联查,分析结果会有多行,感兴趣读者可以试试)
(2)id不同,如果是子查询,id值会递增,执行顺序是从大到小的。id越大优先级越高,越先被执行。
(3)id相同和不同的同时存在,此时id相同的为一组,id越大越优先执行,组内id相同,从上到下依次执行(比较复杂的sql会出现这种情况)。

select_type

select关键字对应的查询类型,示例中的 SIMPLE 表示简单子查询。不光这一种类型:具体类型解释如下:
(1)simple 简单子查询
(2)primary 最外层子查询
(3)subquery 第一层子查询,再select 或者where中包含了子查询。
(4)derived 派生表 再from中包含的子查询,会被标记为衍生查询,会把查询结果放到一个临时表中。
(5)union 出现在union后面的查询
(6)union result union联合查询获取结果的select,如果有两个select查询语句,他们之间用union连接起来查询,那么第二个select会被标记为union,union的结果被标记为union result。

table

表名,表示这一行的数据是那个表的,如果有别名,会显示别名。

partitions

访问的分区表信息。

type(优化重要信息字段)

针对单表的访问方法,一般来说保证查询至少达到range级别,最好达到ref。type其他类型详解:
性能从好–>差:依次是 system->const->eq_ref->ref->range->index->all.
如果出现index或者all就需要优化了,以下对每个值做详细的解释:
(1)system:表中只有一行记录,system是const的特例,几乎不会出现这种情况,可以忽略不计。
(2)const: 将主键索引或者唯一索引放到where条件中查询,mqsql可以将查询条件转变成一个常量,只匹配一行数据,索引依次就找到数据了。
(3)eq_ref: 同ref差不多,但返回结果只有一条记录。
(4)ref:不是主键索引,也不是唯一索引,就是普通的索引,可能会返回多个符合条件的行。
(5)range:只用一个索引来选择行,key列显示所用的索引名称。
(6)index:也是读取全表,但是是从索引中读取。
(7)all:全表查询,从磁盘中读取。效率最差。

possible_keys

可能用到的索引,查询中涉及字段上若存在索引,则会被列出来,表示可能用到的索引,但是并不是实际上一定会用到的索引。

key

实际用到的索引。

key_len

表示索引中使用的字节数。通过该属性可以知道在查询中使用的索引长度,这个长度是最大可能长度,并非实际使用长度,在不损失准确性的情况下,长度越短查询效率越高。

ref

关联id等信息。当使用索引列等值查询时,与索引列进行等值匹配的对象信息。

rows:

预估的需要读取的记录条数。根据表信息统计及索引的使用情况,大致估算找到所需记录需要读取的行数,row越小越好。

filtered

查到到所需记录占总扫描记录数的比例。

Extra(优化重要信息字段)

Extra:一些额外的信息。
当此字段中出现以下的两个值时,意味着mqSql根本不能使用索引,效率会收到重大影响,要尽可能的对此进行优化。
Using fileSort(使用文件排序) 和 Using temporary(使用临时表)
下面对每个值进行详细的解释:
(1)Using index:使用了覆盖索引,避免访问了表的数据行,效率不错。如果同时出现了Using where,表明索引被用来执行索引键值的查找;如果没有同时出现Using where表明索引用来读取数据而非执行查找动作。
索引覆盖有两种理解方式:(1)就是select的数据列,只用从索引中就能取得,不必读取数据行,Mqsql可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件,换句话说也就是查询列要被所建的索引列覆盖。(2)索引是高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此它不必读取整个行,毕竟索引叶子节点存储了他们索引的数据;当然通过读取索引就可以得到想要的数据,那就不需要读取行了,一个索引包含了满足查询结果的数据就叫做覆盖索引。
(2)Using index condition:用了条件索引(索引下推)
(3)Using where:从索引查出来数据后继续使用where条件过滤。
(4)Using join buffer(Block Nested Loop):join的时候利用了join buffer(优化方法:去掉外连接,增大join buffer的大小)
(5)Using fileSort(重点优化):用了文件排序,俗称“文件排序”,排序的时候没有用到索引,在数据量大的时候几乎是“九死一生”,在order by 或者group by过程中,order by的字段不是索引字段,或者select查询字段存在不是索引字段,或者select 查询字段都是索引字段,但是order by的字段顺序和select的索引字段的顺序不一致,都会导致fileSort。
(6)Using temporary(重点优化):用了临时表保存中间结果,常见于order by和group by中(优化方法:增加条件以减少结果集、怎讲索引,总之就是:要么减少待排序的数量,要么提前排好序)
(7)Start temporary,End temporary:子查询的时候,可以优化成半连接,但是使用的是通过临时表来去重。
(8)FirstMatch(tb1_name):子查询的时候,可以优化成半连接,但是使用的是直接进行数据比较来去重。
(9)impossible where:表示where子句的值总是false,不能用来获取任何元素。
(10)select tables optimized away 在没有group by 子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化Count(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。
(11)distinct:优化distinct,在找到第一匹配的元组后即停止找同样值的工作。

2、常见的慢sql优化手段:

(1)select * 语句减少使用,会增加很多不必要的消耗(cpu,io,内存,网络带宽等)可以在select语句后指明具体的字段名称,增加了使用覆盖索引的可能性;
(2)排序时注意是否能用到索引,确保order by和group by涉及的列上有索引,尽量减少排序和分组操作的数据量。
(3)使用like模糊查询的时候,尽量使用最左匹配模式,即like ‘abc%’,这样可以使用索引。
(4)避免对where语句中字段使用函数或运算,会导致索引失效(高版本的mysql数据库,函数也可以使用索引)
(5) 在多条件查询的时候,最好创建联合索引,因为多个单列索引在多条件查询时,一般只会生效一个索引,mysql会选择其中一个限制最为严格的作为索引。
(6)对于联合索引,要遵守最左前缀法则(使用联合索引的一部分字段时需要考虑最左原则,否则会失效,如果使用全部字段就不需要考虑了,不会失效)
(7)使用合理的分页方式,以提高分页的效率。
(8)使用limit限制返回的行数,如只需要一条数据使用limit 1;
(9)对大表进行分区,可根据时间、范围、哈希等方式分区,查询时只扫描相关分区,减少不必要的数据扫描。
(10)避免使用临时表
(11)优化联合查询,在联合查询中尽量能使用UNION ALL。UNION会去除重复的记录,需要额外的排序和去重操作,性能较差。UNION ALL直接合并结果集,不进行去重,性能更好。如果业务逻辑允许,邮箱使用UNION。
(12)拆分大字段,将包含大字段(如:BLOB,TEXT)的表进行拆分,将大字段放在单独的表中,已减少主表的存储开销和查询压力。
(13)读写分离,将读操作和写操作分离,通过主从复制实现读写分离,减少主库压力,提高读写性能。
(14)根据业务需求,从业务逻辑入手,优化查询需求和频率,避免不必要的频繁查询。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2229539.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java后端面试内容总结

先讲项目背景,再讲技术栈模块划分, 讲业务的时候可以先讲一般再特殊 为什么用这个,好处是什么,应用场景 Debug发现问题/日志发现问题. QPS TPS 项目单元测试,代码的变更覆盖率达到80%,项目的复用性高…

【10月】新款3DMAX插件排行榜

根据近期的行业动态和插件发布情况,整理并推荐一些在10月或近期内受到关注的3DMAX新款插件。 1. MaxToCAD插件 功能特点:允许用户将3D MAX中的三维模型快速转换为CAD软件可识别的二维平面图,适用于需要将3D设计导出为施工图或平面图的设计师…

【数据结构与算法】第7课—数据结构之队列

文章目录 1. 队列1.1 什么是队列1.2 队列的结构1.3 队列初始化1.4 队列入栈1.5 出队列1.6 查找队列有效元素个数1.7 取队头和队尾数据1.8 销毁链表 2. 用两个队列实现栈3. 用两个栈实现队列4. 循环队列 1. 队列 注:文中Queue是队列,Quene是错误写法 1.1 …

window快捷键:window + v 打开剪切板历史记录 / 非常实用

一、剪切板历史记录功能介绍 1.1、window v 打开剪切板历史记录 / 文字、图片都可记录 1.2、window v 最近使用 1.3、window v 表情符号 1.4、window v GIF 1.5、window v 颜文字 1.6、window v 符号 二、欢迎交流指正

手机功耗异常大数据看板建设

一、背景 基于《软件绿色联盟应用体验标准—功耗标准》监控软硬件资源功耗异常类别与趋势 上述为手机功耗问题的前世今生及我们应该在哪些维度建立功耗的埋点监控支持分析​ 二、目标 手机端侧建立alarm\wakelock\wakeup\gps\bt\cpu\sensor\netTriffic等功耗相关的使用次数和时…

多彩电子显示屏

在仓储管理的广阔舞台上,一款名为“仓库46代”的创新标签悄然登场,它不仅是技术的飞跃,更是智慧仓储的新篇章。这款标签,以其独特的515.6x260x29mm身材,优雅地融入了繁忙的仓库环境,其沉稳的黑色外观&#…

sklearn|机器学习:决策树(一)

文章目录 sklearn|机器学习:决策树(一)(一)概述(二)实战1. 环境配置2. sklearn 中的决策树(1)模块 sklearn.tree(2)sklearn 基本建模流…

服务器Linux系统网络重启失败 Restarting network (via systemctl):......

网络重启时报错: Linux 网络服务重启失败可能由网络配置工具冲突或配置错误引起。 冲突问题:在 Linux 中,network 和 NetworkManager 这两个工具可能会冲突,禁用 NetworkManager 可以尝试解决该问题。 先停止服务 systemctl s…

域控操作二十四:主域故障辅域接替

模拟环境:上海DC1故障无法开机,导致只有一个DNS的电脑无法上网(实际可以添加DC2但是为了实验就不说了) FSMO还在DC1上 使用powershell把角色迁移到DC2 ntdsutil roles connections connect to server DC2SHA.whbk.cn quitSeize …

边缘AI计算技术应用-实训解决方案

一、解决方案架构 1.1 来自产业的项目 实训项目全部是基于产业的商业化项目,经过角色拆解、任务拆解、代码拆解、部署流程拆解等过程,讲其标准化为教师可以带领学生完成的实训内容,真正帮助学生接触产业前沿技术和工作内容,提升就…

贪心算法习题其二【力扣】【算法学习day.18】

前言 ###我做这类文档一个重要的目的还是给正在学习的大家提供方向(例如想要掌握基础用法,该刷哪些题?)我的解析也不会做的非常详细,只会提供思路和一些关键点,力扣上的大佬们的题解质量是非常非常高滴&am…

【Axure原型分享】颜色选择器——填充颜色

今天和大家分享颜色选择器——填充颜色的原型模板,点击颜色区域可以弹出颜色选择器,点击可以选择对应颜色,颜色区域会变色我们选择的颜色,具体效果可以观看下方视频或者打开预览地址体验。 【原型效果】 【Axure高保真原型】颜色…

SQL实战训练之,力扣:1843. 可疑银行账户

目录 一、力扣原题链接 二、题目描述 三、建表语句 四、题目分析 五、SQL解答 六、最终答案 七、验证 八、知识点 一、力扣原题链接 1843. 可疑银行账户 二、题目描述 表: Accounts ---------------------- | Column Name | Type | ---------------------- | acco…

软件系统交付阶段必备文档,验收体系配套资料,软件系统各阶段各步骤相关配套资料,各类软件建设方案(word,ppt)

软件文档交付清单是指在软件开发项目完成后,开发团队需要准备的一份详细清单,用于确保交付的软件产品符合客户需求并达到预期的质量标准。以下是软件文档交付清单中可能包含的一些关键要素 软件资料清单列表部分文档清单:工作安排任务书&…

Day07爬楼梯

假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢? class Solution {public int climbStairs(int n) {if (n 1) return 1;if (n 2) return 2;return climbStairs(n - 1) climbStairs(n - 2);} }用…

【51单片机】串口通信原理 + 使用

学习使用的开发板:STC89C52RC/LE52RC 编程软件:Keil5 烧录软件:stc-isp 开发板实图: 文章目录 串口硬件电路UART串口相关寄存器 编码单片机通过串口发送数据电脑通过串口发送数据控制LED灯 结束语 串口 串口是一种应用十分广泛…

c盘满了怎么清理垃圾而不误删?6招轻松清理C盘,快来试试

c盘满了怎么清理垃圾而不误删?相信平时工作生活中离不开电脑,随着使用电脑时间就了,C 盘的空间会不断被占据,进而致使系统运行变得迟缓,甚至出现卡顿现象。因此,定期清理 C 盘的是非常重要的。很多电脑小白…

Android 托管 Github Action 发布 Github Packages ,实现 Mvn 免费自动化托管

自从多年前 JCenter 关闭服务之后,GSY 项目版本就一直发布在 Jitpack 上,如今每个月也都有大概 10w 左右下载,但是近年来时不时就会出现历史版本丢失的问题,而且有时候还不是某个具体版本丢失,而是版本里的某几个依赖突…

MATLAB中pinv函数用法

目录 语法 说明 示例 使用伪逆求解线性方程组 pinv的功能是得到矩阵的Moore-Penrose 伪逆。 语法 B pinv(A) B pinv(A,tol) 说明 B pinv(A) 返回矩阵 A 的 Moore-Penrose 伪逆。 B pinv(A,tol) 指定容差的值。pinv 将 A 中小于容差的奇异值视为零。 示例 使用伪逆…

DP31 买卖股票的最好时机(二)

DP31 买卖股票的最好时机(二) import java.util.Scanner;// 注意类名必须为 Main, 不要有任何 package xxx 信息 public class Main {public static void main(String[] args) {Scanner in new Scanner(System.in);int n in.nextInt();int [] p new int[n];int sum 0;for…