MySQL 优化总结

news2024/11/26 16:52:44

目标知识

MySQL执行流程图

MySQL 优化成本路线图

  • 优化成本:硬件>系统配置>数据库表结构>SQL及索引。
  • 优化效果:硬件<系统配置<数据库表结构<SQL及索引。

MySQL 五大优化原则

  • 减少数据返回:设置合理字段数据类型、启用压缩(1、MySQL客户端和MySQL服务器传输数据量太大,需要进行压缩减少带宽。2、MySQL 某几张表太大,需要将表压缩减少磁盘空间占用。3、MySQL表中特定字段过大,需要针对特定字段压缩。)、通过索引访问等方式减少磁盘IO。
  • 返回更少数据:返回业务所需要字段、设置数据分页以减少磁盘IO和网络IO。
  • 减少交互次数:批量执行DML操作/增删改查、使用自定义函数和存储过程以减少与MySQL服务器交互。
  • 减少MySQL服务器CPU开销:尽量避免数据库表的排序操作以及全表扫描查询,减少MySQL 服务器CPU和内存占用。
  • 拓展资源:使用分表操作、分库分表操作、增加并行操作,最大程度使用CPU资源。

总结来说:

  1. 查询尽量命中索引
  2. 尽量避免全部扫描
  3. 移除无效字段查询

select 语句执行顺序

select 语法格式

SELECT
DISTINCT <select_list>
FROM <left_table>
<join_type> JOIN <right_table>
ON <join_condition>
WHERE <where_condition>
GROUP BY <group_by_list>
HAVING <having_condition>
ORDER BY <order_by_condition>
LIMIT <limit_number>

执行顺序

FROM<表名> # 选取表,将多个表数据通过笛卡尔积变成一个表。

ON<筛选条件> # 对笛卡尔积的虚表进行筛选

JOIN <join, left join, right join...>

<join表> # 指定join,用于添加数据到on之后的虚表中,例如left join会将左表的剩余数据添加到虚表中

WHERE<where条件> # 对上述虚表进行筛选

GROUP BY<分组条件> # 分组

HAVING<分组筛选> # 对分组后的结果进行聚合筛选,<SUM()等聚合函数> # 用于having子句进行判断,在书写上这类聚合函数是写在having判断里面的

SELECT<返回数据列表> # 返回的单列必须在group by子句中,聚合函数除外

DISTINCT数据除重

ORDER BY<排序条件> # 排序

LIMIT<行数限制>

SQL 优化策略实战

温馨提示:SQL优化策略适用于查询数据量较大或单表数据量较大的场景下,如果数据量较小,没必要以此为准。

1、避免不走索引场景 

避免在字段开头模糊查询,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

select * from t_user t where t.name like '%周%' 

优化建议:尽量在字段后面使用模糊查询

select * from t_user t where t.name like '周%'

优化建议和解释如下:

  1. 将 %周% 改为 '周%':在 SQL 查询中,尽量避免使用 % 作为 LIKE 操作符的开头,这样会导致数据库无法使用索引,强制数据库做全表扫描,影响查询性能。将 %周% 改为 '周%' 可以有效利用索引,提高查询性能。

  2. 添加索引:如果表 t_user 的 name 字段没有索引,可以考虑为 name 字段添加索引,从而加快 LIKE 操作的性能。在此案例中,由于 WHERE 子句中对 name 字段进行了模糊查询,添加索引可以显著提升查询性能。

尽量避免使用in 和not in,会导致引擎走全表扫描。

示例如下:

select * from t_user t where t.id in (1, 2)

优化一建议:使用or 查询替换in 查询

select * from t_user t where t.id = 1 or t.id = 2

优化建议和解释:

原始的 SQL 查询语句使用了 IN 子句来查询指定的 id,而优化后的 SQL 查询语句使用 OR 来连接多个 id 的条件,这样数据库在执行查询时可以更有效地利用索引。

使用 OR 来连接多个 id 的条件可以让数据库优化器更好地进行索引选择,避免了 IN 子句可能导致的全表扫描。此外,OR 连接条件时也可以让优化器更好地使用联合索引。

因此,将 IN 子句替换为 OR 来连接多个条件是一个简单却有效的 SQL 查询优化方法。

优化二建议:如果是连续性数字,可以考虑使用between *** and 代替

select * from t_user t where t.id between 1  and 2

示例如下:

select * from t_user t where t.orgId in (select id from t_org o where o.isDelete = 1)

优化一建议:使用内联查询替换in 查询

select t.* from t_user t 
join t_org o on t.orgId = o.id 
where o.isDelete = 1

优化建议和解释:

  1. 原查询中使用了子查询来获取符合条件的 orgId,这样的写法会导致多次查询数据库,效率较低。我们可以通过使用 JOIN 来连接 t_user 表和 t_org 表来实现同样的功能,避免重复查询。
  2. 使用 JOIN 来连接两个表,可以利用索引来加速查询。在这个情况下,我们可以为 t_org 表的 isDelete 字段创建索引,这样在执行 JOIN 操作时能够更快地定位符合条件的数据。
  3. 尽量避免在查询条件中使用函数或者子查询,这样会增加查询的复杂度和开销,影响查询性能。通过将条件拆分成简单的等值条件,可以提高查询效率。

优化二建议:使用existe 函数 替换 in 查询

select * from t_user t where exists (select 1 from t_org o where o.id = t.orgId and o.isDelete = 1)

尽量避免使用 or,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t WHERE id = 1 OR id = 3

优化建议:使用union 代替or

SELECT * FROM t WHERE id = 1
   UNION
SELECT * FROM t WHERE id = 3

尽量避免进行null值的判断,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t WHERE t.phone is null

优化建议:给字段添加默认值'',对字段取值=''进行判断。

SELECT * FROM t WHERE t.phone =''

尽量避免在where条件中等号的左侧进行表达式、函数操作,会导致数据库引擎放弃索引进行全表扫描。

示例如下:

SELECT * FROM t_score t WHERE t.score/10 = 9

优化建议:左侧表达式运算移动至右侧

SELECT * FROM t_score t WHERE t.score = 10*9

当数据量大时,避免使用where 1=1的条件。通常为了方便拼装查询条件,我们会默认使用该条件,数据库引擎会放弃索引进行全表扫描。

示例如下:

SELECT username, age, sex FROM t_user WHERE 1=1

优化建议:代码拼装sql时进行判断,没 where 条件就去掉 where 1= 1,有where条件就加 and。

SELECT username, age, sex FROM t_use

查询条件不能用 <> 或者 !=

示例如下:

SELECT username, age, sex FROM T WHERE  t.id != 1

优化建议:使用大于(>)操作符替换!=

SELECT username, age, sex FROM T WHERE  t.id > 1

优化建议和解释如下:

  1. 尽量避免在 WHERE 子句中使用不等于(!=)操作符,因为对不等于操作符的查询往往需要进行全表扫描,性能较差。改为使用大于(>)操作符可以更好地利用索引。

示例如下:

SELECT username, age, sex FROM T WHERE  t.username != 'root'

优化建议和解释如下:

  1. 考虑给关联字段(在本例中是 username 字段)添加索引:确保表 T 的 id 字段上有索引,可以加快查询速度。

where条件仅包含复合索引非前置列

示例:复合(联合)索引包含key_part1,key_part2,key_part3三列,但SQL语句没有包含索引前置列"key_part1",按照MySQL联合索引的最左匹配原则,不会走联合索引。

select * from table where key_part2=1 and key_part3=2

隐式类型转换造成不使用索引

SQL语句由于索引对列类型为varchar,但给定的值为数值,涉及隐式类型转换,造成不能正确走索引。

select * from table where col_varchar=123; 

order by 条件要与where中条件一致,否则order by不会利用索引进行排序

-- 不走age索引
SELECT * FROM t order by age;
 
-- 走age索引
SELECT * FROM t where age > 0 order by age;

正确使用hint优化语句

MySQL中可以使用hint指定优化器在执行时选择或忽略特定的索引。

  • use index 在你查询语句中表名的后面,添加 USE INDEX 来提供希望 MySQL 去参考的索引列表,就可以让 MySQL 不再考虑其他可用的索引。例子: SELECT col1 FROM table use index (mod_time, name)...
  • ignore index 如果只是单纯的想让 MySQL 忽略一个或者多个索引,可以使用 IGNORE INDEX 作为 Hint。例子: SELECT col1 FROM table ignore index (priority) ...
  • force index 为强制 MySQL 使用一个特定的索引,可在查询中使用FORCE INDEX 作为Hint。例子: SELECT col1 FROM table FORCE INDEX (mod_time)

SELECT语句其他优化

避免出现select * 

避免出现不确定结果的函数

特别是针对主从复制这类业务场景,由于原理上从库复制的是主库执行的语句,使用如now()、rand()、sysdate()、current_user()等不确定结果的函数很容易导致主库与从库相应的数据不一致。

多表关联查询时,小表在前,大表在后。

在MySQL中,执行 from 后的表关联查询是从左往右执行的(Oracle相反),第一张表会涉及到全表扫描,所以将小表放在前面,先扫小表,扫描快效率较高,在扫描后面的大表,或许只扫描大表的前100行就符合返回条件并return了。

示例:表1有1000条数据,表2有500万条数据;如果全表扫描表2,SQL会提示超时异常。

使用表的别名

当在SQL语句中连接多个表时,请使用表的别名并把别名前缀于每个列名上。减少列名歧义引起的语法错误。

调整Where字句中的连接顺序

MySQL采用从左往右,自上而下的顺序解析where子句。根据这个原理,应将过滤数据多的条件往前放,最快速度缩小结果集。

DML /增删改查语句优化

大批量数据插入

如果同时执行大量的插入,建议使用批量插入INSERT语句,这比循环插入INSERT语句快,性能提示主要体现减少与MySQL 服务器交互次数。

避免重复查询更新的数据

在实际业务开发中经常出现的更新行同时又希望获得改行信息的需求,MySQL并不支持PostgreSQL那样的update teturning语法,在MySQL中可以通过变量实现。

示例如下:更新一行记录的时间戳,同时希望查询当前记录中存放的时间戳。

Update t set time=now() where id=1; 
 
Select time from t where id =1; 

优化建议:使用MySQL变量,重写上述功能

Update t set time=now () where id =1 and @now: = now (); 
 
Select @now;

前后二者都需要两次网络来回,但使用变量避免了再次访问数据表,特别是当t表数据量较大时,后者比前者快很多。

查询优先还是更新(insert、update、delete)优先

MySQL 允许改变语句调度优先级,它可以使来自多个客户端的查询更好地协作,这样单个客户端就不会由于锁定而等待很长时间。改变优先级还可以确保特定类型的查询被处理得更快。我们首先应该确定应用的类型,判断应用是以查询为主还是以更新为主的,是确保查询效率还是确保更新的效率,决定是查询优先还是更新优先。下面我们提到的改变调度策略的方法主要是针对只存在表锁的存储引擎,比如 MyISAM 、MEMROY、MERGE,对于Innodb 存储引擎语句的执行是由获得行锁的顺序决定的。MySQL 的默认的调度策略可用总结如下:

  1. 写入操作优先于读取操作。
  2. 对某张数据表的写入操作某一时刻只能发生一次,写入请求按照它们到达的次序来处理。
  3. 对某张数据表的多个读取操作可以同时地进行。MySQL 提供了几个语句调节符,允许你修改它的调度策略
  • LOW_PRIORITY关键字应用于DELETE、INSERT、LOAD DATA、REPLACE和UPDATE;
  • HIGH_PRIORITY关键字应用于SELECT和INSERT语句;
  • DELAYED关键字应用于INSERT和REPLACE语句。

如果写入操作是一个 LOW_PRIORITY(低优先级)请求,那么系统就不会认为它的优先级高于读取操作。在这种情况下,如果写入者在等待的时候,第二个读取者到达了,那么就允许第二个读取者插到写入者之前。只有在没有其它的读取者的时候,才允许写入者开始操作。这种调度修改可能存在 LOW_PRIORITY写入操作永远被阻塞的情况。

SELECT 查询的HIGH_PRIORITY(高优先级)关键字也类似。它允许SELECT 插入正在等待的写入操作之前,即使在正常情况下写入操作的优先级更高。另外一种影响是,高优先级的 SELECT 在正常的 SELECT 语句之前执行,因为这些语句会被写入操作阻塞。如果希望所有支持

LOW_PRIORITY 选项的语句都默认地按照低优先级来处理,那么 请使用--low-priority-updates 选项来启动服务器。通过使用 INSERTHIGH_PRIORITY 来把 INSERT 语句提高到正常的写入优先级,可以消除该选项对单个INSERT语句的影响。

查询条件优化

对于复杂的查询,使用中间临时表暂存数据

优化group by语句

默认情况下,MySQL 会对GROUP BY分组的所有值进行排序,如 “GROUP BY 字段1,字段2,....;” MySQL 同时开启隐藏排序,如 “ORDER BY 字段1,字段2,...;”

查询如果包括 GROUP BY 但你并不想对分组的值进行排序,你可以指定 ORDER BY NULL禁止排序。示例如下:

SELECT 字段1, 字段2, COUNT(*) FROM table GROUP BY  字段1, 字段2 ORDER BY NULL ;

优化join语句

MySQL中通过子查询使用 SELECT 语句来实现一个单列的查询结果,然后把这个结果作为过滤条件用在另一个查询中。使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的 SQL 操作,同时也可以避免事务或者表锁死,并且写起来也很容易。但是,有些情况下,子查询可以被更有效率的连接(JOIN)替代。

示例如下:

select * from t_user t where t.orgId in (select id from t_org o where o.isDelete = 1)

优化一建议:使用内联查询替换in 查询

select t.* from t_user t 
join t_org o on t.orgId = o.id 
where o.isDelete = 1

优化union查询

MySQL通过创建并填充临时表的方式来执行union查询。除非确实要消除重复的行,否则建议使用union all。原因在于如果没有all这个关键词,MySQL会给临时表加上distinct选项,这会导致对整个临时表的数据做唯一性校验,这样做的消耗相当高。

示例如下:

select id, name, age t where t.id= 1
union
select id, name, age b where b.id= 2

优化建议:

select id, name, age t where t.id= 1
union all
select id, name, age b where b.id= 2

拆分复杂SQL为多个小SQL,避免大事务

  • 简单的SQL容易使用到MySQL的QUERY CACHE;
  • 减少锁表时间特别是使用MyISAM存储引擎的表;
  • 可以使用多核CPU。

使用truncate代替delete

当删除全表中记录时,使用delete语句的操作会被记录到undo块中,删除记录也记录binlog,当确认需要删除全表时,会产生很大量的binlog并占用大量的undo数据块,此时既没有很好的效率也占用了大量的资源。

使用truncate替代,不会记录可恢复的信息,数据不能被恢复。也因此使用truncate操作有其极少的资源占用与极快的时间。另外,使用truncate可以回收表的水位,使自增字段值归零。

使用合理的分页方式以提高分页效率

使用合理的分页方式以提高分页效率 针对展现等分页需求,合适的分页方式能够提高分页的效率。

select * from t 
where id = 10000 and is_deleted = 0 
order by create_time asc 
limit 0, 15

该种写法缺陷:越翻到后面执行效率越差,时间越长,尤其表数据量很大的时候。

优化建议:

select t.* from (select id from t where t.id = 10000 and t.is_deleted = 0
   order by t.create_time asc limit 0, 15) a, t 
      where a.id = t.id;

建表优化

  • 在表中建立索引,优先考虑where、order by使用到的字段。
  • 尽量使用数字型字段(如性别,男:1 女:2),若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。
  • 查询数据量大的表 会造成查询缓慢。可以通过合理分页查询来解决。
  • 用varchar/nvarchar 代替 char/nchar

       尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1582485.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深入理解LRU缓存算法:原理、应用与优化

LRU算法&#xff08;Least Recently Used&#xff0c;最近最少使用算法&#xff09;的思想是基于"时间局部性"原理&#xff0c;即在一段时间内&#xff0c;被访问过的数据在未来仍然会被频繁访问的概率较高。 LRU 原理 LRU算法的主要思想是将最近被使用的数据保留在…

【小程序】常用方法、知识点汇总1

欢迎来到《小5讲堂》 这是《小程序》系列文章&#xff0c;每篇文章将以博主理解的角度展开讲解&#xff0c; 温馨提示&#xff1a;博主能力有限&#xff0c;理解水平有限&#xff0c;若有不对之处望指正&#xff01; 目录 前言请求超时Markdown解析逐行显示效果文本变动事件转发…

Vue-Router入门

现在的前后端分离项目&#xff0c;后端只管数据传递&#xff0c;视图跳转的活交由前端来干了&#xff0c;vue-router就是专门来干这个活的&#xff0c;它可以让页面跳转到指定组件 组件是可复用的 Vue 实例, 把一些公共的模块抽取出来&#xff0c;然后写成单独的的工具组件或者…

Live800:理解、调节与管理客户情绪,提升客户满意度

在企业与客户的交互过程中&#xff0c;客户情绪的管理是至关重要的。一个成功的企业不仅要提供优质的产品或服务&#xff0c;还需要关注和理解客户的情绪&#xff0c;有效地调节和管理客户的情绪&#xff0c;以提升客户满意度。文章从三个方面进行深入探讨&#xff1a;理解客户…

Netty的基本架构与组件

Netty实战精髓 前言 Netty的组成部分 1、Channel 2、Callback 3、Future ChannelFuture 提供多个附件方法来允许一个或者多个 ChannelFutureListener 实例&#xff0c;这个回调方法 operationComplete() 会在操作完成时调用。 4、Event和Handler 5、EventLOOP Netty 通过触发…

Mysql底层原理十:Redo log

3.7 Redo log Redo log记录的是物理日志&#xff0c;具体就是哪个表空间&#xff0c;哪个数据页&#xff0c;哪个偏移量&#xff0c;改了几个字节&#xff0c;改成什么表空间号数据页号偏移量修改几个字节的值具体的值 3.7.1 Redo block &#xff08;批处理缓存&#xff09;…

基于SSM+Jsp+Mysql的物流管理系统

开发语言&#xff1a;Java框架&#xff1a;ssm技术&#xff1a;JSPJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包…

44.网络游戏逆向分析与漏洞攻防-角色管理功能通信分析-角色创建服务器反馈数据包分析

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 如果看不懂、不知道现在做的什么&#xff0c;那就跟着做完看效果 现在的代码都是依据数据包来写的&#xff0c;如果看不懂代码&#xff0c;就说明没看懂数据包…

程序员必须要知道的一个在线专业书网站

网站&#xff1a; https://awesome-programming-books.github.io/ https://git-scm.com/book/zh/v2 截图如下&#xff0c;可以看到&#xff0c;里面有很多数&#xff0c;可以在线看&#xff0c;免得去到处找了。

TCP挥手中TIME_WAIT存在的原因

四次挥手的一般过程如图所示&#xff1a; 在客户端收到FIN结束报文的时候不是立刻进入CLOSED状态&#xff0c;而是进入TIME_WAIT状态&#xff0c;一般等2MLS后进入关闭状态。 原因&#xff1a; 1.可靠地终止 TCP 连接。 2.保证让迟来的 TCP报文段有足够的时间被识别并丢弃。 …

求三角形面积(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h> # include <math.h>int main() {//初始化变量值&#xff1b;double a, b, c, s, area;//赋值&#xff1b;a 3.67;b 5.43;c 6.21;//运算求s&#xff1b…

【Linux系统】进程状态

1.直接谈论Linux的进程状态 Linux进程状态本质上是task_struct这个结构体内的一个变量用来存储进程状态。 task_struct { //内部的一个属性 int status; } R运行状态&#xff08;running&#xff09;: 并不意味着进程一定在运行中&#xff0c;它表明进程要么是在运行中要么在运…

月子会所ERP管理云平台 StarryQuoteEdit.aspx SQL注入漏洞复现

0x01 产品简介 月子会所ERP管理云平台是武汉金同方科技有限公司专为为母婴服务行业提供信息化解决方案,是结合行业顶级月子中心相关企业需求开发的一套综合性管理软件。该系统全面管控月子中心经营过程中的各个环节,提高总店及分店月子中心管理水平,规范月子中心从业人员操作…

达梦的归档日志参数ARCH_RESERVE_TIME测试

达梦的参数ARCH_RESERVE_TIME测试 前面有提到和oracle相比&#xff0c;达梦的归档日志相关参数有个比较特别&#xff0c;可以通过设置它去规定归档日志的保留时间。 ARCH_RESERVE_TIME&#xff1a;归档日志保留时间&#xff0c;单位分钟&#xff0c;取值范围 0~2147483647。只…

SQL 注入之 Windows/Docker 环境 SQLi-labs 靶场搭建!

在安全测试领域&#xff0c;SQL注入是一种常见的攻击方式&#xff0c;通过应用程序的输入执行恶意SQL查询&#xff0c;从而绕过认证和授权&#xff0c;可以窃取、篡改或破坏数据库中的数据。作为安全测试学习者&#xff0c;如果你要练习SQL注入&#xff0c;在未授权情况下直接去…

GmSSL-3.1.1编译

1.源码下载&#xff1a; 下载地址&#xff1a;https://github.com/guanzhi/GmSSL/releases选择对应版本下载。 ​ 2.选择要下载的源码包&#xff1a; ​ 2.编译&#xff1a; 2.1 windows编译&#xff1a;打开vs命令行&#xff0c;选择想要编译的版本&#xff0c;x86或x64…

leetcode73 矩阵置零

题目描述 给定一个 m x n 的矩阵&#xff0c;如果一个元素为 0 &#xff0c;则将其所在行和列的所有元素都设为 0 。请使用原地算法。 输入&#xff1a;matrix [[1,1,1],[1,0,1],[1,1,1]] 输出&#xff1a;[[1,0,1],[0,0,0],[1,0,1]] 输入&#xff1a;matrix [[0,1,2,0],[3,4…

电脑远程控制esp32上的LED

1、思路整理 首先esp32需要连接上wifi 然后创建udp socket 接受udp数据 最后解析数据&#xff0c;控制LED 2、micropython代码实现 import network from socket import * from machine import Pin p2Pin(2,Pin.OUT)def do_connect(): #连接wifi wlan network.WLAN(network.…

linux fixmap分析

本文基于Linux-4.19.125&#xff0c; ARM V7&#xff0c;dual core, MMU采用2级页表&#xff08;未开启LPAE&#xff09;。 1 为什么需要fixmap Linux内核启动过程中&#xff0c;经过汇编阶段后&#xff0c;mmu功能已经开启&#xff0c;后续只能通过虚拟地址来访问DDR&#x…

如何通过VPN访问内网?

VPN&#xff08;Virtual Private Network&#xff09;是一种通过公共网络建立私有网络连接的技术&#xff0c;可以在不同地点的网络中建立安全通道&#xff0c;实现远程访问内网资源的目的。本文将介绍如何通过VPN访问内网&#xff0c;并介绍一款名为“天联”的VPN服务。 什么是…