[每周一更]-(第59期):31条MySQL数据库优化方案

news2024/9/20 3:05:59

在这里插入图片描述

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。

2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,

Sql 代码 : select id from t where num is null;
可以在 num 上设置默认值 0,确保表中 num 列没有 null 值,然后这样查询:
Sql 代码 : select id from t where num=0;

3.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。

4.应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,

Sql 代码 : select id from t where num=10 or num=20;
可以这样查询:
Sql 代码 : select id from t where num=10 union all select id from t where num=20;

5.in 和 not in 也要慎用,否则会导致全表扫描,如:

Sql 代码 : select id from t where num in(1,2,3);
对于连续的数值,能用 between 就不要用 in 了:
Sql 代码 : select id from t where num between 1 and 3;

6.下面的查询也将导致全表扫描:

Sql 代码 : select id from t where name like '%c%';
若要提高效率,可以考虑全文检索。

7.如果在 where 子句中使用参数,也会导致全表扫描。因为 SQL 只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

Sql 代码 : select id from t where num=@num ;
可以改为强制查询使用索引:
Sql 代码 : select id from t with(index(索引名)) where num=@num ;

8.应尽量避免在 where 子句中对字段进行表达式操作, 这将导致引擎放弃使用索引而进行全表扫描。

Sql 代码 : select id from t where num/2=100;
可以这样查询:
Sql 代码 : select id from t where num=100*2;

9.应尽量避免在 where 子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:

Sql 代码 : select id from t where substring(name,1,3)='abc';#name 以 abc 开头的 id
应改为:
Sql 代码 : select id from t where name like 'abc%';

10.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用 索引。

11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件 时才能保证系统使用该索引, 否则该索引将不会 被使用, 并且应尽可能的让字段顺序与索引顺序相一致。

12.不要写一些没有意义的查询,如需要生成一个空表结构:

Sql 代码 : select col1,col2 into #t from t where 1=0;
这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:
Sql 代码 : create table #t(…);

13.很多时候用 exists 代替 in 是一个好的选择:

Sql 代码 : select num from a where num in(select num from b);
用下面的语句替换:
Sql 代码 : select num from a where exists(select 1 from b where num=a.num);

14.并不是所有索引对查询都有效,SQL 是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL 查询可能不会去利用索引,

如一表中有字段 ***,male、female 几乎各一半,那么即使在 *** 上建了索引也对查询效率起不了作用。

15.索引并不是越多越好,

索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过 6 个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。

16.应尽可能的避免更新 clustered 索引数据列,

因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。

17.尽量使用数字型字段,

若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言 只需要比较一次就够了。

18.尽可能的使用 varchar/nvarchar 代替 char/nchar ,

因为首先变长字段存储空间小, 可以节省存储空间, 其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。

19.任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。

20.尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。

21.避免频繁创建和删除临时表,以减少系统表资源的消耗。

22.临时表并不是不可使用,适当地使用它们可以使某些例程更有效,

例如,当需要重复引用大型表或常用 表中的某个数据集时。但是,对于一次性事件, 最好使用导出表。

23.在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;

如果数据量不大,为了缓和系统表的资源,应先 create table,然后 insert.

24.如果使用到了临时表, 在存储过程的最后务必将所有的临时表显式删除, 先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。

25.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过 1 万行,那么就应该考虑改写。

26.使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更 有效。

27.与临时表一样,游标并不是不可使用。

对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。
在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。

28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF .

无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。

29.尽量避免大事务操作,提高系统并发能力。 sql 优化方法使用索引来更快地遍历表。 缺省情况下建立的索引是非群集索引,但有时它并不是最佳的。在非群集索引下,数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。一般来说:

  • a.有大量重复值、且经常有范围查询( > ,< ,> =,< =)和 order by、group by 发生的列,可考虑建立集群索引;
  • b.经常同时存取多列,且每列都含有重复值可考虑建立组合索引;
  • c.组合索引要尽量使关键查询形成索引覆盖,其前导列一定是使用最频繁的列。索引虽有助于提高性能但 不是索引越多越好,恰好相反过多的索引会导致系统低效。用户在表中每加进一个索引,维护索引集合就 要做相应的更新工作。

30.定期分析表和检查表。

分析表的语法:ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]…
以上语句用于分析和存储表的关键字分布,分析的结果将可以使得系统得到准确的统计信息,使得SQL能够生成正确的执行计划。
如果用户感觉实际执行计划并不是预期的执行计划,执行一次分析表可能会解决问题。在分析期间,使用一个读取锁定对表进行锁定。这对于MyISAM,DBD和InnoDB表有作用。
例如分析一个数据表:analyze table table_name
检查表的语法:CHECK TABLE tb1_name[,tbl_name]…[option]…option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}
检查表的作用是检查一个或多个表是否有错误,CHECK TABLE 对MyISAM 和 InnoDB表有作用,对于MyISAM表,关键字统计数据被更新
CHECK TABLE 也可以检查视图是否有错误,比如在视图定义中被引用的表不存在。

31.定期优化表。

优化表的语法:OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]…
如果删除了表的一大部分,或者如果已经对含有可变长度行的表(含有 VARCHAR、BLOB或TEXT列的表)进行更多更改,则应使用OPTIMIZE TABLE命令来进行表优化。
这个命令可以将表中的空间碎片进行合并,并且可以消除由于删除或者更新造成的空间浪费,但OPTIMIZE TABLE 命令只对MyISAM、 BDB 和InnoDB表起作用。

例如: optimize table table_name
注意: analyze、check、optimize执行期间将对表进行锁定,因此一定注意要在MySQL数据库不繁忙的时候执行相关的操作。

补充:

  • 在海量查询时尽量少用格式转换。
  • ORDER BY 和 GROPU BY:使用 ORDER BY 和 GROUP BY 短语,任何一种索引都有助于 SELECT 的性能提高。
  • 任何对列的操作都将导致表扫描,它包括数据库教程函数、计算表达式等等,查询时要尽可能将操作移 至等号右边。
  • IN、OR 子句常会使用工作表,使索引失效。如果不产生大量重复值,可以考虑把子句拆开。拆开的子 句中应该包含索引。
  • 只要能满足你的需求,应尽可能使用更小的数据类型:例如使用 MEDIUMINT 代替 INT
  • 尽量把所有的列设置为 NOT NULL,如果你要保存 NULL,手动去设置它,而不是把它设为默认值。
  • 尽量少用 VARCHAR、TEXT、BLOB 类型
  • 如果你的数据只有你所知的少量的几个。最好使用 ENUM 类型
  • 正如 graymice 所讲的那样,建立索引。
  • 合理用运分表与分区表提高数据存放和提取速度。

Delete大量数据后磁盘会存在不释放的情况

  • 问题:在业务中MySQL5.6升级5.7的过程中,目标数据硬盘量比源数据硬盘量大
    • 切换成功耗时:1h38m,迁移前数据量:127.15G,迁移后:155.04G,
    • 配置由8c2g升为4c8g,内存占比:28.41% ,升级后 55.98%
    • 索引index_size占比大(数据不断写入是会不断增加) - https://juejin.cn/post/7172521946486145055
  • 答案:
    • 容量问题:是因为并行写入产生数据空洞导致的。可以在业务允许的期间 执行 Optimize table xxx 对表的空间进行收缩(Optimize table 有产生 MDL 阻塞 的可能,执行时请评估执行时间和业务影响)。
    • 内存问题:数据库的内存是用于缓存数据的.数据不在内存时就要从磁盘中读出来缓存到内存中,这样会随着读取的数据增多,内存也会增长。RDS for MySQL 实例将内存规格的 75 % 分配给 Buffer Pool,默认情况下是分配给 InnoDB Buffer Pool;余下的 25% 内存供 其他组件 + 会话 使用。随着使用的连接数增加,实例内存使用率也会随之增加,默认每个连接占用的内存大约为4M,还有redo buffer、binlog_cache、sort_buffer 等,非业务高峰期 在90%以内都是正常的。

什么是磁盘碎片以及如何产生?

删除数据就会导致页(page)中出现空白空间,大量随机的DELETE操作,必然会在数据文件中造成不连续的空白空间。而当插入数据时,这些空白空间则会被利用起来.于是造成了数据的存储位置不连续。物理存储顺序与逻辑上的排序顺序不同,这种就是数据碎片。

  • 某一个表如果经常插入数据和删除数据,必然会产生很多未使用的空白空间,这些空白空间就是不连续的碎片,这样久而久之,这个表就会占用很大空间,但实际上表里面的记录数却很少,这样不但会浪费空间,并且查询速度也更慢。
  • InnoDB中,删除一些行,这些行只是被标记为“已删除”,而不是真的从索引中物理删除了,因而空间也没有真的被释放回收。

如何查询并清理磁盘碎片?

清理磁盘碎片可以释放表空间,提升I/O性能

查询磁盘碎片

data_free 标识磁盘碎片占有量

  • OPTIMIZE TABLE 会重组表和索引的物理存储,减少对存储空间使用和提升访问表时的IO效率。对每个表所做的确切更改取决于该表使用的存储引擎
  • OPTIMIZE TABLE的支持表类型:INNODB,MYISAM, ARCHIVE,NDB;它会重组表数据和索引的物理页,对于减少所占空间和在访问表时优化IO有效果。OPTIMIZE 操作会暂时锁住表,而且数据量越大,耗费的时间也越长。
  • OPTIMIZE TABLE后,表的变化跟存储引擎有关。
# 查询单个碎片
show table status like 'vc_exac'

# 查询information_schema.TABLES获取表的碎片化信息。
SELECT
    concat(TABLE_SCHEMA,'.',TABLE_NAME)                                         AS database_name,
    concat(TRUNCATE(SUM(DATA_LENGTH+DATA_FREE+INDEX_LENGTH)/1024/1024,2),' MB') AS total_size,
    concat(TRUNCATE(SUM(DATA_LENGTH)/1024/1024,2),' MB')                        AS data_size,
    concat(TRUNCATE(SUM(DATA_FREE)/1024/1024,2),' MB')                          AS data_free,
    concat(TRUNCATE(SUM(INDEX_LENGTH)/1024/1024,2),'MB')                        AS index_size,
ENGINE
    FROM information_schema.tables
    WHERE table_schema NOT IN ('information_schema','mysql')
    AND data_free > 0
GROUP BY
    TABLE_NAME,
    TABLE_SCHEMA,
    ENGINE
ORDER BY
    data_free DESC;

清理磁盘碎片

清理前注释事项

  • 优化表空间时,会造成表锁,需要在业务空档期处理;
  • 不建议频繁清理碎片,定时一个周期,如1周或一个月即可;

在MySQL中,可以使用OPTIMIZE TABLE、ALTER TABLE TABLE_NAME ENGINE = INNODB这两种方法降低碎片,关于这两者的简单介绍如下:

(1)optimize table table_name
对于MyISAM, PTIMIZE TABLE 的工作原理如下:

  • 如果表有已删除的行或拆分行(split rows),修复该表。
  • 如果未对索引页面进行排序,对它们进行排序。
  • 如果表的统计信息不是最新的(并且无法通过对索引进行排序来完成修复),更新它们。
    对于InnoDB而言,PTIMIZE TABLE 的工作原理如下:
    对于InnoDB表, OPTIMIZE TABLE映射到ALTER TABLE … FORCE(或者这样翻译:在InnoDB表中等价 ALTER TABLE … FORCE),
    它重建表以更新索引统计信息并释放聚簇索引中未使用的空间。当您在InnoDB表上运行时,它会显示在OPTIMIZE TABLE的输出中,如下所示:
# engine是innodb会有如下提示:
OPTIMIZE TABLE vc_exac
gvid_test.vc_exac    optimize    note    Table does not support optimize, doing recreate + analyze instead
gvid_test.vc_exac    optimize    status    OK

(2)alter table table_name engine= innodb;
其实是一个NULL操作,表面上看什么也不做,实际上重新整理碎片了,当执行优化操作时,实际执行的是一个空的 ALTER 命令,但是这个命令也会起到优化的作用,它会重建整个表,删掉未使用的空白空间.

ALTER TABLE vc_exac ENGINE = Innodb;

参考地址

  • https://www.cnblogs.com/kerrycode/p/10943122.html
  • https://juejin.cn/post/6957539185855037476
  • https://www.modb.pro/db/436190

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/898088.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

STM32单片机WIFI-APP智能温室大棚系统CO2土壤湿度空气温湿度补光

实践制作DIY- GC0161--智能温室大棚系统 基于STM32单片机设计---智能温室大棚系统 二、功能介绍&#xff1a; 电路组成&#xff1a;STM32F103CXT6最小系统LCD1602显示器DHT11空气温度湿度光敏电阻光强土壤湿度传感器SGP30二氧化碳传感器 1个继电器&#xff08;空气加湿&#x…

【C++】AVL树(平衡二叉树)

目录 一、AVL树的定义二、AVL树的作用三、AVL树的插入操作插入——平衡因子的更新插入——左单旋插入——右单旋插入——左右双旋插入——右左双旋 四、ALVL树的验证五、AVL树的性能 一、AVL树的定义 AVL树&#xff0c;全称 平衡二叉搜索&#xff08;排序&#xff09;树。 二…

TCP拥塞控制详解 | 5. 回避算法

网络传输问题本质上是对网络资源的共享和复用问题&#xff0c;因此拥塞控制是网络工程领域的核心问题之一&#xff0c;并且随着互联网和数据中心流量的爆炸式增长&#xff0c;相关算法和机制出现了很多创新&#xff0c;本系列是免费电子书《TCP Congestion Control: A Systems …

12----Emoji表情

本节我们主要讲解markdown的Emoji 在 Markdown 里使用 Emoji 表情有两种方法:一种是直接输入 Emoji 表情&#xff0c;另一种是使用 Emoji 表情短码(emoji shartcodes)。 一、打印方式&#xff1a; 直接输入 Emoji 表情&#xff1a;在 Markdown 中&#xff0c;可以直接输入 Em…

【Android】设置-显示-屏保-启用时机-默认选中“一律不“

设置-屏保-启用时机-默认选中"一律不" 解决步骤&#xff08;1&#xff09;理清思路&#xff08;2&#xff09;过程&#xff08;3&#xff09;效果图 解决步骤 &#xff08;1&#xff09;理清思路 操作步骤&#xff1a; 首先手机进入设置—》点进显示选项—》进入后…

58 | 小红书产品体验报告

小红书产品体验报告 一 、产品概况 1. 产品介绍 产品名称: 小红书 产品类型: 社区+电商产品 产品 slogan:标记我的生活 产品定位: 是生活方式分享平台,同时也是发现全球好物的电商平台。 产品简介:小红书 App,是年轻人的生活方式社区,每月有超过 2 亿人在这里分…

《强化学习原理与Python实战》揭秘大模型核心技术RLHF!——AIC松鼠活动第七期

目录 1、RLHF是什么&#xff1f; 2、RLHF适用于哪些任务&#xff1f; 3、RLHF和其他构建奖励模型的方法相比有何优劣&#xff1f; 4、什么样的人类反馈才是好的反馈 5、RLHF算法有哪些类别&#xff0c;各有什么优缺点&#xff1f; 6、RLHF采用人类反馈会带来哪些局限&…

ARM体系结构学习笔记:CPU并不直接访问内存

CPU并不直接访问内存 原因: 寄存器可以更快的进行访问存取指令集 LDR STR 寻址模式 Pre-index [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KFSzzeZB-1692235692358)(https://cdn.jsdelivr.net/gh/nzcv/picgo/20220117071415.png)] Post-index …

智能一体化机柜会走多久?

智能一体化机柜是数据中心行业新兴的一种智能化设备。它将人工智能&#xff08;AI&#xff09;与互联网的物联网&#xff08;IoT&#xff09;技术有机结合起来&#xff0c;全面提升了运维及监控效率、优化空间资源的管理等&#xff0c;是当前数据中心行业的发展趋势之一。未来&…

每日一题 142环形链表||(快慢指针)

题目 给定一个链表的头节点 head &#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评测系统内部…

musl libc ldso 动态加载研究笔记:02

前言 本篇继续研究 musl libc ldso 的动态加载过程中遇到的关键性的概念&#xff1a;到底要加载ELF 文件的哪些内容到 内存 当前如果遇到 ELF 动态加载&#xff0c;当前系统需要有【文件系统】&#xff0c;并且有较大的内存&#xff0c;因为 ELF 文件是无法直接运行的&#xf…

搜狗怎么做收录和排名-搜狗收录排名推送软件

随着互联网信息的爆炸增长&#xff0c;如何能够准确、高效地推送自己的内容已成为许多网站和内容创作者的痛点。在传统的搜索引擎优化方式之外&#xff0c;搜狗推送收录工具为用户提供了一种全新的推送方式&#xff0c;让您的内容能够得到更广泛的传播和曝光。本文将为您详细介…

快速解决在进入浏览器时,明明连接了网络,但是显示你尚未连接,代理服务器可能有问题。

在进入浏览器时&#xff0c;明明连接了网络&#xff0c;但是显示你尚未连接&#xff0c;代理服务器可能有问题&#xff0c;如下图。 一般情况下&#xff0c;可能是因为你使用了某些VPN&#xff0c;然后VPN使用时修改了你的网络设置&#xff0c;我们可以通过以下方法快速解决。 …

docker安装redis7-哨兵模式

说明 系统&#xff1a;CentOS7.9 redis&#xff1a;7.0.5 由于资源问题本次的部署全部在一台宿主机上通过启动不同的docker容器来完成部署。 搭建哨兵模式之前&#xff0c;首先搭建好主从模式&#xff0c;1主2从&#xff0c;可以参考上一篇文章&#xff1a;docker安装redis…

OBJ三维模型快速转换为glTF2.0格式

OBJ obj文件是Alias|Wavefront公司为3D建模和动画软件"Advanced Visualizer"开发的一种标准3D模型文件格式&#xff0c;大部分3D软件都支持导入、导出obj格式的模型文件。每个obj模型一般由xxx.obj的模型文件、xxx.mtl材质信息文件、xxx.jpg纹理贴图文件组成。 glT…

2235.两整数相加:19种语言解法(力扣全解法)

【LetMeFly】2235.两整数相加&#xff1a;19种语言解法&#xff08;力扣全解法&#xff09; 力扣题目链接&#xff1a;https://leetcode.cn/problems/add-two-integers/ 给你两个整数 num1 和 num2&#xff0c;返回这两个整数的和。 示例 1&#xff1a; 输入&#xff1a;num…

vue的开发者工具下载『保姆级别』

1.先进官网 极简插件_Chrome扩展插件商店_优质crx应用下载 (zzzmh.cn) 2.搜索vue devtools&#xff0c;点击进去 3.下载插件 4.下载到文件下你自己的文件下&#xff1a;我的是下载到E盘下。 5.压缩到当前目录下 6.电脑进入拓展程序&#xff08;不同的浏览器操作不同&#xff…

IIC控制器与MPU6050

MPU6050 MPU6050是一个运动处理传感器&#xff0c;其内部集成了3轴加速度传感器和3轴陀螺仪&#xff08;角速度传感器&#xff09;,以及一个可扩展数字运动处理器 MPU6050主要参数 可测量X、Y、Z轴三个方向的角速度 可编程设置角速度测量范围为250、500、1000、2000/sec 可…

1个免费黑科技,AI制作特效大片完整教程

这个月初有许多朋友在转发一些AI生成视频&#xff0c;像刀郎的《罗刹海市》这种特效很酷的视频&#xff0c;播放量破100w的不在少数&#xff0c;下面就是我整理的几个账号数据&#xff01; 我随机找出了3个AI视频&#xff0c;数据量都在100w到800w播放量之间&#xff0c;但看了…

SQL-Injection

文章目录 引入columns表tables表schemata表以sqli-labs靶场为例路径获取常见方法文件读取函数文件写入函数防注入 数字型注入(post)字符型注入(get)搜索型注入xx型注入 引入 在MYSQL5.0以上版本中&#xff0c;mysql存在一个自带数据库名为information_schema,它是一个存储记录…