11、MySQL-SQL优化

news2025/4/8 18:13:40

目录

1、插入数据

1.1、批量插入

1.2、手动提交事务

1.3、主键顺序插入

1.4、大批量插入数据

2、主键优化

2.1 页分裂

2.2 主键顺序插入

2.3 主键乱序插入

2.4 页合并

2.5 主键的设计原则

3、order by优化

4、group by优化

5、limit优化

6、count优化

6.1 count的几种用法

7、update优化

7.1 行锁(Row-Level Locking)

7.2 表锁(Table-Level Locking)


1、插入数据

1.1、批量插入

Insert into tb_test values(1,'Tom'),(2,'cat'),(3,'jerry')

1.2、手动提交事务

start transaction;
insert into tb_test values(1,'Tom'),(2,'cat’),(3, jerry');
insert into tb_test values(4,'Tom'),(5,'cat'),(6, jerry');
insert into tb_test values(7,'Tom'),(8,'cat'),(9,'jerry');
commit; 

1.3、主键顺序插入

主键乱序插入:8 1 9 12 56 0 5 6 89 11 47
主键顺序插入:1 2 3 4 77 78 90 91 92

1.4、大批量插入数据

如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。操作如下:

操作步骤:

-- 1、客户端连接服务端时,加上参数 --local-infile
mysql --local-infile -u root -p;

-- 2、设置全局参数local_infile为1,开启从本地加载文件导入数据的开关
set global local_infile = 1;

-- 3、执行load指令将准备好的数据,加载到表结构中
load data local infile '/root/sql1.log' into table `tb_user` fields terminated by ',' lines terminated by '\n';

主键顺序插入性能高于乱序插入

2、主键优化

在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table IOT)

2.1 页分裂

页可以为空,也可以填充一半,也可以填充100%。每个页包含了2-N行数据(如果一行数据多大,会行溢出),根据主键排列。

2.2 主键顺序插入

2.3 主键乱序插入

2.4 页合并

当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。

当页中删除的记录达到 MERGE THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用。

MERGE THRESHOLD:合并页的阈值,可以自己设置,在创建表或者创建索引时指定。  

2.5 主键的设计原则

  1. 满足业务需求的情况下,尽量降低主键的长度。
  2. 插入数据时,尽量选择顺序插入,选择使用AUTOINCREMENT自增主键。
  3. 尽量不要使用UUID做主键或者是其他自然主键,如身份证号。
  4. 业务操作时,避免对主键的修改。

3、order by优化

1、Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort bufer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。

2、Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为usingindex,不需要额外排序,操作效率高。

-- 没有创建索引时,根据age,phone进行排序
explain select id,age,phone from tb_user order by age,phone;

-- 创建索引
create index idx_user_age_phone_aa on tb_user(age,phone);

-- 创建索引后,根据age,phone进行升序排序
explain select id,age,phone from tb_user order by age,phone;

-- 创建索引后,根据age,phone进行降序排序
explain select id,age,phone from tb_user order by age desc,phone desc;
  1. 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则。
  2. 尽量使用覆盖索引。
  3. 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC/DESC)。
  4. 如果不可避免的出现filesor,大数据量排序时,可以适当增大排序缓冲区大小sort buffer size(默认256k)。

4、group by优化

  1. 在分组操作时,可以通过索引来提高效率
  2. 分组操作时,索引的使用也是满足最左前缀法则的。

5、limit优化

一个常见又非常头疼的问题就是 limit 2000000,10,此时需要MySQL排序前2000010记录,仅仅返回2000000-2000010的记录,其他记录丢弃,查询排序的代价非常大。

优化思路:覆盖索引+子查询

一般分页查询时,通过创建 覆盖索引 能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。

-- 直接查询
SELECT * FROM tb_sku limit 1000000,10; -- 25s

-- 覆盖索引+子查询
SELECT s.* FROM tb_sku s,(SELECT * FROM tb_sku limit 1000000,10) a WHERE s.id = a.id  -- 10s

6、count优化

explain select count(*) from tb_user ;
  1. MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高;
  2. InnoDB 引擎就麻烦了,它执行 count(*)的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数。

优化思路:自己计数。因为这个计数是由存储引擎所决定的,所以没有好的优化思路

6.1 count的几种用法

  1. count()是一个聚合函数,对于返回的结果集,一行行地判断,如果count 函数的参数不是 NULL,累计值就加 1,否则不加,最后返回累计值。
  2. 用法:count(*)、count(主键)、count(字段)、count(1)

1、count(主键)

IinnoD8 引擎会遍历整张表,把每一行的 主键id 值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加(主键不可能为nul)。

2、count(字段)

没有notnul 约束:nnoD8引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为nul,不为null,计数累加。
有not null 约束:InnoDB 引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接按行进行累加。

3、count(1)

InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字“1”进去,直接按行进行累加。

4、count(*)

InnoDB引擎并不会把全部字段取出来,而是专门做了优化,不取值,服务层直接按行进行累加。

按照效率排序的话,count(字段)<count(主键 id)<count(1)≈ count(*),所以尽量使用count(*)。

7、update优化

InnoDB的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁

7.1 行锁(Row-Level Locking)

  1. 锁定粒度:行锁的粒度较细,它只锁定单个数据行。这意味着在一个事务中对某一行进行修改时,其他事务仍然可以访问表中的其他行。

  2. 并发性:由于行锁的粒度较小,它通常能提供更高的并发性能。多个事务可以同时对不同的行进行操作,而不会相互阻塞。

  3. 锁定开销:行锁的开销较高,因为需要在每一行上维持锁状态,并且锁的管理比较复杂。

  4. 适用场景:行锁适用于需要高并发读写操作的场景,尤其是当操作涉及到大量数据但每次操作只涉及到少量数据行时。

  5. 实现机制:InnoDB 存储引擎在 MySQL 中使用行锁来实现多版本并发控制(MVCC)。

7.2 表锁(Table-Level Locking)

  1. 锁定粒度:表锁的粒度较粗,它会锁定整个表。这意味着在一个事务中对表进行操作时,其他事务不能对该表进行任何操作,直到锁被释放。

  2. 并发性:由于表锁的粒度较大,它通常会降低并发性能。多个事务在操作同一张表时会互相阻塞,影响系统的吞吐量。

  3. 锁定开销:表锁的开销较低,因为只需要在表级别管理锁状态,管理的复杂度相对较小。

  4. 适用场景:表锁适用于操作频繁但对并发要求较低的场景,或者当表上的操作是大范围的(例如,清空整个表)时。

  5. 实现机制:MyISAM 存储引擎在 MySQL 中使用表锁来控制并发。

总结

  • 行锁适合需要高并发的场景,因为它允许多个事务同时操作不同的数据行。
  • 表锁适合操作较少但需要对整张表施加锁的场景,因为它的管理开销较低,但会影响系统的并发能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2036849.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Bifrost】ubuntu24.04 远程构建及clion设置编码风格google

Bifrost 构建通过clion 远程到ubuntu24.04 构建感觉是不认识这种写法,这种至少是c++11 fix : 修改absl 的构建cmakelist,明确c++17 好像还是不行error: ‘uint8_t’ was not declared in this scope加入:#include <stdint.h>可以解决一部分。那么,这种呢?/home/zha…

浅谈 DNS 篡改劫持

故事背景&#xff1a;产品反馈线上站点操作后跳转至空白页面&#xff0c;浏览器 URL 地址异常&#xff0c;ping 命令测试后定位可能是 DNS 解析异常&#xff0c;联系七牛云技术人员排查&#xff0c;反馈是由于带宽突变&#xff0c;触发节点防攻击策略所致&#xff0c;后续先调整…

keepalived安装-集群部署

1.服务器信息 服务器版本服务器IP介质版本安装用户CentOS Linux release 7.9.2009 (Core)192.168.10.244keepalived-2.2.8.tar.gz nginx-1.26.1 rootCentOS Linux release 7.9.2009 (Core)192.168.10.245keepalived-2.2.8.tar.gz nginx-1.26.1 root2.服务器基础配置 参考:Lin…

二、AI工作流(低代码)-输入-文本组件详解

对工作流感兴趣的小伙伴可以去试一试。&#x1f525;偷偷的告诉你&#xff0c;它的GPTo4.0 mini 不要&#x1f4b0;。传送门&#xff1a;https://www.nyai.chat/chat?invitenyai_1141439 一、能用AI工作流介绍 能用AI-工作流是一个“低代码”工具、它也是个人或者中小企业的…

Spring源码调试环境搭建(IDEA)

文章目录 引言开发环境搭建步骤步骤一&#xff1a;下载 Spring Boot 源码步骤二&#xff1a;导入项目到 IntelliJ IDEA步骤三&#xff1a;处理build报错报错一报错二 测试步骤新建module修改build.gradle新建测试类启动测试 引言 无论是面试&#xff0c;还是工作&#xff0c;S…

政安晨【零基础玩转各类开源AI项目】基于本地Ubuntu系统部署及应用歌唱语音转换框架NeuCoSVC:歌曲音色转换工具

目录 论文简介 部署 模型下载 编译REAPER 最后 政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点赞✍评论⭐收藏 希望政安晨的博客能够对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff01; 本文目标&#xff1a;《Neural Concate…

模拟三层--控制层、业务层和数据访问层

三层的概念:https://developer.aliyun.com/article/1390024 一、新建一个项目 我新建好的项目名为spring__ioc_02,然后在 src-main-java 下建立三层&#xff08;数据访问层、业务层和控制层&#xff09;的包 dao、service 和controller、并在包下建立相应的接口和实现类 Proje…

网络命令之查看网口最大网速的一些方法?(/sys/class/net/ethx/speed、ethtool ethx)

文章目录 背景方法1: sysfs的net方法2&#xff1a;ethtool方法3&#xff1a;通过网卡型号获取方法4&#xff1a;通过网卡lspci输出信息直接获取方法5&#xff1a;高性能网卡可以通过物理连线光口信息获取后记 背景 经常需要查看不同网卡的网速&#xff0c;甚至相同大版本型号网…

一个简单的pytorch项目框架

框架的基本功能&#xff1a; 1. 模型的定义、训练与测试 2. 数据生成与数据迭代器 3. 训练日志记录 4. 训练过程实时监控 有了这个框架&#xff0c;后续所有复杂的AI项目都可以在此基础上拓展开发。 项目基本结构&#xff1a; 四个文件&#xff1a; sequence_mean_generate…

C++初阶_2:引用

本节咱们来说说引用&#xff1a; C添加了“引用”&#xff0c;与指针成了两兄弟——这两兄弟对我们今后写C代码可谓各有特点&#xff0c;缺一不可。 何谓引用&#xff1f; 引用&#xff1a;就是取别名 不知诸位可有别名&#xff1f;这里不妨举一本耳熟能详的小说《水浒传》&…

Redis16-批处理优化

目录 Pipeline 集群下的批处理 Pipeline 单个命令的执行流程&#xff1a; N条命令的执行流程&#xff1a; N条命令批量执行&#xff1a; Redis提供了很多Mxxx这样的命令&#xff0c;可以实现批量插入数据&#xff0c;例如&#xff1a; msethmset 利用mset批量插入10万条数…

vivado报错:file ended before end of clause

最近在学习Xilinx FPGA时&#xff0c;遇到 Vivado 报错如下图所示&#xff1a; 刚开始&#xff0c;看到错误是在第1行代码中出现的&#xff0c;我的第一反应是该行代码写错了&#xff0c;然后搜了搜语法&#xff0c;发现没错。 分析报错信息发现&#xff0c;该错误应该是和文件…

VScode + PlatformIO 和 Keil 开发 STM32

以前经常使用 KEIL 写 STM32 的代码&#xff0c;自从使用 VScode 写 ESP32 后感觉 KEIL 的开发环境不美观不智能了&#xff0c;后面学习了 VScode 开发 STM32 。 使用过程中发现 串口重定向在 KEIL 中可以用&#xff0c;搬到 VScode 后不能用&#xff0c;不用勾选 Use Micro LI…

SpringMVC 运行流程

SpringMVC 运行流程 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; SpringMVC的运行流程可概括为以下几个核心步骤&#xff1a; 流程图&#xff1a; #mermaid-svg-l1CeK9JwP5wRQjBL {font-family:"trebuchet ms",verdana,arial,…

医学图像分割新突破:6篇文献带你洞悉最前沿的医学AI技术|顶刊速递·24-08-14

小罗碎碎念 文献日推主题&#xff1a;人工智能在医学图像分割中的最新研究进展 今天这期文章信息量很大&#xff0c;并且不同的人看&#xff0c;获取的信息量也会差距很大。为了缩小这个差距&#xff0c;请在正式阅读前&#xff0c;记住小罗的一句话——模型学会了如何分割图像…

【Spark集群部署系列三】Spark StandAlone HA模式介绍和搭建以及使用

简介&#xff1a; Spark Standalone集群是Master-Slaves架构的集群模式&#xff0c;和大部分的Master-Slaves结构集群一样&#xff0c;存在着Master 单点故障&#xff08;SPOF&#xff09;的问题。 高可用HA 如何解决这个单点故障的问题&#xff0c;Spark提供了两种方案&#…

83.SAP ABAP从前台找字段所在表的两种方法整理笔记

目录 方法1&#xff1a;F1查看技术信息 F1 技术信息 方法2&#xff1a;ST05开启跟踪 Activate Trace Input and save data Deactivate Trace Display Trace 分析你想要的表 方法1&#xff1a;F1查看技术信息 从前台找一个屏幕字段所在表&#xff0c;一般通过按F1来查找…

Java Nacos与Gateway的使用

Java系列文章目录 IDEA使用指南 Java泛型总结&#xff08;快速上手详解&#xff09; Java Lambda表达式总结&#xff08;快速上手详解&#xff09; Java Optional容器总结&#xff08;快速上手图解&#xff09; Java 自定义注解笔记总结&#xff08;油管&#xff09; Jav…

【大数据】6:MapReduce YARN 初体验

目录 MapReduce & YARN 初体验 集群启停命令 一键启动脚本&#xff1a; 单进程启停 提交MapReduce任务到YARN执行 提交MapReduce程序至YARN运行 提交wordcount示例程序 提交求圆周率示例程序 拓展&#xff1a;蒙特卡罗算法求PI的基础原理 onte Carlo蒙特卡罗算法…

【MySQL 06】表的约束

文章目录 &#x1f308; 一、约束的概念&#x1f308; 二、空属性约束⭐ 1. 空值无法参与运算⭐ 2. 设置非空属性 &#x1f308; 三、默认值约束⭐ 1. 默认值使用案例⭐ 2. 同时设置 not null 和 default &#x1f308; 四、列描述约束&#x1f308; 五、zerofill 补零约束&…