Sql优化-为什么SQL语句逻辑相同,性能却差异巨大?

news2024/9/21 2:34:58

根据极客时间学习的资料思考整理,有三个案例,我们根据案例了解一下为什么性能好或不好,希望下次我们再写SQL的时候能够注意,能够写出一个比较完美的SQL!

案例一:条件字段函数操作

假设现在有一个表是交易系统,其中交易记录表tradelog包括交易流水号(tradeid)、交易员id(operator)、交易时间(t_modified)等字段,建表语句如下:

CREATE TABLE `tradelog` (
  `id` int(11) NOT NULL,
  `tradeid` varchar(32) DEFAULT NULL,
  `operator` int(11) DEFAULT NULL,
  `t_modified` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `tradeid` (`tradeid`),
  KEY `t_modified` (`t_modified`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


insert into tradelog values(1, 'aaaaaaaa', 1000, now());
insert into tradelog values(2, 'aaaaaaab', 1000, now());
insert into tradelog values(3, 'aaaaaaac', 1000, now());
INSERT INTO `tradelog` VALUES (4, 'aaaaaaad', 1000, '2022-07-01 12:05:23');
INSERT INTO `tradelog` VALUES (5, 'aaaaaaaf', 1000, '2021-07-22 12:06:08');
INSERT INTO `tradelog` VALUES (6, 'aaaaaaae', 1000, '2023-04-01 12:08:30');

我们的数据有2021~2023的数据,假设让你统计所有年份中7月份的交易记录总数,你的SQL大致会这么写:

select count(*) from tradelog where month(t_modified)=7

由于t_modified上有索引,所以你觉得可以,但如果你的数据量很多,你会发现这个SQL语句执行很久,才返回结果。为什么呢?

你大概已经猜到了,对字段做了函数计算就用不上索引了,这是MySql的规定。

但是你试了下如下的sql语句发现走索引了,为什么这样行,上面就不行呢

select count(*) from tradelog where t_modified='2021-07-22 12:06:08'

下面是 t_modified索引的示意图,方框上面的数字就是montg()函数对应的值。

​​​​​​​

 

如果你的SQL语句是t_modified='2021-07-22 12:06:08'的话,它就会按上面的卢瑟箭头走,快速定位结果。B+tree的快速搜索能力来源于同一层兄弟节点的有序性,如果计算month传入7,在树的第一层就不知道怎么办了。

也就是说,对索引做函数操作,可能会破坏索引值的有序性,因此优化器就放弃了走树搜索功能。

但没有放弃使用这个索引,我们看下执行计划:

EXPLAIN select count(*) from tradelog where month(t_modified)=7

看下下面的执行计划,我们的KEY索引走的是t_modified,但是总共数据6条,就扫描了6次,

 因为添加了month()函数导致全索引扫描,我们可以用如下语句优化下,为了让其能够使用预期的索引:

select count(*) from tradelog where (t_modified>='2021-07-01' and t_modified<='2021-08-01')
				or  (t_modified>='2022-07-01' and t_modified<='2022-08-01')
				or  (t_modified>='2023-07-01' and t_modified<='2023-08-01')

看下执行计划:

我们这个sql语句最后统计5条数据,所以rows扫描了5条数据,而不是6条数据,看下type是采用的range代表扫描给定范围的索引数据

 不过引申出来其他的优化器“偷懒”行为,比如不改变有序的函数,也不会使用索引,如下SQL语句:

#全表扫描,不使用索引
EXPLAIN select * from tradelog where id+1=6

执行计划如下:代表了没有使用索引,全表扫描

 我们改成如下的SQL语句就可以使用上索引:

# 索引查找
EXPLAIN select * from tradelog where id=6-1

 看执行计划,还是最好的使用索引方式,只扫描一行数据

 案例二:隐式类型转换

我们看下下面这个语句,我们知道tradeid的类型是字符串类型,然后我们查询条件给的是int类型,看下会发生什么?

EXPLAIN select * from tradelog where tradeid=122222

 发现索引失效了,没有用到索引而是全表扫描,正常应该是用到tradeid的索引的,

 出现上面的原因是因为进行了类型转换,需要把数字转换为字符串,这时候需要内置函数处理的,因为使用了内置函数转换,所以导致了索引失效。这个语句就相当于 select * from tradelog where CAST(tradeid as signed int)=122222;这个语句,使用了CAST函数进行转换。

再给你一个SQL语句,查询条件是id,我们知道id是int,查询条件是字符串,那么这个语句会进行全表扫描吗?

EXPLAIN	select * from tradelog where id='1'

答案是不会,我们看执行计划就知道,走了索引,为什么这样的就不会索引失效呢?

 在这里是字符串转数字,在MySql中,字符串隐式的转换为数字,因为不用使用内置函数,所以不会导致索引失效。

案例三:隐式字符编码转换

我们在添加一个表,叫记录交易细节表把,表名叫trade_detail,建表语句如下:

CREATE TABLE `trade_detail` (
`id` int(11) NOT NULL,
`tradeid` varchar(32) DEFAULT NULL,
`trade_step` int(11) DEFAULT NULL, /*操作步骤*/ 
`step_info` varchar(32) DEFAULT NULL, /*步骤信息*/ PRIMARY KEY (`id`),
  KEY `tradeid` (`tradeid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


insert into trade_detail values(1, 'aaaaaaaa', 1, 'add');
insert into trade_detail values(2, 'aaaaaaaa', 2, 'update');
insert into trade_detail values(3, 'aaaaaaaa', 3, 'commit');
insert into trade_detail values(4, 'aaaaaaab', 1, 'add');
insert into trade_detail values(5, 'aaaaaaab', 2, 'update');
insert into trade_detail values(6, 'aaaaaaab', 3, 'update again');
insert into trade_detail values(7, 'aaaaaaab', 4, 'commit');
insert into trade_detail values(8, 'aaaaaaac', 1, 'add');
insert into trade_detail values(9, 'aaaaaaac', 2, 'update');
insert into trade_detail values(10, 'aaaaaaac', 3, 'update again');
insert into trade_detail values(11, 'aaaaaaac', 4, 'commit');

我们查询下id=2的交易所有操作步骤信息:

EXPLAIN select d.* from tradelog l,trade_detail d where d.tradeid=l.tradeid and l.id=2

查看下执行计划:

发现tradelog表执行了索引操作,而trade_detail则没有索引进行了全表扫描,按道理应该使用的tradeid索引的。

 这个执行的步骤是:

  • 第一步,根据id在tradelog表里找到id=2的这一行数据。
  • 第二步,从id=2中取出tradeid字段的值。
  • 第三步,根据tradeid值到trade_detail表中查找条件匹配的行,执行计划中第二行的KEY等于空表示的就是通过遍历主键索引的方式,一个一个地判断tradeid地值是否匹配。

所以很明显第三步没有达到我们地预期目的使用tradeid索引操作。那么究其原因,就是我们两个表地字符集不一样,tradelog为utf8mb4,而trade_detail表则是utf8字符集,因为utf8mb4是utf8字符集地超集,做自动类型转换时避免截取数据错误,按照“数据长度增加”方向进行转换地。

因此在处理时需要把trade_detail字段一个一个地转换为utf8mb4,再跟tradelog对应数据做比较,实际上这个语句等通过下面这个写法

select * from trade_detail where CONVERT(tradeid USING uft8mb4)=$tradelog.tradeid.value;

也就是说使用了转换函数,又是这个原因,对字段做函数操作,放弃走树搜索功能。

除了使用函数导致索引失效,用函数也是有方法的,上面的失效原因是因为trade_detail是utf8,默认的话肯定是要按utf8mb4转换,所以,trade_detail字段本身就要转换成utf8mb4,这样索引就会失效。(此处不懂可以往下看,下面的示例结合你慢慢品品就应该懂了)。

那假如下面这个SQL语句呢?查找 "trade_detail表里id=4的操作,对应操作者是谁?"看下SQL语句和执行计划:

EXPLAIN select l.operator from tradelog l,trade_detail d where d.tradeid=l.tradeid and d.id=4;

我们发现全都使用了索引,这是怎么回事呢?

 我们执行这个语句是先到trade_detail里通过主键索引查询到一行id为4的数据,然后取出tradeid的值,然后拿这个值去tradelog中跟根据tradeid进行匹配,到这里也就是第三步,我们单独看第三步其实就是如下SQL语句。

select operator from trade_log where tradeid=$trade_detail.tradeid.value

而trade_detail字符集是utf8,要转换成utf8mb4,所以过程如下:

select operator from trade_log where tradeid=CONVERT($trade_detail.tradeid.value USING utf8mb4)

因为这里的CONVERT的函数时输入参数上的,所以可以使用tradeid索引,而如果查询条件里在字段上使用函数操作时则索引会失效,尽量优化到在函数结果上创建。

你可以多品品,在最后一步变为了trade_log表,这个表本身的数据集就是utf8mb4,所以它的条件本身不需要变动,而trade_detail表是utf8,需要变动,所以只需要在tradeid=(进行转换变动)这种情况下可以使用索引。

咱们了解以后,对下面这个语句做怎样的优化呢?

select d.* from tradelog l,trade_detail d where d.tradeid=l.tradeid and l.id=2
  • 能够修改字段的字符集,那就可以使用这种,对于数据量大,或者业务暂时不允许改动字符集的话也就是DDL,那就只能采用修改SQL语句的方法了
    EXPLAIN select d.* from tradelog l,trade_detail d where d.tradeid=CONVERT(l.tradeid using utf8) and l.id=2
    

    执行计划:我主动把l.tradeid转成了utf8,这样就避免了trade_detail的字符编码转换了。

  • 第二个就是我们可以把trade_detail表上的字符集也改成utf8mb4,这样就没用字符集转换的问题了。
    alter table trade_detail modify tradeid varchar(32) CHARACTER set utf8mb4 DEFAULT null;
     执行计划:再执行下SQL,这样就没有字符集的问题了。

今天的内容就到这里了,拜拜!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/797664.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Boyer-Moore 投票算法

这里先贴题目&#xff1a; Boyer-Moore 投票算法&#xff1a; 通俗点来讲&#xff0c;就是占领据点&#xff0c;像攻城那样&#xff0c;对消。 当你的据点有人时对消&#xff0c;无人时就占领。 这道题使用该算法可实现时间复杂度为O(n),空间复杂度为O(1)&#xff0c;接下来看…

03 linux之shell 编程

变量 语言型 编译型语言 解释型语言 shell脚本语言是解释型语言shell脚本的本质&#xff1a;shell命令的有序集合 shell 编程的基本过程 基本过程分为三步&#xff1a; step1. 建立 shell 文件 包含任意多行操作系统命令或shell命令的文本文件; step2. 赋予shell文件执行…

大学如何自学嵌入式开发?

当然可以&#xff0c;不过需要非常人的毅力和耐心&#xff01; 嵌入式学习既可以打击得让你很自卑&#xff0c;也可以让你感觉自己无所不能。因为&#xff0c;嵌入式伴随的是一系列的问题&#xff0c;这些问题对初学者来说是一把双刃剑&#xff0c;如果你第一个问题解决了&…

C++【day7】

#include <iostream>using namespace std;template <typename T> class Myvector {private:T * first;T * last;T * end;public://构造函数Myvector(){first nullptr;last nullptr;end nullptr;}//析构函数~Myvector(){delete [] first;}//拷贝构造Myvector(con…

开发一个简单的数据库路由进行分库分表

今天我们来看看一个简单的数据库路由组件要怎么开发出来&#xff0c;这篇文章分为几个步骤进行介绍&#xff0c;分别为&#xff1a; 什么是数据库路由 路由组件的作用为什么要自研组件需要用到什么技术 整体的业务流程主要代码 介绍 数据库路由的作用 使用数据库路由是在业…

腾讯 SpringBoot 高阶笔记,限时开源 48 小时,真香警告

众所周知&#xff0c;SpringBoot 最大的一个优势就是可以进行自动化配置&#xff0c;简化配置&#xff0c;不需要编写太多的 xml 配置文件&#xff1b;基于 Spring 构建&#xff0c;使开发者快速入门&#xff0c;门槛很低&#xff1b;SpringBoot 可以创建独立运行的应用而不需要…

Normalization(BN and LN) in NN

Batch Normalization 称为批标准化。批是指一批数据&#xff0c;通常为 mini-batch&#xff1b;标准化是处理后的数据服从 N ( 0 , 1 ) N(0,1) N(0,1) 的正态分布。在训练过程中&#xff0c;数据需要经过多层的网络&#xff0c;如果数据在前向传播的过程中&#xff0c;尺度发…

IO模型、javaIO

介绍 网络通讯&#xff0c;一台计算机给另一台计算机传输数据&#xff0c;中间过程就叫做通信&#xff0c;也就是通过IO接口输入输出到另一台计算机&#xff0c;这个就叫做网络IO. 文件描述符&#xff08;File descriptor&#xff09; 是计算机科学中的一个术语&#xff0c;是…

Spring核心概念、IoC和DI的认识、Spring中bean的配置及实例化、bean的生命周期

初始Spring 一、Spring核心概念1.1IoC(Inversion of Contral)&#xff1a;控制反转1.2IoC代码实现1.2DI代码实现 二、bean的相关操作2.1bean的配置2.1.1bean的基础配置2.1.2bean的别名配置2.1.3bean的作用范围配置 2.2bean的实例化 - - 构造方法2.3bean的实例化 - - 实例工厂与…

windows中注册redis服务启动时报1067错误

注册完redis服务&#xff0c;打开计算机 服务时确实有redis服务存在&#xff0c;但是点击启动时却报1067错误&#xff0c;而命令行用redis-server.exe redis.windows.conf 命令却也可以启动 查看6379的端口也没有被占用&#xff08;netstat -ano | findstr :6379&#xff09; …

【LeetCode】98.验证二叉搜索树

题目 给你一个二叉树的根节点 root &#xff0c;判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下&#xff1a; 节点的左子树只包含 小于 当前节点的数。节点的右子树只包含 大于 当前节点的数。所有左子树和右子树自身必须也是二叉搜索树。 示例 1&#xff1a…

怎么在树莓派上搭建web网站,并发布到外网可访问?

文章目录 怎么在树莓派上搭建web网站&#xff0c;并发布到外网可访问&#xff1f;概述使用 Raspberry Pi Imager 安装 Raspberry Pi OS测试 web 站点安装静态样例站点 将web站点发布到公网安装 Cpolarcpolar进行token认证生成cpolar随机域名网址生成cpolar二级子域名将参数保存…

servlet基本使用

1.创建web项目&#xff08;新版本idea中首先新创建新项目&#xff0c;再在新项目中选中添加框架支持&#xff0c;即可生成web项目&#xff09; 2.接下来我们可以来编写代码&#xff0c;我们在源文件下创建包后再创键类 我们想要利用servlet&#xff0c;可以通过三种方式来实现 …

Mybatis 支持复杂类型方式List<String>

设置 autoResultMap true TableField(value "enums", typeHandler JacksonTypeHandler.class) <id column"enums" property"enums" typeHandler"com.baomidou.mybatisplus.extension.handlers.JacksonTypeHandler" />

Appium+python自动化(二十六)- Toast提示(超详解)简介

开始今天的主题 - 获取toast提示 在日常使用App过程中&#xff0c;经常会看到App界面有一些弹窗提示&#xff08;如下图所示&#xff09;这些提示元素出现后等待3秒左右就会自动消失&#xff0c;这个和我日常生活中看到的烟花和昙花是多么的相似&#xff0c;那么我们该如何获取…

在Ail Linux中手动配置IPv6

第一步&#xff0c;登录阿里云服务器控制台&#xff0c;在“概览”页面找到对应实例&#xff0c;然后单击实例ID。 第二步&#xff0c;在“实例详情”页面中的“网络信息”栏目中&#xff0c;可以发现“IPv6 地址”中没有数据&#xff0c;然后单击“专有网络”的专有网络ID。 第…

(学习笔记-系统结构)Linux内核与windows内核

内核 计算机是由各种外部硬件设备组成的&#xff0c;比如内存、CPU、硬盘等&#xff0c;如果每个应用都要和这些硬件设备对接通信协议&#xff0c;那这样太累了&#xff0c;所以这个中间人由内核来负责&#xff0c;让内核作为应用连接硬件设备的桥梁&#xff0c;应用程序只关心…

Docker 容器基础操作

Docker容器基础操作 容器(container)是Docker镜像的运行实例,类似于可执行文件与进程的关系,Docker是容器引擎,相当于系统平台。 容器的生命周期 容器的基础操作(以 tomcat8.0 为例) # 拉取tomcat8.0镜像 [root@tudou tudou]# docker pull tomcat:8.0 8.0: Pulling f…

【山河送书第四期】:《Python之光:Python编程入门与实战》参与活动,免费送书五本!!

【山河送书第四期】&#xff1a;《Python之光&#xff1a;Python编程入门与实战》参与活动&#xff0c;免费送书五本&#xff01;&#xff01; 书本简介本书亮点配套丰富购买链接参与方式往期赠书回顾&#xff1a; 书本简介 作为一种极其流行的编程语言&#xff0c;Python已经…

评测报告的结论如何写?

背景 最近组内同学开始编写评测报告&#xff0c;报告中的结论中存在以下几种情况&#xff1a; 1.结论是一大段文字&#xff0c;像散文一样 2.评测数据结果中存在多个数据维度&#xff0c;将所有的数据结果都罗列到结论中&#xff0c;主要信息不突出 3.只是将评测数据罗列到…