8种很坑的SQL错误用法

news2024/10/7 16:20:07
1、LIMIT 语句

分页查询是最常见的场景之一,但也通常也是最容易出问题的地方。例如对于下简单的语句,DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利到索引,性能迅速提升。

好吧,可能90%以上的 DBA 解决该问题就到此为止。但当 LIMIT语句句变成LIMIT 1000000,10时,程序员仍然会抱怨:我只取10条记录为什么还是慢?

要知道数据库也并不知道第1000000条记录从什么地方开始,即使有索引也需要从头计算多次。出现这种性能问题,多数情形下是程序员偷懒了。

在前端数据浏览翻页,或者导数据分批导出等场景下,是可以将分页的最大值当成参数作为查询条件的。SQL 重新设计如下:

 

在新设计下查询时间基本固定,不会随着数据量的增长而发生变化。 

2、隐式转换

SQL语句中查询变量和字段定义类型不匹配是另一个常见的错误。例如下面的语句:

其中字段 bpn 的定义为 varchar(20),MySQL 的策略是将字符串转换为数字之后再比较。函数作用于表字段,索引失效。

上述情况可能是应用程序框架自动填充的参数,而不是程序员的原意。现在应用框架很多很繁杂,使用方便的同时它可能给你挖坑。

3、关联更新、删除

虽然 MySQL5.6 引入了物化特性,但需要特别注意它此前仅仅针对查询语句的优化。对于更新或删除需要重写成 JOIN

例如下面 UPDATE 语句,MySQL 实际执行的是循环/嵌套查询(DEPENDENT SUBQUERY),其执行时间可想而知。

执行计划: 

重写为 JOIN 之后,查询的选择模式从 DEPENDENT SUBQUERY 变成 DERIVED,执行速度明显加快,从7秒降低到2毫秒

执行计划简化为:

4、混合排序 

MySQL 不能利用索引进行混合排序。但在某些场景,还是有机会使用特殊方法提升性能的。

执行计划显示为全表扫描:

由于 is_reply 只有0和1两种状态,我们按照下面的方法重写后,执⾏时间从1.58秒降低到2毫秒。

5、EXISTS语句

MySQL 对待 EXISTS 语句时,仍然采用嵌套查询的执行方式。如下面的 SQL 语句:

执行计划为:

去掉 exists 更改为 join,能够避免嵌套查询,将执行时间从1.93秒降低为1毫秒。

 

新的执行计划:

6、条件下推

外部查询条件不能够下推到复杂的视图或条件查询的情况有:

聚合条件查询;

含有 LIMIT 的SQL查询;

 UNIONUNION ALL 条件查询

输出字段中的条件查询;

如下面的语句,从执行计划可以看出其条件作用于聚合条件查询之后

确定从语义上查询条件可以直接下推后,重写如下:

执行计划变为:

7、提前缩范围

先上初始 SQL 语句:

执行计划:

行数为90万,时间消耗为12秒。

由于最后 WHERE 条件以及排序均针对最左主表,因此可以先对 my_order 排序提前缩⼩数据量再做左连接。SQL 重写后如下,执行时间缩小为1毫秒左右。

再检查执行计划:查询物化后(select_type=DERIVED)参与 JOIN。虽然估算的扫描仍然为90万,但是利用了索引以及 LIMIT语句后,实际执小时间变得很短。

8、中间结果集下推

再来看下这个已经初步优化过的例子(左连接中的主表优先作为查询条件):

 

那么该语句还存在其它问题吗?不难看出查询 c 是全表聚合查询,在表数量特别多的情况下会导致整个语句的性能下降。

其实对于查询 c,左连接最后结果集只关注能和主表 resourceid 能匹配的数据。因此我们可以重写语句如下,执行时间从原来的2秒下降到2毫秒。

但是查询 a 在我们的SQL语句中出现了多次。这种写法不仅存在额外的开销,还使得整个语句显的繁杂。使用 WITH 语句再次重写: 

总结

数据库编译器产生执行计划,决定着SQL的实际执行方式。但是编译器只是尽量服务,所有数据库的编译器都不是尽善尽美的。上述提到的多数场景,在其它数据库中也存在性能问题。了解数据库编译器的特性,才能避规其短处,写出高性能的SQL语句。程序员在设计数据模型以及编写SQL语句时,要把算法的思想或意识带进来。

编写复杂SQL语句要养成使用 WITH 语句的习惯。简洁且思路清晰的SQL语句也能减轻数据库的负担 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1196226.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

docker 拉取镜像

2.2.1、拉取镜像java:8(jdk1.8) docker pull java:8 2.2.2、拉取镜像mysql:8.2.0 docker pull mysql:8.2.0 2.2.3、拉取镜像redis:7.0.14 docker pull redis:7.0.14 2.2.4、拉取镜像nginx:1.25.3 docker pull nginx:1.25.3 2.2.5、查看镜像 docker images 启动镜像 …

Vatee万腾的科技决策力奇迹:Vatee科技决策力的独特之选

在金融投资的复杂领域中,Vatee万腾以其独特的科技决策力创造了一场真正的奇迹。这不仅是一种引领投资者走向成功的选择,更是一种开启新时代的科技决策奇迹。 Vatee的科技决策力背后蕴藏着强大的智慧和创新。通过大数据分析、智能算法的运用,V…

华为防火墙二层透明模式下双机热备主备备份配置(两端为交换机)

这种模式只能是主备备份模式,不能是负载分担,因为会有环路。 故障切换是,如果主故障,主设备所有接口全都会down状态,然后再up一次,用于改变mac转发表。 FW1 hrp enable hrp interface GigabitEthernet1/0…

【赠书活动】嵌入式虚拟化技术与应用

文章目录 前言 1 背景概述 2 专家推荐 3 本书适合谁? 4 内容简介 5 书籍目录 6 权威作者团队 7 粉丝福利 前言 随着物联网设备急剧增长和万物互联应用迅速发展,虚拟化技术成为嵌入式系统焦点。这反映了信息技术迫切需求更高效、灵活和可靠系统。…

Excel 常用技巧

1: 拼接 公式: C1&B1&A1 如 D CBA 将公式输入目标列之后回车即可得到结果 , 如果有多行需要处理 , 光标选中目标单元格右下角变为 按着左键下拉即可 最后选择转换功能转换为文本即可 2: 时间戳转时间格式 公式: TEXT((B2/10008*3600)/8640070*36519,"yyyy/mm…

100V耐压内置MOS ESOP8 40V输入转5V 2.1A恒压输出

100V耐压内置MOS ESOP8 40V输入转5V 2.1A恒压输出 SC9102 是一款宽电压范围降压型 DC-DC 电源管理芯片,内部集成使能开关控制、基准电源、误差放大器、 过热保护、限流保护、短路保护等功能,非常适合宽电压输入降压使用。 SC9102 零功耗使能控制&…

Transmit :macOS 好用的 Ftp/SFtp 工具

Transmit 是一种功能强大的 FTP/SFTP/WebDAV 客户端软件,是一个 Mac OS X 平台上设计的文件传输软件。它由 Panic(一家以软件工具为主的公司)开发和维护,是一款非常受欢迎且易于使用的软件,而且被广泛认为是 Mac OS X …

【C++】哈希 Hash(闭散列、开散列介绍及其实现)

一、unordered系列关联式容器 在 C98 中,STL 提供了底层为红黑树结构的一系列关联式容器,在查询时效率可达到 O(logN),即最差情况下需要比较红黑树的高度次,当树中的节点非常多时,查询效率也不理想。最好的查询是&…

ChatGPT显现“ Something went wrong. If this issue persists ...”什么原因?如何解决?

一、报错提示 Something went wrong. If this issue persists please contact us through our help center at help.openai.com. 二、解决方案 一般是代理节点出现问题 ChatGPT退出登录 关闭代理并重新启动代理 切换其他节点 清除浏览器缓存 重新登录ChatGPT 三、其它思路…

模电学习路径--google镜像chatgpt

交流通路实质 列出电路方程1,方程1对时刻t做微分 所得方程1‘ 即为 交流通路 方程1对时刻t做微分:两个不同时刻的方程1相减,并 令两时刻差为 无穷小 微分 改成 差 模电学习路径: 理论 《电路原理》清华大学 于歆杰 朱桂萍 陆文…

使用大型语言模型进行文本摘要

路易斯费尔南多托雷斯 📝 Text Summarization with Large Language Models。通过单击链接,您将能够逐步阅读完整的过程,并与图进行交互。谢谢你! 一、介绍 2022 年 11 月 30 日,标志着机器学习历史上的重要篇章。就在这…

jacoco插桩源码,看这一篇就够了

知识储备 众所周知,jacoco的功能主要分成两块: jacoco agentjacoco cli 其中jacoco agent主要用来对业务方服务进行插装,而cli则提供一些工具对插桩数据进行处理,比如dump,merge,report等,今天我们着重通…

周期定时器FB_Cycle_time(SCL+梯形图代码)

博途PLC定时器指令使用详细介绍请参考下面文章链接: 博途PLC IEC定时器编程应用(SCL语言)_scl定时器-CSDN博客文章浏览阅读6.1k次,点赞2次,收藏7次。博途PLC定时器支持数据类型TIME 类型 ,写法支持T#2M10S 、T#10S等,时基是MS所以如果设置1M用 DINT数据类型就是60000,…

力扣哈希表--总结篇

前言 五天写了八道题,有点懈怠,但还是有收获。 内容 一般哈希表都是用来快速判断一个元素是否出现在集合里。 为了实现高效的查找和访问,map通常会使用哈希表或红黑树等数据结构来存储键值对。什么时候用map,什么时候用数组&a…

中国集成电路设计业2023年会演讲预告 | 龙智Perforce专家解析半导体设计中的数字资产管理

2023年11月10-11日(周五-周六),龙智即将亮相于广州举行的中国集成电路设计业2023年会(ICCAD 2023),呈现集成了Perforce与Atlassian产品的芯片开发解决方案,帮助企业实现数智化转型,革…

华为防火墙二层透明模式下双机热备负载分担配置(两端为路由器)

这种模式只做负载分担,不能是主备备份,因为主备备份模式下,备设备会把vlan down掉,如果是主备备份模式,那在主挂后,备的状态在切换过程中先起vlan,再建立ospf邻接,那业务会断线较久&…

ThinkPHP框架 开源 虚拟资源分享付费下载PHP网站源码

源码测评:非常不错的资源分享网站,仿的是之前的码农网,这个网站也是在码农网的源码基础上修改而来,这个是用ThinkPHP仿的,还不错,测试的时候发现后台上传图片报错,其他暂时没有发现。 转载自…

2023/11/11

1. 实现字体渐变色 html <div class"gradient">实现字体渐变色 </div>css .gradient {display: inline-block;font-weight: 800;font-size: 40px;color: #fff;background: linear-gradient(90deg, #f00 0%, #000 50%, #00f 100%);background-clip: bo…

55. 右旋字符串(第八期模拟笔试)

55. 右旋字符串&#xff08;第八期模拟笔试&#xff09; 原题链接&#xff1a;完成情况&#xff1a;解题思路&#xff1a;参考代码&#xff1a;错误经验吸取 原题链接&#xff1a; 55. 右旋字符串&#xff08;第八期模拟笔试&#xff09; https://kamacoder.com/problempage…

光刻掩膜版怎么制作的?

光掩膜版基本上是 IC 设计的“主模板”。掩模版有不同的尺寸。常见尺寸为 6 x 6 英寸一般的掩膜版由石英或玻璃基板组成。光掩膜版涂有不透明薄膜。更复杂的掩模版使用其他材料。 一般来说&#xff0c;术语“photo mask”用于描述与 1X 步进机或光刻系统一起使用的“主模板”。…