PawSQL更新 | 新增18个SQL性能审核重写规则

news2024/11/15 20:04:29

PawSQL最新版本针对DML和DQL新增了审核和重写优化规则共计33个,整体的规则数目达到了83个,覆盖了正确性,安全性、可维护性、性能四个方面的SQL质量问题,并提供了优化建议,已经形成比较完善的针对数据操作的SQL质量审查体系。本文介绍其中新增的11个正确性相关的审核规则。本文介绍新增的18个SQL性能审核及重写优化规则。

图片

性能相关规则

1. 显式禁止结果字段排序

规则描述

在MySQL的早期版本中,即使没有order by子句,group by默认也会按分组字段排序,这就可能导致不必要的文件排序,影响SQL的查询性能。可以通过添加order by null来强制取消排序,禁用查询结果集的排序;PawSQL识别并进行了重写。

譬如下面的例子中

SELECT l_orderkey, sum(l_quantity)
FROM lineitem
GROUP BY l_orderkey;

在MySQL 5.x版本中,group by l_orderkey会引起默认排序, 可以通过添加order by null来避免该排序。

SELECT l_orderkey, sum(l_quantity)
FROM lineitem
GROUP BY l_orderkey
ORDER BY NULL;
默认预警级别
  • 警告

触发条件
  • MySQL数据库,版本低于8.0

  • 存在分组字段,且无排序字段

2. GROUP字段中有表达式导致索引失效

规则描述

数据库可以利用索引的有序性来避免GROUP子句中列的排序,从而提升SQL的性能。但是如果Group字段是一个表达式或函数,则可能无法利用索引来进行排序。

默认预警级别
  • 提示

触发条件
  • 存在分组字段,字段为表达式或函数

3. ORDER字段中有表达式导致索引失效

规则描述

数据库可以利用索引的有序性来避免ORDER子句中列的排序,从而提升SQL的性能。但是如果ORDER字段是一个表达式或函数,则可能无法利用索引来进行排序。

默认预警级别
  • 提示

触发条件
  • 存在排序字段,字段为表达式或函数

4. 排序字段方向不同导致索引失效

规则描述

ORDER BY 子句中的所有表达式需要按统一的 ASC 或 DESC 方向排序,才能利用索引来避免排序;如果ORDER BY 语句对多个不同条件使用不同方向的排序无法使用索引。

默认预警级别
  • 提示

触发条件
  • 有多个排序字段

  • 存在两种排序方向

5. 避免对长字段进行分组

规则描述

在数据库中,分组通常是通过排序或哈希来做,如果需要分组的行数比较多,那么单个字段长度会较大的影响分组效率。此规则可以通过比较分组字段的长度是否超过用户输入的阈值。如果超过阈值,则会进行预警。

默认预警级别
  • 预警

触发条件
  1. GROUP字段类型为CHAR/VARCHAR,且字段长度超过阈值

  2. 或GROUP字段类型为CLOB/TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT

6. 避免对条件字段使用负向查询

规则描述

负向查询指的是否定查询,即<>NOT IN 等否定条件。此类查询无法利用索引进行快速定位。

默认预警级别
  • 警告

触发条件
  • SQL中的条件为否定条件。

7. 表连接缺少链接条件

规则描述

表连接缺少链接条件会导致结果集变成两个表的笛卡尔集,数据量巨大,且有较大可能性不符合开发者的预期。PawSQL会检查此类写法,并进行提醒。

默认预警级别
  • 提示

触发条件
  • 表连接缺少链接条件

8. 分区表没有使用分区字段过滤

规则描述

在访问分区表时,没有使用分区字段进行过滤,会导致需要访问所有分区。

默认预警级别
  • 提示

触发条件
  • 表是分区表

  • SQL中不存在在分区键的过滤条件

9. 过滤条件中须使用主键或索引列

规则描述

如果一个表的过滤条件上没有主键或索引,则会导致全表扫描。

默认预警级别
  • 提示

触发条件
  • SQL中存在过滤或关联条件

  • 过滤或关联条件是可索引条件

  • 可索引条件不存在任何可利用的索引(包括主键索引)

10. 查询中表连接的个数超过阈值

规则描述

在单机版数据库执行计划的规划中,表连接的顺序和连接的方法是数据库优化器最重要的规划内容。表连接数目的增加将几何级数地增加数据库优化器对于最优执行计划的搜寻空间,导致生成执行计划的时间比较长,且容易生成性能较差的执行计划。所以PawSQL检测查询中表连接的数目是否超过某个阈值,并提醒用户可能的风险。在PawSQL中,阈值的默认值是5,用户可以在创建优化任务时修改此阈值。

默认预警级别
  • 警告

触发条件
  • 单个查询块中表连接的个数超过阈值(默认为5)

11. 避免查询排序时指定COLLATION

规则描述

可以在SQL中指定排序字段所使用的COLLATION,譬如下面的SQL

select * from customer c order by c_name COLLATE utf8mb4_0900_bin

这样的话,该SQL将无法利用索引的有序性来避免排序。

默认预警级别
  • 警告

触发条件
  • 显式的指定排序的COLLATION

12.避免对长字段进行排序

规则描述

在计算机中,排序是一个OlnN时间复杂度的操作,如果需要排序的行数比较多,那么单个字段长度会较大地影响排序效率。此规则可以通过比较排序字段的长度是否超过用户输入的阈值。如果超过阈值,则会进行预警。

默认预警级别
  • 预警

触发条件
  1. ORDER字段类型为CHAR/VARCHAR,且字段长度超过阈值

  2. 或ORDER字段类型为CLOB/TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT

13. 避免使用标量子查询

规则描述

标量子查询返回单行单列的一个值,它可以出现在SQL中任何单值出现的地方。标量子查询通常需要在执行时才能确定其是否只返回单行值,且其通常为相关子查询。容易引起运行时错误,以及性能问题。

默认预警级别
  • 提示

触发条件
  • SQL中出现标量子查询

14. 避免更新主键的值

规则描述

在MySQL InnoDB引擎或是SQL Server数据库中,数据存储方式都是以主键的方式组织的。在这种情况下,对主键的更新会涉及到对数据在磁盘上物理组织的调整,而且也涉及到主键值唯一性的检查,在表数据量非常大的情况下,更新的代价可能非常之大。

默认预警级别
  • 警告

触发条件
  • 更新主键的值

  • MySQL InnoDB引擎或是SQL Server数据库

16. 避免更新唯一约束的值

规则描述

对唯一性约束的列的值的更新,需要对它进行唯一性检查,在表数据量非常大的情况下,更新的代价可能非常大。

默认预警级别
  • 警告

触发条件
  • 更新唯一性列的值

17. DELETE/UPDATE禁止使用表连接

规则描述

表连接的误操作可能导致结果集的行非常大,对大结果集的DELETE/UPDATE可能会非常耗时,锁表时间较长,也难以对操作进行回滚。

默认预警级别
  • 警告

触发条件
  • DELETE/UPDATE存在多表

18. 避免使用不必要的内置函数

规则描述

某些内置函数可能不满足业务或是计算上的某些规范要求。通过配置该规则可以指定业务中需要禁止使用的内置函数。

默认预警级别
  • 提示

触发规则
  • 函数列表中的函数名称出现在SQL中。

关于PawSQL

PawSQL专注数据库性能优化的自动化和智能化,支持MySQL,PostgreSQL,Opengauss等,提供的SQL优化产品包括

  • PawSQL Cloud,在线自动化SQL优化工具,支持SQL审查,智能查询重写、基于代价的索引推荐,适用于数据库管理员及数据应用开发人员,

  • PawSQL Advisor,IntelliJ 插件, 适用于数据应用开发人员,可以IDEA/DataGrip应用市场通过名称搜索“PawSQL Advisor”安装。

  • PawSQL Engine, 是PawSQL系列产品的后端优化引擎,可以以docker镜像的方式独立安装部署,并通过http/json的接口提供SQL优化服务。

  • PawSQL Ora2pg/PawsQL Ora2op,Oracle语法的SQL应用转换为PostgreSQL和openGauss语法的工具。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1420646.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

动态规划之买卖股票问题(篇三)(买卖股票的最佳时机)

本篇博客主要讲解309.最佳买卖股票时机含冷冻期和714.买卖股票的最佳时机含手续费&#xff0c;这也是股票系列的最后一篇讲解。 309.最佳买卖股票时机含冷冻期 题目&#xff1a; 给定一个整数数组prices&#xff0c;其中第 prices[i] 表示第 i 天的股票价格 。​ 设计一个算…

SpringBoot---创建项目

介绍 此项目SpringBoot使用的是2.6.1版本&#xff0c;由于这个项目使用的是maven聚合方式创建的&#xff0c;所以第二步是我在聚合方式下需要添加的依赖&#xff0c;完整的pom.xml内容放到了最下面。 第一步&#xff1a;创建Maven项目 这个里什么也不勾选&#xff0c;直接点…

<网络安全>《9 入侵防御系统IPS》

1 概念 IPS&#xff08; Intrusion Prevention System&#xff09;是电脑网络安全设施&#xff0c;是对防病毒软件&#xff08;Antivirus Programs&#xff09;和防火墙&#xff08;Packet Filter, Application Gateway&#xff09;的补充。 入侵预防系统&#xff08;Intrusio…

PMP成绩查询及电子版证书下载

PMP项目管理--学习专栏https://blog.csdn.net/xmws_it/category_10954848.html?spm1001.2014.3001.5482 2023年11月25日PMP考试成绩今日凌晨开始发布&#xff0c;按照往年的情况&#xff0c;成绩都是分批出的&#xff0c;如果暂时没查到成绩的同学请耐心等待&#xff0c;预计…

【webrtc】m98 : vs2019 直接构建webrtc及moduletest工程 2

字数有限制,我们继续 【webrtc】m98 : vs2019 直接构建webrtc及unitest工程 1modules_unittests 构建 Build started... 1>------ Build started: Project: modules_unittests, Configuration: GN Win32 ------ 1>ninja: Entering directory `G:\CDN\rtcCli\m98\src\o…

Git怎样用?(下载到本地,和在本地初始化)

全局设置&#xff1a; 点击第二个 输入&#xff1a; 例如&#xff1b;邮箱是随意地 git config --global user.name "名字" git config --global user.email "邮箱" 获取git仓库 本地初始化&#xff1a; 创建仓库 右键第二个 输入 git init 克隆&#…

力扣hot100 子集 回溯 超简洁

Problem: 78. 子集 文章目录 思路复杂度Code 思路 &#x1f468;‍&#x1f3eb; 参考题解 复杂度 时间复杂度: 添加时间复杂度, 示例&#xff1a; O ( n ) O(n) O(n) 空间复杂度: 添加空间复杂度, 示例&#xff1a; O ( n ) O(n) O(n) Code class Solution {List<Li…

wsl-ubuntu 安装 nginx

wsl-ubuntu 安装 nginx 1. 安装 nginx2. 确认 nginx 启动状态3. 重启 nginx4. 停止 nginx 1. 安装 nginx sudo apt install nginx2. 确认 nginx 启动状态 systemctl status nginx3. 重启 nginx systemctl restart nginx4. 停止 nginx systemctl stop nginx完成&#xff01;…

网络安全防御保护 Day4

要点一&#xff1a;防火墙的智能选路 就近选路&#xff1a; 在访问不同运营商的服务器时直接通过对应运营商的链路&#xff0c;以此来提高通信效率&#xff0c;避免绕路。 策略路由&#xff08;PBR&#xff09;&#xff1a; 这是一种基于用户定义的策略&#xff08;如业务需求、…

【云上建站】快速在云上构建个人网站1——概述及获取虚拟机

快速在云上构建个人网站1——概述及获取虚拟机 前言-个人建站一、云服务简介1、云服务2、优点首先&#xff0c;云服务器是按需租赁的&#xff0c;其次&#xff0c;云服务器公司会负责服务器的维护管理&#xff0c; 3、主流应用网站建设测试学习数据管理制图渲染 二、获取ECS1、…

PetaPixel专访尼康工程师 深度解读尼康相机的设计之道

值此尼克尔镜头成立90周年之际&#xff0c;国外知名媒体PetaPixel采访了尼康设计中心前川明哉&#xff08;Akiya Maekawa&#xff09;先生和尼康UX企划部&#xff08;影像事业部&#xff09;日野光輝&#xff08;Mitsuteru Hino&#xff09;先生&#xff0c;通过与他们的对话&a…

选型 之 工业相机篇

一、概述 23年24年行情不会好&#xff0c;公司各种想办法裁员&#xff0c;在大陆这个大熔炉中只能不断地提炼。我个人主要是在工业领域做2D图像算法和3D算法&#xff0c;但是现在出去都需要全能人才 方案、算法、运动控制等&#xff0c;我目前最大的短板就是方案&#xff0c;在…

力扣hot100 电话号码的字母组合 回溯

Problem: 17. 电话号码的字母组合 文章目录 思路复杂度&#x1f49d; Code 思路 &#x1f468;‍&#x1f3eb; 参考题解 复杂度 时间复杂度: O ( 3 8 ) O(3^8) O(38) 空间复杂度: O ( 3 8 ) O(3^8) O(38) &#x1f49d; Code class Solution {String[] map { "…

AMC系列可编程智能电测仪表功能以及选型

功能&#xff1a; AMC 系列可编程智能电测仪表是针对电力系统、工矿企业、公用设施、智能大厦的电力监控需求而设计的智能仪表&#xff0c;它集成电力参数的测量(如单相或者三相的电流、电压、有功功率、无功功率、视在功率、频率、功率因数)以及电能监测和考核管理。采用高亮…

单片机学习笔记---静态数码管显示

目录 数码管是什么&#xff1f; 一位数码管的引脚定义 四位一体的数码管引脚定义 数码管的原理图解析 数码管怎么显示数据&#xff1f;&#xff08;总结代码显示&#xff09; 今天开始学习数码管&#xff0c;它比LED和独立按键复杂一点 数码管是什么&#xff1f; LED数码…

【Docker Registry】docker 镜像仓库实战

Docker Registry 镜像仓库 (Docker Registry) 负责存储、管理和分发镜像&#xff0c;并且提供了登录认证能力&#xff0c;建立了仓库的索引。 镜像仓库管理多个 Repository&#xff0c; Repository 通过命名来区分。每个 Repository 包含一个或多个镜像&#xff0c;镜像通过镜…

AMEYA360详解蔡司原位液体电化学显微解决方案

基于蔡司全系列电子显微镜的原位液体电化学显微解决方案具有在真实液氛下的高分辨成像、多模态全面表征以及灵活扩展的创新优势。本期分享液氛SEM的原位多模态分析方法&#xff0c;以及高分辨成像的全新案例。 创新突破1&#xff1a;液氛SEM的原位多模态分析 蔡司原位液体电化学…

C# Socket 允许控制台应用通过防火墙

需求&#xff1a; 在代码中将exe添加到防火墙规则中&#xff0c;允许Socket通过 添加库引用 效果&#xff1a; 一键三联 若可用记得点赞评论收藏哦&#xff0c;你的支持就是写作的动力。 源地址: https://gist.github.com/cstrahan/513804 调用代码: private static void …

AI投资或成科技裁员罪魁祸首

最近的科技裁员让许多人对这个行业的稳定性产生了疑问。然而&#xff0c;仔细观察发现&#xff0c;这些裁员并不是经济困境的迹象&#xff0c;而是科技公司为了重新调整优先事项并投资未来而进行的战略举措。科技行业正投入数十亿美元用于人工智能&#xff08;AI&#xff09;&a…

BIO、NIO编程与直接内存、零拷贝

一、网络通信 1、什么是socket&#xff1f; Socket 是应用层与 TCP/IP 协议族通信的中间软件抽象层&#xff0c;它是一组接口&#xff0c;一般由操作 系统提供。客户端连接上一个服务端&#xff0c;就会在客户端中产生一个 socket 接口实例&#xff0c;服务端每接受 一个客户端…