【踩坑】工作中真实踩坑,一个or让sql变慢7倍

news2024/10/5 13:45:50

工作中真实踩坑,一个or让sql变慢1000倍

    • 1.情况说明
    • 2.解释计划
    • 3.or改成union
    • 4.总结

1.情况说明

  1. 测试环境,有两张表,分别是讲师表t_train_lecturer(后面简称B表),和讲师的授课时长表t_train_activity(后面简称A表)
  2. B表有1w多条数据,A表10w条数据,但是A是个混合表,其中和B有关系的数据也是1w左右
  3. B表讲师分为内部外部的讲师(坑就坑在这了),在A表中用lecturer_source的0和1表示,其中内部则关联lecturer_num工号,外部则关联telephone_num手机号.
  4. A表lecturer_id,B表的lecturer_num,telephone_num均为索引

于是就有了这么一条sql,分组聚合查出讲师的授课时长:

select
	a.lecturer_id,
	sum(a.course_hour) totalCourseHour
from
	t_train_lecturer l
left join t_train_activity a on
	a.lecturer_id is not null
	-- 内部
	and ((a.lecturer_id = l.lecturer_num
		and a.lecturer_source = 0)
    -- 外部		
	or (a.lecturer_id = l.telphone_num
		and a.lecturer_source = 1))
where
	l.delete_flag = 0
group by
	a.lecturer_id

如上,我在left join的条件中用or将内部外部一起查,执行,结果sql达到10s

2.解释计划

解释计划如下: 可以看到,两个表全表扫描了
在这里插入图片描述
再用dbeaver的解释计划看执行成本
在这里插入图片描述

3.or改成union

为了避免其他地方改动的影响,这里就单单将or的条件拆成两个sql后union

select
	a.lecturer_id,
	sum(a.course_hour) totalCourseHour
from
	t_train_lecturer l
left join t_train_activity a on
	 a.lecturer_id is not null
	 -- 内部
	and (a.lecturer_id = l.lecturer_num and a.lecturer_source = 0)
where
	l.delete_flag = 0
group by
	a.lecturer_id

union all

select
	a.lecturer_id,
	sum(a.course_hour) totalCourseHour
from
	t_train_lecturer l
left join t_train_activity a on
	a.lecturer_id is not null
	-- 外部
	and (a.lecturer_id = l.telphone_num and a.lecturer_source = 1)
where
	l.delete_flag = 0
group by
	a.lecturer_id

执行耗时: 1.5s
解释计划: 可以看到用到了A表的key,因为是left join所以B表是全表

在这里插入图片描述

查看dbeaver的执行成本
在这里插入图片描述

4.总结

虽然一直都知道or会让索引失效,但是真正遇到的时候才发现可怕之处,这才测试环境1w到10w的数据,就已经是10s的查询时间,正式环境可想而知。

当然最终的sql肯定也不是1.5s, 因为只是需要讲师和它的时长,比如下面这个,先单独聚合A表得到时长,再分别通过exist来关联内部和外部B表数据筛选

select
	lecturer_id,
	sum(course_hour)
from
	t_train_activity a
where
	lecturer_id is not null
	and lecturer_source = 0
	and exists (
	select
		1
	from
		t_train_lecturer l
	where
		l.delete_flag = 0
		and l.lecturer_num = a.lecturer_id)
group by
	lecturer_id
union
select
	lecturer_id,
	sum(course_hour)
from
	t_train_activity a
where
	lecturer_id is not null
	and lecturer_source = 1
	and exists (
	select
		1
	from
		t_train_lecturer l
	where
		l.delete_flag = 0
		and l.telphone_num = a.lecturer_id)
group by
	lecturer_id

执行时间20ms

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/25911.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

opencv 图像平滑

高通滤波可以找到图像的边缘。低通滤波可以去除噪音,模糊图像。 自定义滤波器 cv2.filter2D() import cv2 import numpy as np from matplotlib import pyplot as pltimg cv2.imread(img1.png) imgcv2.cvtColor(img,cv2.COLOR_BGR2RGB) kernel np.ones((5, 5), n…

2022年11月10篇论文推荐

随着最大的人工智能研究会议(NeurIPS 2022)即将到来,我们进入了2022年的最后阶段。让我们回顾一下人工智能世界最近发生了什么。 在介绍推荐论文之前,先说一个很有意思的项目: img-to-music:想象图像听起来是什么样的模型! https://hugging…

人工智能和自动驾驶业务将是百度未来的最强增长动力

来源:猛兽财经 作者:猛兽财经 虽然百度(BIDU)长期以来一直缺乏增长动力,但猛兽财经认为现在可能是投资百度股票的时候了。因为我们认为百度在未来有几个可以实现强劲增长的动力。首先,百度可以利用其在中国自动驾驶市场的领先地位…

如何验证ARP缓存表最多能缓存多少条动态条目

ARP协议原理、ARP缓存表目的,这些在我的文章中已经反复提及过多次了。ARP缓存表里有静态和动态条目两种,静态的是写死的,没有老化时间,不会随着时间的流逝而自动删除。动态条目是缓存的,有老化时间timeout,如果长时间没有刷新,老化时间到了就会自动删除。老化时间是一个…

智能服务机器人产品及解决方案

产品概述 随着人工智能(AI)领域技术的不断发展和演进,面向人工智能的领域应用也越来越被更多的企业关注。信迈作为中国领先的创新型软件及信息技术服务商,一直致力于人工智能领域技术的探索和实践。 信迈凭借自身雄厚的技术能力…

Cookie注入和X-Forwarded-For注入

💪💪Cookie注入和X-Forwarded-For注入一 .Cookie注入1.创建漏洞环境2.漏洞攻击2.1判断是否有注入2.2信息收集2.3注入获取数据库名2.4注入获取表名2.5注入获取列名2.6注入获取信息3.sql靶场实战二. X-Forwarded-For注入1.创建漏洞环境2.漏洞攻击2.1判断是…

浅析Betaflight中的OSD叠加程序【MAX7456AT7456】

前言:想要对OSD下手已经不是头一次了,前几次都浅尝辄止。一个是能力不够,BetaFlight的代码体系太庞大了,看不懂也摘不出来。 这次要做一款带osd功能的接收机(用在遥控车上),所以又来打飞控程序…

[附源码]java毕业设计校园快递管理系统

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

1万属性,100亿数据,每秒10万吞吐,架构如何设计?

有一类业务场景,没有固定的schema存储,却有着海量的数据行数,架构上如何来实现这类业务的存储与检索呢?58最核心的数据“帖子”的架构实现技术细节,今天和大家聊一聊。一、背景描述及业务介绍什么是58最核心的数据&…

深度学习入门(四十四)计算机视觉——多尺度目标检测

深度学习入门(四十四)计算机视觉——多尺度目标检测前言计算机视觉——多尺度目标检测教材1 多尺度锚框2 多尺度检测3 小结前言 核心内容来自博客链接1博客连接2希望大家多多支持作者 本文记录用,防止遗忘 计算机视觉——多尺度目标检测 教…

【Hack The Box】linux练习-- Postman

HTB 学习笔记 【Hack The Box】linux练习-- Postman 🔥系列专栏:Hack The Box 🎉欢迎关注🔎点赞👍收藏⭐️留言📝 📆首发时间:🌴2022年11月17日🌴 &#x1f…

大学生旅游风景主题dreamweaver网页设计大作业-陕西渭南HTML+CSS制作网页

家乡旅游景点网页作业制作 网页代码运用了DIV盒子的使用方法,如盒子的嵌套、浮动、margin、border、background等属性的使用,外部大盒子设定居中,内部左中右布局,下方横向浮动排列,大学学习的前端知识点和布局方式都有…

从不学无术到架构师Leader:这份java面试知识宝典,一举斩获京东T8

前言 面试了大大小小各种公司,有BAT的,上市的,AB各种轮的,初创的……今天大概列举了下,至少有30家公司。 在这里我总结了求职面试需要注意的各种问题,希望可以用我收集的《Java面试核心知识笔记》及面试经…

element UI 组件封装--搜索表单(含插槽和内嵌组件)

组件封装–搜索表单 searchForm.vue 可根据需要&#xff0c;参考姓名和工作自行增加更多常用的默认搜索项 <template><div style"padding: 30px; width: 300px"><el-formref"searchFormRef":model"searchData":label-width"…

伽马校正笔记(Gamma Correction)

在数字图像系统中&#xff0c;伽马&#xff08;Gamma&#xff09;是一个重要的但很少被正确理解的特性。它定义了一个像素的数值和对应的实际亮度之间的关系。 人眼感知的亮度和相机“看到”的亮度区别 对于数码相机来说&#xff0c;当检测的光子数增加一倍时&#xff0c;sens…

Win11蓝屏代码IRQL NOT LESS OR EQUAL的处理方法

蓝屏错误IRQL NOT LESS OR EQUAL是用户常见的系统故障了&#xff0c;升级到Win11新系统也遇到了同样的问题&#xff0c;那么Win11蓝屏问题IRQL NOT LESS OR EQUAL要如何解决&#xff1f;下面就来看看小编整理的解决办法。 什么是 IRQL_NOT_LESS_OR_EQUAL 错误&#xff1f; IRQL…

【Docker】Docker入门学习

【Docker】学习docker 1.Docker安装与启动 1.1.安装 【第一步】yum包更新到最新版本 sudo yum update【第二步】安装需要的软件包&#xff0c;yum-util提供的yum-config-manager功能&#xff0c;另外两个是devicemapper驱动依赖的 sudo yum install -y yum-utils device-m…

三菱FX3U——ST编程定时器和计数器

在部件选择——FB——选择定时器类型 双击弹出标签登录/选择对话框&#xff0c;点击应用&#xff1b; 编辑器自动插入TON_1; 光标放在TON_1后&#xff0c;按下CTRLF1&#xff0c;补全代码; IN&#xff1a; 输入&#xff0c;PT&#xff1a;定时时间&#xff0c;Q&#xff1a;输…

windows上使用Gitblit搭建git服务仓库

第一步: 由于要运行jar包&#xff0c;得先安装好java环境&#xff0c;安装环境的教程很多&#xff0c;这步不做赘述 第二步&#xff1a; 找到Gitblit的安装包 http://gitblit.github.io/gitblit/ 这是官网地址&#xff0c;我就没下载成功过&#xff0c;你要不信&#xff0c;也可…

PyQt5 QMediaPlayer播放不了视频

代码&#xff1a; 编辑器 pycharm: from PyQt5.QtWidgets import QApplication, QWidget, QFileDialog from PyQt5.QtMultimediaWidgets import QVideoWidget from PyQt5.QtMultimedia import QMediaPlayer, QMediaContent import sysapp QApplication(sys.argv)win QWidge…