数据库系统理论 -- 关系查询处理和查询优化

news2024/11/17 17:23:55

本篇文章会先介绍数据库的查询处理,然后介绍数据库的查询优化。其中查询优化分为代数优化物理优化。代数优化是指关系表达式的优化,物理优化是指通过存取路径和底层操作算法的选择进行优化。

查询处理

  • 查询分析
  • 查询检查
  • 查询优化
  • 查询执行

查询分析

对查询语句进行扫描,进行词法分析和语法分析。

  • 词法分析:MySQL 会根据你输入的字符串识别出关键字出来,构建出 SQL 语法树,这样方便后面模块获取 SQL 类型、表名、字段名、 where 条件等等。
  • 语法分析:根据词法分析的结果,语法解析器会根据语法规则,判断你输入的这个 SQL 语句是否满足 MySQL 语法。

查询检查

对合法的查询语句进行语义检查,即根据数据字典中有关的模式定义检查语句中的数据库对象,如关系名,属性名是否存在和有效。如果是对视图的操作,则要用视图消解方法对视图的操作转换成对基本表的操作。还要根据数据字典中的用户权限和完整性约束定义对用户存取权限进行检查。如果该用户没有相应的访问权限或者违反了完整性约束,就拒绝该查询。

查询优化

代数优化,物理优化

查询执行

根据优化器得到的执行策略生成查询执行计划,由代码生成器生成执行这个查询计划的代码,然后加以执行,回送查询结果。

查询操作几种常见的算法示例

选择操作

  • 简单的全表扫描算法

    假设可以使用的内存为M块,全表扫描的算法思想如下:

    • 按照物理次序读Student的M块到内存
    • 检查内存的每一个元组t,如果t满足选择条件,则输出t

    全表扫描只需要很少的内存(最少为一块)就可以运行,而且控制简单。对于规模小的表,这种算法比较有效。对于规模大的表进行顺序扫描,当选择率比较低的时候,这个算法效率很低。

  • 索引扫描算法

  • 选择率:对于一个查询条件,返回结果中符合条件的记录数占总记录数的比例。
  • 检索码:对树中元素进行比较和查找的关键字。

一般情况下,当选择率比较低的时候,基于索引的选择算法要优于全表扫描算法。但是在某些情况下,例如选择率比较高的时候,或者要查找的元组均匀分布在查找的表中,这时基于索引的选择算法性能不如全表扫描。因为除了对表的扫描操作,还要加上B+树索引的扫描操作,对每一个检索码,从B+树根节点到叶子节点路径上的每个节点都要执行一次IO操作。

连接操作

  • 嵌套循环算法。按照数据块存入内存,而不是按照元组进行I/O。

  • 排序-合并算法:

    • 如果参与连接的表没有排好序,首先对Student表和SC表按连接属性Sno排序。
    • 取Student表中第一个Sno,依次扫描SC表中具有相同Sno的元组,把它们连接起来。
    • 当扫描到Sno不相同的第一个SC元组的时候,返回Student表扫描它的下一个元组,重复以上步骤直到完成。

    对于大表,先排序后排序-合并连接算法执行连接,总的时间一般仍会减少。

  • hash join算法:

    • 把连接属性作为hash码,用同一个hash函数把Student表和SC表中的元组散列到hash表中。
    • 第一步:划分阶段,也叫创建阶段,即创建hash表。对包含较少的元组的表(如Student表)进行一遍处理,把它的元组按hash函数分散到hash表的桶中。
    • 第二步:试探阶段:对另一个表(SC表)进行一遍处理,把SC表的元组也按照一个hash函数进行散列,找到适当的hash桶,并把SC元组与桶中来自Student表并与之相匹配的元组连接起来。

连接属性:连接数据库的参数和选项,用于指定数据库连接的相关信息。连接属性包括数据库服务器地址、数据库名称、用户名、密码、端口号、字符集、连接超时时间等。

查询优化

集中式数据库:查询执行开销主要包括磁盘存取块数(I/O代价),处理机时间(CPU代价)以及查询的内存开销。

分布式数据库:IO+CPU+内存+通信代价

一个实例

求选修了2号课程的学生姓名。

在这里插入图片描述
在这里插入图片描述

代数优化

代数优化策略是通过对关系代数表达式的等价变价变换来提高查询效率。

具体过程略

物理优化

选择的方法可以是:

  • 基于规则的启发式优化。启发式规则是指那些大多数情况下都适用,单补是在每种情况下都是最好的规则。
  • 基于代价估算的优化。使用优化器估算不同执行策略的代价,并选出具有最小代价的执行计划。
  • 两者结合的方式。

基于启发式规则的存取路径选择优化

选择操作的启发式规则

  • 对于小关系,使用全表顺序扫描,即使选择列上有索引
  • 对于大关系,启发式规则有:
    • 对于选择条件是主码=值的时候,查询结果最多是一个元组,也就是主键索引,说白了就是使用索引覆盖原则。
    • 对于选择条件是非主属性=值的查询,并且选择列上有索引,则要估算查询结果的元组数目,如果比例比较小(< %10),可以使用索引扫描算法,否则还是使用全表顺序扫描。
    • 对于选择条件是属性上的非等值查询或者范围查询,并且选择列上有索引,和上面一条是方案是一模一样的。
    • 对于用AND连接的合取选择条件,查看是否有组合索引,有就优先用组合索引扫描方式。
    • 对于用OR连接的析取选择条件,一般使用全表顺序扫描。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/634335.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JNI开发Tips

异常的检测和打印&#xff1a; c中Native代码调用JNI的时候如果产生了异常不会展开原生堆栈&#xff1a; 所以在cJNI调用的时候构造一个FindClass时找不到类的异常&#xff0c;我们看到的实际的崩溃堆栈会是下面的样子&#xff0c;看不到c层代码的调用链路&#xff1a; 在JNI…

【Reids】搭建主从集群以及主从数据同步原理

目录 一、搭建主从集群 1、介绍 2、搭建 二、数据同步原理 1、全量同步 2、主节点如何判断是不是第一次连接 3、增量同步 4、优化主从数据同步 一、搭建主从集群 1、介绍 单节点的Redis并发能力存在上限&#xff0c;要提高并发能力就需要搭建主从集群&#xff0c;实现…

WinDbg安装入坑2(C#)

由于作者水平有限&#xff0c;如有写得不对的地方&#xff0c;请指正。 使用WinDbg的过程中&#xff0c;坑特别的多&#xff0c;对版本要求比较严格&#xff0c;如&#xff1a; 1 32位应用程序导出的Dump文件要用32位的WinDbg打开&#xff0c;想要没有那么多的问题&#xf…

数据库存储过程和函数

MySQL存储过程和存储函数 MySQL中提供存储过程&#xff08;procedure&#xff09;与存储函数&#xff08;function&#xff09;机制&#xff0c;我们先将其统称为存储程序&#xff0c;一般的SQL语句需要先编译然后执行&#xff0c;存储程序是一组为了完成特定功能的SQL语句集&…

惊人!截至6月10日全球COVID-19疫情玫瑰图,这些国家最危险

一、引言 自从COVID-19疫情在2020年爆发以来&#xff0c;数据可视化成为了了解疫情趋势和规模的重要手段。饱受争议的疫情数据可视化中的南丁格尔玫瑰图&#xff08;Rose Chart&#xff09;&#xff0c;由于具有简洁、直观、易于理解等特点&#xff0c;逐渐成为了一个备受欢迎的…

MySQL中索引失效的场景

1.对索引使用左或者左右模糊匹配 当我们使用左或者左右模糊匹配的时候&#xff0c;也就是 like %xx 或者 like %xx% 这两种方式都会造成索引失效。 比如下面的 like 语句&#xff0c;查询 name 后缀为「林」的用户&#xff0c;执行计划中的 typeALL 就代表了全表扫描&#xf…

什么是SOME/IP-SD?

SOME/IP-SD 是"Scalable service-Oriented MiddlewarE over IP - Service Discovery"的缩写&#xff0c;是SOME/IP的一种特殊报文&#xff0c;可以让Client知道Server可以提供哪些服务&#xff0c;SOME/IP有两种动态发现服务的机制&#xff1a;一种是Offer Service&a…

Javascript作用域 (局部作用域和全局作用域) 详细介绍

Javascript作用域 (局部作用域和全局作用域) 详细介绍 作用域是当前的执行上下文&#xff0c;值和表达式在其中“可见”或可被访问。 常见的作用域为&#xff1a; 全局作用域&#xff1a;脚本模式运行所有代码的默认作用域 函数作用域&#xff1a;由函数创建的作用域 局部作用域…

IP-Guard上传软件到软件中心服务器时,软件ID、显示名称等信息如何获取?

如何实现客户端只能从软件中心下载安装软件? 控制台设置禁止全部软件安装的软件管理策略即可。即使设置禁止,软件中心安装不会受影响的。 在控制台-策略-软件安装管理策略,勾选禁止全部软件的安装。 软件中心客户端下载安装软件后,下载安装包是否会自动删除? 1、http方式…

SpringBoot Actuator详解(四十八)

还是要开心的&#xff0c;万一梦想真得实现了呢 上一章简单介绍了SpringBoot日志配置(四十七) , 如果没有看过,请观看上一章 本章节详细参考了: https://www.cnblogs.com/caoweixiong/p/15325382.html Spring Boot Actuator 模块提供了生产级别的功能&#xff0c;比如健康检查…

.locked加密勒索数据库级别恢复---惜分飞

有客户数据库被加密成.locked结尾的扩展名,数据库无法正常使用 对应的READ_ME1.html文件中信息类似:send 0.1btc to my address:bc1ql8an5slxutu3yjyu9rvhsfcpv29tsfhv3j9lr4. contact email:servicehellowinter.online,if you can’t contact my email, please contact some d…

Leetcode-6425. 找到最长的半重复子字符串

题目描述 给你一个下标从 0 开始的字符串 s &#xff0c;这个字符串只包含 0 到 9 的数字字符。 如果一个字符串 t 中至多有一对相邻字符是相等的&#xff0c;那么称这个字符串是 半重复的 。 请你返回 s 中最长 半重复 子字符串的长度。 一个 子字符串 是一个字符串中一段…

Redis第十章 Redis HyperLogLog与事务、Redis 7.0前瞻

HyperLogLog HyperLogLog(Hyper[ˈhaɪpə])并不是一种新的数据结构(实际类型为字符串类型)&#xff0c;而是一种基数算法,通过 HyperLogLog 可以利用极小的内存空间完成独立总数的统计&#xff0c;数据集可以是 IP、Email、ID 等。 如果你的页面访问量非常大&#xff0c;比如…

JUC基础认识(2)

线程池(重点)&#xff1a;3大方法&#xff0c;7大参数&#xff0c;4种拒绝策略 程序运行的本质:占用系统资源&#xff01;优化资源的使用&#xff01;----->池化技术 池化技术的好处: 1.降低资源的消耗 2.提高响应速度 3.方便管理 线程复用&#xff0c;可以控制最大…

Java ~ Reference ~ FinalizerHistogram【总结】

前言 文章 相关系列&#xff1a;《Java ~ Reference【目录】》&#xff08;持续更新&#xff09;相关系列&#xff1a;《Java ~ Reference ~ FinalizerHistogram【源码】》&#xff08;学习过程/多有漏误/仅作参考/不再更新&#xff09;相关系列&#xff1a;《Java ~ Referenc…

通俗讲解元学习(Meta-Learning)

元学习通俗的来说&#xff0c;就是去学习如何学习&#xff08;Learning to learn&#xff09;,掌握学习的方法&#xff0c;有时候掌握学习的方法比刻苦学习更重要&#xff01; 下面我们进行详细讲解 1. 从传统机器学习到元学习 传统的机器学中&#xff0c;我们选择一个算法&…

Fiddler汉化(一箭三连)

我安装的fiddler 操作系统是&#xff1a;Win10 64Bit 操作系统的版本号是&#xff1a;v5.0.20194.41348 for .NET 4.6.1 fiddler下载地址&#xff1a; 我用夸克网盘分享了「02-Web调试工具-FiddlerSetup.exe」&#xff0c;点击链接即可保存。 链接&#xff1a;https://pan.quar…

python调用go语言的代码

最近在学习上述Python&#xff0c;go语言&#xff0c;研究下互相调用的事项&#xff0c;在windows下使用 linux下&#xff1a; gcc -o libpycall.so -shared -fPIC pycall.c windows下&#xff1a; gcc -o libpycall.dll -shared -fPIC pycall.c 但是实际的过程中编译成*.so…

使用扩展卡尔曼滤波(EKF)融合激光雷达和雷达数据(Matlab代码实现)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…

复习js的Object.defineProperty()

今天在看尚硅谷的Vue2时&#xff0c;讲到了Object.defineProperty()方法&#xff0c;有点忘了&#xff0c;所以找资料复习了一下。 总说 Object.defineProperty()是一种用于定义对象属性的JavaScript方法&#xff0c;它允许开发人员精确控制一个属性的行为&#xff0c;并可以…