MySQL执行过程与bufferPool缓存机制

news2024/11/29 0:33:07

MySQL执行过程与bufferPool缓存机制

  • 一、SQL执行流程图
  • 二、个人理解的Innodb执行引擎执行顺序
    • 1、去磁盘文件查找id为1的整页数据,加载到Buffer Pool缓存池中;
    • 2、然后写入更新数据的旧值(这里指name=zhuge的数据),写入到undo日志;
    • 3、然后更新内存数据,也就是把缓存池中的数据为name=zhuge666;
    • 4、写入redo日志,也是先写入到一个缓冲池中;
    • 5、mysql准备提交事务(客户端发起了commit命令)、redo日志写入磁盘(name=zhuge666);
    • 6、准备提交事务,binlog日志写入磁盘;
    • 7、binlog日志写入磁盘成功后,把commit标记到redo磁盘日志文件,然后提交事务完成;
    • 8、Buffer Pool缓存池数据,随机写入磁盘、以Page为单位写入。(这一步骤完成后,磁盘文件的name=zhuge666),到此一个完整的流程就结束了;
  • 三、为什么MYSQL要设计这么复杂的读写机制?
    • 1、为什么磁盘文件就是随机读写?
    • 2、redo日志为什么是有顺序的?
    • 3、为什么要有 redo log 日志?
    • 4、为什么要写 binlog日志?
    • 5、为什么要写 undo log日志?

一、SQL执行流程图

在这里插入图片描述

上图案例以客户端执行一条sql进行

update table set name ='zhuge666' where id =1
id为1的未修改前的数据为zhuge

在通过了mysqlserver层的连接器、查询缓存、分析器、优化器、之后,到达执行器开始,这里主要说明的是以Innodb执行引擎执行流程顺序;

二、个人理解的Innodb执行引擎执行顺序

1、去磁盘文件查找id为1的整页数据,加载到Buffer Pool缓存池中;

注意可能拿一页,也可能拿多页
mysql底层是按页为单位的,他不是一条条记录去拿的;
通过索引定位到磁盘里这条数据,把整页数据加载到缓存里;

2、然后写入更新数据的旧值(这里指name=zhuge的数据),写入到undo日志;

undo日志也就是回滚日志,主要用于事务失败时,就可以用undo的日志数据回滚Buffer Pool缓存池的数据
undo日志是Innodb独有的

3、然后更新内存数据,也就是把缓存池中的数据为name=zhuge666;

4、写入redo日志,也是先写入到一个缓冲池中;

这里是写redo的缓冲区里,通过缓存机制,底层批量去做写到redo日志里;
redo日志是innodb特有的

5、mysql准备提交事务(客户端发起了commit命令)、redo日志写入磁盘(name=zhuge666);

6、准备提交事务,binlog日志写入磁盘;

binlog日志属于server层,所以不管是什么执行引擎都有一套实现

7、binlog日志写入磁盘成功后,把commit标记到redo磁盘日志文件,然后提交事务完成;

这里写入的commit该标记,是为了保证事务提交后redo与binlog数据一致
做到这一步,对于方法而言,已经事务提交成功了,java端已经认为成功了

8、Buffer Pool缓存池数据,随机写入磁盘、以Page为单位写入。(这一步骤完成后,磁盘文件的name=zhuge666),到此一个完整的流程就结束了;

数据库他会有一个io线程,不定期的把缓存池中的页数据,统一刷到磁盘里;

三、为什么MYSQL要设计这么复杂的读写机制?

在看完上面全流程后,一定会有一个疑问,为什么要设计的这么复杂?直接更新到磁盘不行吗?
个人理解原因主要是考虑到性能问题,内存操作肯定比磁盘操作快的多。

原因
因为如果来一个请求就直接对磁盘文件进行随机读写,然后更新磁盘文件里的数据性能可能相当差
因为磁盘随机读写的性能是非常差的,所以直接更新磁盘文件是不能让数据库抗住很高并发的。
Mysql这套机制看起来复杂,但它可以保证每个更新请求都是更新内存BufferPool,然后顺序写日志文件,同时还能保证各种异常情况下的数据一致性。
更新内存的性能是极高的,然后顺序写磁盘上的日志文件的性能也是非常高的,要远高于随机读写磁盘文件。
正是通过这套机制,才能让我们的MySQL数据库在较高配置的机器上每秒可以抗下几干的读写请求。

1、为什么磁盘文件就是随机读写?

可能会进行更新、删除等操作,可能不在同一个数据页

2、redo日志为什么是有顺序的?

因为redo是按顺序写,不会删除;
磁盘的顺序IO和内存操作性能相媲美,随机读写,相当低;
写redo日志是顺序io,写磁盘是随机io;

3、为什么要有 redo log 日志?

其实也是为了防止特殊的异常情况:
如事务提交成功,但是数据库宕机了,这时候还可以用redo日志来恢复缓存区数据。

4、为什么要写 binlog日志?

万一数据库挂了(宕机了),磁盘里还是老数据,还未更新。
等数据去重启的时候,他会用这个redo日志恢复buffer pool里面的数据,最终执行第8步)
其次binlog可以恢复误删的数据(生产环境尤其重要,一般都会开启)。

5、为什么要写 undo log日志?

一个事务开始,进行增删改的时候,会把原数据写到undo日志,方便在事务失败的时候,进行数据回滚(这里主要是回滚BufferPool缓存池的数据)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/769169.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【电路原理学习笔记】第4章:能量与功率:4.5 稳压电源与电池

第4章:能量与功率 4.5 稳压电源与电池 电网采用交流电形式将电能从发电站传输给用户,这是因为交流电易于转换成适宜传输的高压和终端用户使用的低压。在远距离传输时,采用高电压传输的效率和效益要高得多。对于给定的功率,较高的…

安全开发-PHP应用模版引用Smarty渲染MVC模型数据联动RCE安全TP框架路由访问对象操作内置过滤绕过核心漏洞

文章目录 自写模版引用Smarty模版引用代码RCE安全测试TP框架-开发-配置架构&路由&MVC模型TP框架-安全-不安全写法&版本过滤绕过 自写模版引用 1、页面显示样式编排 <?php include config.php; $templatefile_get_contents(new.html);$id$_GET[id] ? :1; $sq…

win11中的pagefile.sys

在C盘系统下&#xff0c;有一个命名为pagefile.sys的文件占用C盘太大的空间&#xff0c;不少用户怕删除pagefile.sys文件之后会对系统造成影响&#xff0c;而不少用户想要将pagefile.sys文件移动到D盘中。那么pagefile.sys是什么文件&#xff1f;Win10系统下pagefile.sys文件太…

解决appium-doctor报 bundletool.jar cannot be found

一、下载bundletool.jar 下载地址&#xff1a;https://github.com/google/bundletool/releases 二、重命名 重命名这个jar包为bundletool.jar&#xff0c;在android sdk目录下&#xff0c;新建bundle-tool目录&#xff0c;把bundletool.jar包放入其中。 三、配置环境 path后追加…

大模型开发(七):LLM提示工程(Prompt)与思维链(CoT)

全文共6500余字&#xff0c;预计阅读时间约13~20分钟 | 满满干货(附案例)&#xff0c;建议收藏&#xff01; 一、LLM模型的涌现能力 在GPT没有爆火之前&#xff0c;一直以来的共识都是&#xff1a;模型的规模越大&#xff0c;模型在下游任务上的能力越多、越强。 LLM原始训…

LeetCode 75 第四题(605)种花问题

题目: 示例: 分析: 给一个数组表示一个花园,其中0表示空地,1表示已经有花种下去了. 空地可以种花,但是花和花之间不能相邻,即数组中不能有两个连续的1. 给一个数n,问我们能不能在花园里种n朵花. 我们可以找出我们所能种的最多的数量(而不是只种n朵),然后比较我们最多能种的…

idea手动导入了包但编译运行还是报找不到xxx.jar包的问题

1、先把jar包放目录下并add as libary 2、在pom.xml中加入 <!--添加的本地的外部jar包依赖--><dependency><!--groupId、artifactId、version为自定义&#xff0c;groupId与artifactId但是不能重名--><groupId>JNative</groupId><artifactId…

搭建srt服务器

目录 1、下载和编译srt2、下载和编译srt-live-server3、编译工程,并把编程出来的可执行程序放到nfs4、板子上跑程序5、用ffplay从srt服务器上流6、srt中./configure遇到的问题解决方法1、下载源码2、下载好之后cp到ubuntu3、解压安装4、创建软链接:创建快捷名字tclsh,放到us…

2023-07-18力扣今日两题-太难了吧

链接&#xff1a; LCP 75. 传送卷轴 题意&#xff1a; 给一个正方形迷宫&#xff0c;主角是A&#xff0c;每次可以上下左右走一格子&#xff0c;有四种类型的格子&#xff1a;墙、初始位置、魔法水晶、空地 另一个人B&#xff0c;可以传送一次A&#xff0c;只能在空地传送&…

青岛大学_王卓老师【数据结构与算法】Week05_14_队列的顺序表示和实现2_学习笔记

本文是个人学习笔记&#xff0c;素材来自青岛大学王卓老师的教学视频。 一方面用于学习记录与分享&#xff0c; 另一方面是想让更多的人看到这么好的《数据结构与算法》的学习视频。 如有侵权&#xff0c;请留言作删文处理。 课程视频链接&#xff1a; 数据结构与算法基础…

“掌握更多的快速排序技巧:三路划分、双路快排和非递归的深入理解”

快速排序是一种基于分治思想的排序算法&#xff0c;它能够以极快的速度将一个乱序的数组重新排列成有序的序列。不仅如此&#xff0c;快速排序还具有简洁的实现代码和良好的可扩展性&#xff0c;成为最受欢迎的排序算法之一。接下来&#xff0c;让我带你了解一下它的魅力吧&…

下半年的 58,准备疯狂内卷?

阅读本文大概需要 1.18 分钟。 关于 58同城&#xff0c;大家都很熟悉&#xff0c;最近看到它的相关信息&#xff0c;还是源于公司「毕业」的事情。 脉脉上在 5 月的时候就开始讨论说 58同城正在进行一波「毕业」&#xff0c;裁员比例在 30%至少。 紧接着&#xff0c;58的老总姚…

Openlayers实战:加载WKT文件

在OPenlayers的交互中,经常性的我们要加载一些数据,在这个实战中,演示的是加载WKT文件。 WKT格式是一种文本格式,用于描述二维和三维几何对象的空间特征。WKT是“Well-Known Text”的缩写,是一种开放的国际标准,由Open Geospatial Consortium(OGC)定义和维护。WKT格式…

vue实现左右布局(右侧超出的时候换行展示)

目录 vue实现左右布局(右侧超出的时候换行展示)code效果 vue实现左右布局(右侧超出的时候换行展示) code <ul class"body-detail"><li><div class"li-label">姓名</div><div class"li-value">XXXXXXXXXXXXXXXXXX…

ai绘画软件哪个好?这几款ai绘画图片生成器分享给你

近期我有个朋友过生日&#xff0c;我想画一幅动物图片绘画送给他&#xff0c;但是奈何我的绘画技巧实在是不堪入目。好在我有几个朋友刚好是ai绘画师&#xff0c;他们跟我说&#xff0c;现在有一些ai绘画工具&#xff0c;可以轻松帮助我画出非常优质的动物图片画作&#xff0c;…

汤臣倍健盈利水平再创新高,其爆品逻辑或可复制粘贴!

前几天&#xff0c;汤臣倍健官方发布了《2023年半年度业绩预告》&#xff0c;预计归母净利润约13.63亿元至15.72亿元。对比上年同期增长30%—50%&#xff0c;上半年盈利水平有望超过2021年中报业绩的13.71亿元&#xff0c;再创新高。 汤臣倍健最初成立于1995年&#xff0c;在20…

项目经理为什么越来越难做了?

作为项目经理&#xff0c;我们面临着来自各方的挑战和质疑。这个职位的困难度越来越高&#xff0c;越来越多的人开始对这个职位感到不满意。然而&#xff0c;要成为一名优秀的项目经理&#xff0c;我们需要深入思考并采取正确的策略。 1、明确项目目标 项目经理在接手一个项目…

类 和 对象

目录 1、面向对象编程 2、面向对象编程 2.1面向对象编程特征 3、类和对象的概念 3.1类的定义 3.11属性 3.12方法 3.13重载 3.14递归 3.13返回值return 3.2对象 3.2.1对象组合 4、jvm内主要三块内存空间 5、参数传值 1、面向对象编程 面向过程&#xff1a;关注的是步骤…

fastadmin 行内无刷新编辑editable插件使用方法详解

后台插件安装好后&#xff0c;只用设置js即可 define([jquery, bootstrap, backend, table, form,editable], function ($, undefined, Backend, Table, Form) {var Controller {index: function () {// 初始化表格参数配置Table.api.init({extend: {index_url: wd/guanli/in…

天意云RstudioServer使用教程

写在前面 Rstudio与R语言的关系就像汽车和引擎一样&#xff0c;两者相得益彰不可分割。在日常使用过程中&#xff0c;需要在Rstudio中进行代码边写、调试、运行&#xff0c;一般情况下这个过程是在自己的笔记本电脑完成的。 emmm...... 有没有一种更优雅的方式&#xff1f; Rst…