MySQL—redo log、undo log以及MVCC

news2024/9/22 19:30:32

MySQL—redo log、undo log以及MVCC

  首先回忆一下MySQL事务的四大特性:ACID,即原子性、一致性、隔离性和持久性。其中原子性、一致性、持久性实际上是由InnoDB中的两份日志保证的,一份是redo log日志,一份是undo log日志;而隔离性则依赖于锁和MVCC。

一、redo log

  重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。
  该日志文件由两部分组成:重做日志缓冲( redo log buffer )以及重做日志文件( redo log file ),前者在内存中,后者在磁盘中。

1. 应用场景

  我们知道,在InnoDB引擎中的内存结构中,主要的内存区域就是缓冲池,在缓冲池中缓存了很多的数据页。 当我们在事务中执行多个增删改的操作时,InnoDB引擎会先操作缓冲池中的数据,如果缓冲池没有对应的数据,则会通过后台线程将磁盘中的数据加载出来,存放在缓冲池中,然后将缓冲池中的数据修改,修改后的数据页我们称为脏页。 而脏页则会在一定的时机,通过后台线程刷新到磁盘中,从而保证缓冲池与磁盘数据的一致性。 然而缓冲池的脏页数据并不是实时刷新的,而是一段时间之后才将缓冲池的数据刷新到磁盘中,假如刷新到磁盘的过程出错了,而提示给用户事务提交成功,这样数据没有持久化下来,违背了事务的持久性。redo log的作用就是,当事务提交之后会把所有修改信息都存到该日志文件中,用于在刷新脏页到磁盘发生错误时, 进行数据恢复使用。

2. 工作流程

在这里插入图片描述
  当对缓冲池的数据进行增删改之后,会首先将数据页变化记录在redo log buffer中。在事务提交时,会将redo log buffer中的数据刷新到redo log磁盘文件中。之后,如果刷新缓冲池的脏页到磁盘时,发生错误,此时就可以借助于redo log进行数据恢复,这样就保证了事务的持久性。 而如果脏页成功刷新到磁盘,此时redo log就没有作用了,就可以删除了,所以磁盘中存在两个redo log文件并且是循环写的。

3. 优点

  可能有人会问,那为什么每一次提交事务,要刷新redo log buffer到磁盘中呢,而不是在事务提交时直接将buffer pool中的脏页刷新到磁盘呢?
  因为在业务操作中,我们操作数据一般都是随机的,如果此时刷新磁盘,是随机IO,性能比较低。而redo log在往磁盘文件中写入数据时,由于是日志文件,所以是顺序IO。顺序IO的效率要远大于随机IO。 这种先写日志的方式,称之为 WAL ( Write-Ahead Logging )。

二、undo log

  回滚日志,用于记录数据被修改前的信息 , 作用包含两个:

  • 提供回滚(保证事务的原子性和一致性)
  • MVCC(多版本并发控制)

  undo log和redo log记录物理日志不一样,它记录的是逻辑日志。可以认为当delete一条记录时,undo log中会记录一条对应的insert记录,反之亦然,当update一条记录时,它记录一条对应相反的update记录。如此一来,当执行事务回滚时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。从而保证了事务的原子性和一致性。
  undo log采用段的方式进行管理和记录,存放在InnoDB存储引擎的rollback segment回滚段中。undo log在事务执行时产生,事务提交时,并不会立即删除undo log,因为这些日志可能还用于MVCC。

三、MVCC

  全称Multi-Version Concurrency Control,即多版本并发控制。指维护一个数据的多个版本,使得读写操作没有冲突。MVCC的具体实现,依赖于数据库记录中的隐式字段、undo log日志、readView。

1. 隐式字段

  在一张表中,每行数据除了我们设置的字段以外,InnoDB还会自动地添加三个隐藏字段:

隐藏字段含义
DB_TRX_ID最近修改事务ID,记录插入这条记录或最后一次修改该记录的事务ID(从1开始自增)
DB_ROLL_PTR回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本
DB_ROW_ID隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段

  上述的前两个字段是肯定会添加的,是否添加最后一个字段取决于当前表有没有主键,如果有主键,则不会添加该隐藏字段。

2. undo log

  当执行insert的时候,产生的undo log日志只在回滚时需要,在事务提交后,可被立即删除。而执行update、delete的时候,产生的undo log日志不仅在回滚时需要,在快照读时也需要,不会立即被删除。
  下面我们介绍一下undo log版本链的生成。假设有一张表的原始数据为
在这里插入图片描述
然后,有四个并发事务同时在操作这张表。

A. 第一步
在这里插入图片描述

  当事务2执行第一条修改语句时,会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

B. 第二步

在这里插入图片描述

  当事务3执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

C. 第三步

在这里插入图片描述

  当事务4执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

  最终我们发现,不同事务或相同事务对同一条记录进行修改,会导致该记录的undolog生成一条记录版本链表,链表的头部是最新的旧记录,链表尾部是最早的旧记录。

3. readView

  首先我们先介绍两个概念,当前读和快照读。

  • 当前读
      读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。对于我们日常的操作,如:select … lock in share mode(共享锁),select …for update、update、insert、delete(排他锁)都是一种当前读。
  • 快照读
      简单的select(不加锁)就是快照读,快照读,读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读。在不同的事务隔离级别下,生成快照读的时机不同。
    • Read Committed:每次select,都生成一个快照读。
    • Repeatable Read:开启事务后仅在第一个select语句快照读。
    • Serializable:快照读会退化为当前读。

  ReadView(读视图)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)id。ReadView中包含了四个核心字段:

字段含义
m_ids当前活跃的事务ID集合
min_trx_id最小活跃事务ID
max_trx_id预分配事务ID,当前最大事务ID+1(因为事务ID是自增的)
creator_trx_idReadView创建者的事务ID

而在readView中也规定了版本链数据的访问规则(trx_id代表undolog版本链中记录的事务ID):

条件是否可以访问说明
trx_id ==creator_trx_id可以访问该版本成立,说明数据是当前这个事务更改的
trx_id < min_trx_id可以访问该版本成立,说明数据已经提交
trx_id > max_trx_id不可以访问该版本成立,说明该事务是在readView生成后才开启
min_trx_id <= trx_id<= max_trx_id如果trx_id不在m_ids中,是可以访问该版本的成立,说明数据已经提交

4. 实现原理

  前面我们说过,在不同隔离级别下生成readView的时机不同。

4.1 RC隔离级别

  RC隔离级别下,在事务中每一次执行快照读时生成ReadView。
在事务5中执行了两次select操作,每一次都会生成一个readView,第一条select语句执行时,事务3、4、5都未提交,第二条select语句执行时,事务4、5未提交。

在这里插入图片描述

两个readView我们到底会获得什么样的数据呢?先来看第一次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,发现同样不满足;代入trx_id=2,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

再来看第二次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

4.2 RR隔离级别

  RR隔离级别下,仅在事务中第一次执行快照读时生成readView,后续复用该readView。 这也印证了RR是可重复读,在一个事务中,执行两次相同的select语句,查询到的结果应是一样的。

在这里插入图片描述
同样的分析方式,可以看出两次select语句拿到的都是

在这里插入图片描述

  综上所述,MVCC的实现原理就是通过InnoDB表的隐藏字段、undo log版本链、readView来实现的。而MVCC+锁,则实现了事务的隔离性。

关于MVCC还想了解更多的朋友们可以参考 MVCC详解!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1518575.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

国产Copilot--通义灵码安装教程

文章目录 在 Visual Studio Code 中安装通义灵码步骤1步骤2步骤3步骤4 参考 在 Visual Studio Code 中安装通义灵码 通义灵码&#xff0c;是一款基于通义大模型的智能编码辅助工具&#xff0c;提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解…

LLM - 大语言模型(LLM) 概述

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://blog.csdn.net/caroline_wendy/article/details/136617643 大语言模型(LLM, Large Language Model)的发展和应用是一个非常广泛的领域&#xff0c;涉及从早期的统计模型到现代基于深度学…

获取淘宝商品详情API数据指南(item_get-获得淘宝商品详情)

获取淘宝商品详情API数据是一个复杂的过程&#xff0c;涉及到多个步骤和可能的权限问题。以下是一个基本的指南&#xff0c;帮助你了解如何使用item_get接口获取淘宝商品详情。 1. 注册淘宝开放平台账号 首先&#xff0c;你需要在淘宝开放平台注册一个账号。这是获取API权限和…

【Java 并发】AbstractQueuedSynchronizer

1 AQS 简介 在同步组件的实现中, AQS 是核心部分, 同步组件的实现者通过使用 AQS 提供的模板方法实现同步组件语义。 AQS 则实现了对同步状态的管理, 以及对阻塞线程进行排队, 等待通知等一些底层的实现处理。 AQS 的核心也包括了这些方面: 同步队列, 独占式锁的获取和释放, 共…

数据结构之链式二叉树续

1.获取叶节点个数 获取叶子结点个数&#xff0c;我们这里也用递归的方法 利用分治思想去解决这个问题 ●代码思想&#xff1a; 1. 当遇到空树或者遇到空的节点时&#xff0c;也就是说这是的叶子为NULL&#xff0c;这是我们返回0 2. 当遇到左节点或者右节点为空&#xff0c…

精酿啤酒与咖喱饭的异国风味

当醇厚的Fendi Club啤酒与香浓的咖喱饭相遇&#xff0c;一场味蕾的异国之旅就此展开。Fendi Club啤酒以其与众不同的麦香和细腻的泡沫&#xff0c;为咖喱饭增添了别样的风味&#xff0c;而咖喱饭的香辣与丰富口感&#xff0c;又为啤酒带来了更多的层次感。 Fendi Club啤酒&…

docker的常用指令

docker的常用指令 从docker镜像仓库&#xff0c;搜索所有和mysql有关的镜像 docker search mysql 从docker仓库拉取mysql docker pull mysql这里的mysql是指使用search搜索出来的所有容器的NAME 如果和我一样遇到以下问题&#xff1a; 我可以登录阿里云的官网&#xff0c;找…

点成分享 | 了解您的健康指标:血细胞沉降率(ESR)

一、背景介绍 当我们在体检或进行临床血液检验时&#xff0c;时常会在检验单上看到这样一个指标&#xff1a;ESR。 有时检验单上只有一个简单的箭头&#xff0c;那么这个结果代表什么含义呢&#xff1f;这个指标又能如何反映我们的健康状况呢&#xff1f; 今天点成生物就带大…

Mysql 无法启动,mysql-bin.日志丢失删除处理

在linux操作系统中&#xff0c;当mysql无法启动时候&#xff0c;先看日志 2024-03-15T05:20:16.352075Z 0 [Warning] [MY-000081] [Server] option max_allowed_packet: unsigned value 107374182400 adjusted to 1073741824. 2024-03-15T05:20:16.352156Z 0 [Warning] [MY-010…

三种方式使用纯 CSS 实现星级评分

本文介绍三种使用纯 CSS 实现星级评分的方式。每种都值得细品一番~ 五角星取自 Element Plus 的 svg 资源 <svg xmlns"http://www.w3.org/2000/svg" viewBox"0 0 1024 1024" style""><pathfill"currentColor"d"M283.84 …

ctfshow-XXE(web373-web378)

目录 XXE&#xff08;外部实体注入攻击&#xff09; web373 web374 web375 web376 web377 web378 知识点 XXE&#xff08;外部实体注入攻击&#xff09; XXE这几关有个前提flag在根目录下文件名为flag web373 <?php error_reporting(0); libxml_disable_entity_…

定制红酒:定制流程中的专业建议与指导,帮助客户做出理想选择

在云仓酒庄洒派&#xff0c;云仓酒庄洒派深知消费者在定制红酒时可能会面临诸多选择和困惑。因此&#xff0c;云仓酒庄洒派提供专业的建议和指导&#xff0c;帮助消费者在定制流程中做出理想选择。 云仓酒庄洒派的专业团队会为消费者提供红酒品种和产区的举荐。云仓酒庄洒派会根…

基于udp协议的网络通信(windows客户端版+简易聊天室版),重定向到终端

目录 和windows通信 引入 思路 WSADATA 代码 运行情况 简单的聊天室 思路 重定向 代码 terminal.hpp -- 重定向函数 服务端 客户端 运行情况 和windows通信 引入 linux和windows都需要联网,虽然他们系统设计不同,但网络部分一定是相同的,所以套接字也是一样的 这…

Diffblue生成单元测试

什么是Diffblue Diffblue Cover 是一个强化学习 AI 平台&#xff0c;可自动编写全面的、类似人类的 Java 单元测试&#xff0c;从而节省开发人员时间、提高测试覆盖率并降低回归风险。Cover 以 IntelliJ IDE 插件&#xff08;Cover Plugin&#xff09;、CLI 应用程序&#xff…

中等职业学校人工智能技术与应用(710212)专业解决方案

一、专业背景 1.1人工智能确立为国家战略 近年来&#xff0c;人工智能技术取得了显著进展&#xff0c;不仅在理论层面有所突破&#xff0c;更在实际应用中展现出强大的潜力和价值。其发展趋势日益明显&#xff0c;展现出多方面的特点。“深度学习”与“大数据”的结合成为当前…

QT信号与槽实现方式

1、第一种实现方式 在QT开发工具UI界面先拖入按钮&#xff0c;然后鼠标右键拖入按钮&#xff0c;点击选中槽&#xff0c;在页面选着需要的信号&#xff0c;然后OK&#xff0c;随即将会跳转到类的.cpp文件&#xff0c;&#xff08;这种UI代码结合的方式&#xff0c;会自动去绑定…

力扣101---对称二叉树(简单题)

题目描述&#xff1a; 给你一个二叉树的根节点 root &#xff0c; 检查它是否轴对称。 示例 1&#xff1a; 输入&#xff1a;root [1,2,2,3,4,4,3] 输出&#xff1a;true示例 2&#xff1a; 输入&#xff1a;root [1,2,2,null,3,null,3] 输出&#xff1a;false 非递归Java代…

Jenkins cron定时构建触发器

from&#xff1a; https://www.jenkins.io/doc/book/pipeline/syntax/#cron-syntax 以下内容为根据Jenkins官方文档cron表达式部分翻译过来&#xff0c;使用机翻加个人理解补充内容&#xff0c;包括举例。 目录 介绍举例&#xff1a;设置方法方法一&#xff1a;方法二&#xf…

通过简单的案例入门Mybatis~

目录 一.概述 二.JDBC的缺点 三.案例 1.创建测试类 2.加载Mybatis核心配置文件获取SqlSessionFactory 3.获取SqlSession对象 4.执行sql 5.释放资源 一.概述 Mybatis是一款持久层框架&#xff0c;用于简化JDBC开发。所谓框架&#xff0c;就是一个半成品软件&#xff0c;…

Redis管道和发布订阅

解决思路 类似mset打包批量处理 定义&#xff1a;Pipeline是为了解决RTT往返时延&#xff0c;仅仅将命令打包一次性发送&#xff0c;对Redis的执行不造成其他影响 需要把批量执行的命令都放到文件里面 命令解释 上一条命令的结果作为参数 通过Linux命令的管道 传输给管道后面…