MySQL高频八股——事务过程中Undo log、Redo log、Binlog的写入顺序(涉及两阶段提交)

news2025/3/18 15:07:54

大家好,我是钢板兽!

在上一篇文章中,我分别介绍了 Undo LogRedo LogBinlog 在事务执行过程中的作用与写入机制。然而,实际应用中,这三种日志的写入是有先后顺序的。因此,本篇文章将深入探讨它们的写入顺序,以便更好地理解三者与事务的联系。

1.涉及的关键缓存

在事务执行过程中,涉及多个重要的缓存机制,理解这些缓存有助于更清晰地掌握日志的写入顺序:

  • Buffer Pool(缓冲池)存储 InnoDB 数据页的内存缓冲区,事务修改数据页首先在此处完成,修改后的数据页被称为脏页(Dirty Page)
  • Undo Log Buffer(Undo 日志缓存区) 记录事务修改前的数据版本,存储于内存,在特定时机刷新到磁盘的 Undo 表空间。
  • Redo Log Buffer(Redo 日志缓存区) 存储事务修改后的数据变化记录(物理日志),位于内存中,在事务提交时强制刷新到磁盘的 Redo 日志文件。
  • Binlog Cache(Binlog 缓存区) MySQL Server层的内存缓存,存储事务中修改的数据变化记录(逻辑变化),在事务提交时统一刷入磁盘的 Binlog 文件。

三种日志在内存与磁盘中的存在方式

2.事务执行阶段各日志的写入流程

事务可以分为两个阶段:事务执行阶段和事务提交阶段,假设我们有一个更新事务的SQL语句:

UPDATE account SET balance = balance - 100 WHERE id = 1;

我们先来看看事务执行阶段各日志的写入流程:

(1)数据页加载到buffer pool:从磁盘中加载数据页到buffer pool;

(1)写入Undo Log Buffer:先把待修改数据的原始版本(例如 balance=1000)记录到内存中的 Undo Log Buffer 中。

  • 这个 Undo Log Buffer 会在合适时机(后台线程)异步刷新到磁盘(Undo 表空间)。

(3)数据页(脏页)的修改:事务修改内存中的数据页(buffer pool),修改后的数据页变为脏页(Dirty Page),等待后台线程(如checkpoint)异步刷新到磁盘上的表空间文件(.ibd 文件)。

(4)写入Redo Log Buffer:数据库会把修改后的数据记录(例如:balance=900)记录到内存中的 Redo Log Buffer 中。

  • Redo Log Buffer 会在以下几种情况下被刷新到磁盘(Redo Log File):
    • 事务提交时
    • Redo Log Buffer 达到指定阈值;
    • 后台线程定期刷新。

(5)写入Binlog Cache:把SQL语句逻辑记录到内存中的Binlog Cache。

到这里为止(事务未提交阶段),此时的日志情况为:

  • Undo Log Buffer 已写入旧版本数据;
  • Redo Log Buffer 中包含数据修改后的版本记录;
  • Buffer Pool 中的数据页被真正修改,处于内存脏页状态。
  • Binlog Cache中包含此次修改的SQL语句逻辑。

3.事务提交阶段

事务提交采用两阶段提交(2PC)机制:Prepare阶段(半提交状态)和Commit阶段(已提交状态),

(1)Prepare状态:InnoDB 存储引擎将 Redo Log Buffer 中的日志记录强制刷入磁盘上的 Redo Log File(调用 write 和 fsync),Undo Log也是同样的过程。

  • 此时Redo Log 已持久化,但 Binlog 尚未刷入磁盘。

(2)MySQL层将 Binlog Cache 中的日志记录刷新到磁盘中的Binlog文件(调用 write 和 fsync)。

(3)Commit状态:执行器调用InnoDB存储引擎的提交事务接口,将刚刚写入的Redo Log改成Commit状态

4.为什么要两阶段提交?

这里的两阶段提交主要是针对Redo Log和Binlog来说的,为什么不能是先写Redo Log 后写binlog,或者先写binlog 后写Redo Log就完事儿了呢,还要从中多出一个“Prepare状态”?

(1)假设是先写Redo Log,后写binlog。向表中插入一条数据R,当redolog写入完成,但是binlog还没写时,就出现了宕机.那么主机崩溃恢复时,redolog中是有记录R的,但是从机根据binlog进行主从同步时,从机是没有数据R,就会出现主从数据不一致的问题。

(2)假设先写 binlog 再写 redolog 。向表中插入一条记录 R,先写 binlog 再写 redolog,当binlog写入完成,但是redolog还没写时,就出现了宕机,那么从机根据binlog进行主从同步时,从机是有数据R的。但是主机崩溃恢复时,redolog中是没有记录R的,就会出现主从数据不一致的问题。

但是现在“两阶段提交”,我们再来看几种情况:

(1)一阶段提交之后崩溃了,即写入 redo log,处于 prepare 状态的时候崩溃了,此时,由于 binlog 还没写,redo log 处于 prepare 状态还没提交,所以崩溃恢复的时候,这个事务会根据undolog来回滚,此时 binlog 还没写,所以也不会传到备库。

(2)写完 binlog 之后崩溃了,此时:redolog 中的日志处于 prepare 状态,还没有提交,那么恢复的时候,首先检查 binlog 中的事务是否存在并且完整,如果存在且完整,则直接提交事务,如果不存在或者不完整,则回滚事务。

(3)假设 redolog 处于 Commit 状态的时候崩溃了,那么重启后的处理方案同情况二。

最后,我们来画图总结一下三种日志在事务过程中的写入顺序:

三种日志在事务过程中的写入顺序

5.三种日志写入的参数

这里总结一下三种日志的写入过程涉及到的参数变量,可以了解一下。

(1)Redo Log的参数

参数作用
innodb_log_file_size单个 redo log 文件的大小(影响崩溃恢复速度)。
innodb_log_files_in_groupredo log 文件数量,默认 2,日志总大小 = innodb_log_file_size × innodb_log_files_in_group
innodb_flush_log_at_trx_commit控制 redo log 刷盘策略,取值: 0:每秒刷盘一次(可能丢失 1 秒数据) 1(默认):每次事务提交时写入并刷盘(最安全) 2:每次事务提交时写入 OS 缓存,但不刷盘(可能丢数据)
innodb_log_buffer_sizeredo log 缓冲区大小,事务提交时才刷盘,缓冲区满了也会刷。

(2)Binlog的参数

参数作用
log_bin是否开启 binlog,默认关闭,主从复制和 Point-In-Time 恢复必须开启。
binlog_formatbinlog 记录格式,取值: STATEMENT(SQL 语句级别,可能有副作用) ROW(记录数据变更,推荐) MIXED(两者结合)
sync_binlog控制 binlog 刷盘策略,取值: 0:操作系统决定何时刷盘(可能丢数据) 1(默认):每次事务提交时刷盘(最安全) >1:每 N 个事务刷一次盘,性能较好但风险增加
max_binlog_size单个 binlog 文件的大小,超过该值后生成新 binlog(默认 1GB)。
expire_logs_daysbinlog 自动清理天数,如 7 表示 7 天后自动删除。

(3)Undo Log的参数

关键参数:

参数作用
innodb_undo_tablespacesundo log 独立表空间数量,默认 0,表示undo log全部写入一个表空间文件,可以设置这个变量,平均分配到多少个文件中.
innodb_undo_log_truncate是否允许 undo log 触发在线回收机制,默认 1,可防止 undo log 过大。
innodb_max_undo_log_sizeundo log 触发 truncate 的阈值(默认 1GB)。
innodb_undo_logs事务可以同时使用的回滚段数量(默认 128)。

通过本篇文章的讲解,相信大家对 Undo Log、Redo Log 和 Binlog 的写入顺序及其重要性有了更深入的理解。如果这篇文章对你有所帮助,欢迎点赞、转发、留言!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2317282.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++进阶——AVL树的实现

1、AVL的概念 1.1 AVL 树的发明 AVL 树由 G.M. Adelson-Velsky 和 E.M. Landis 在 1962 年的论文《An algorithm for the organization of information》中提出。他们的设计目标是解决二叉搜索树在动态操作(插入、删除)中可能退化为链表的问题。 1.2 …

打包当前Ubuntu镜像 制作Ubuntu togo系统

我的系统的基本情况说明: 我原来的系统的具体型号如下: uname -rLinux Engine 5.15.0-134-generic #145~20.04.1-Ubuntu SMP Mon Feb 17 13:27:16 UTC 2025 x86_64 x86_64 x86_64 GNU/Linux我原来的硬盘以及分区策略如下: 可以看到我的分区…

系统架构设计师—案例分析—架构设计

文章目录 经典架构风格对比面向对象架构风格/显示调用风格优点缺点举例 事件驱动的系统/隐式调用风格优点缺点举例 基于规则的系统架构风格优点缺点举例 管道过滤器风格优点缺点举例 仓库风格优点缺点举例 解释器风格优点缺点举例 分层架构风格优点缺点举例 经典架构风格对比 …

基于javaweb的SpringBoot智能相册管理系统图片相册系统设计与实现(源码+文档+部署讲解)

技术范围:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论…

Android 14 Telephony 网络选择功能介绍

一、总体介绍 (一)功能 手动搜网的流程:用户通过UI触发,调用TelephonyManager的API,比如startNetworkScan,然后这个请求会传递到RIL层,通过AT命令与基带通信,进行网络扫描。结果返回后,经过TelephonyRegistry通知应用层。中间可能涉及IPC,比如Binder通信,因为应用和…

深入解析音频编解码器(Audio CODEC):硬件、接口与驱动开发

音频编解码器(Audio CODEC)是音频处理系统中的核心组件,负责 模拟信号与数字信号的相互转换,广泛应用于 智能音箱、嵌入式系统、消费电子产品 等设备。本篇文章将从 硬件结构、接口解析、驱动开发 和 软件配置 等方面,…

深度学习【迭代梯度下降法求解线性回归】

梯度下降法 梯度下降法是一种常用迭代方法,其目的是让输入向量找到一个合适的迭代方向,使得输出值能达到局部最小值。在拟合线性回归方程时,我们把损失函数视为以参数向量为输入的函数,找到其梯度下降的方向并进行迭代&#xff0…

[Lc14_priority_queue] 最后一块石头重量 | 数据流中的第 K 大元素 | 前K个高频单词 | 数据流的中位数

目录 1.最后一块石头的重量 题解 2.数据流中的第 K 大元素 题解 3.前K个高频单词 题解 代码 ⭕4.数据流的中位数 题解 在C中,使用标准库中的priority_queue,默认情况下它是一个最大堆(即大堆排序),这意味着最…

熔断和降级的区别,具体使用场景有哪些?

熔断与降级的核心区别在于触发条件和应用目标,具体差异及使用场景如下: 一、核心区别 对比维度熔断降级触发原因下游依赖服务故障(如超时、异常率过高)触发系统整体负载过高或流量洪峰管理目标层级框架级保护(无业务优…

利用hexo+github部署属于自己的个人博客网站(2025年3月所写)

利用hexogithub部署属于自己的个人博客网站 前情提要:如果你出现了莫名其妙的报错,可能与权限有关,可以以管理员的身份运行git bash或者cmd 本篇博客仅限于利用hexo搭建博客,并且部署到github上面,让自己可以有一个访…

pandas学习笔记(一)——基础知识和应用案例

pandas学习笔记 基础语法参考菜鸟教程:https://www.runoob.com/pandas/pandas-tutorial.html # jupyter import pandas as pd import matplotlib from matplotlib import pyplot as plt import numpy as npmatplotlib.use(TkAgg)data {timestamp: [1, 2, 3, 4, 5…

【AI 大模型】RAG 检索增强生成 ⑤ ( 向量数据库 | 向量数据库 索引结构和搜索算法 | 常见 向量数据库 对比 | 安装并使用 向量数据库 chromadb 案例 )

文章目录 一、向量数据库1、向量数据库引入2、向量数据库简介3、向量数据库 索引结构和搜索算法4、向量数据库 应用场景5、传统数据库 与 向量数据库 对比 二、常见 向量数据库 对比三、向量数据库 案例1、安装 向量数据库 chromadb2、核心要点 解析① 创建数据库实例② 创建数…

解决single cell portal点击下载但跳转的是网页

Single cell RNA-seq of Tmem100-lineage cells in a mouse model of osseointegration - Single Cell Portal 想下载个小鼠数据集: 点击下载跳转为网页: 复制bulk download给的链接无法下载 bulk download给的原链接: curl.exe "http…

基于 Prometheus + Grafana 监控微服务和数据库

以下是基于 Prometheus Grafana 监控微服务和数据库的详细指南&#xff0c;包含架构设计、安装配置及验证步骤&#xff1a; 一、整体架构设计 二、监控微服务 1. 微服务指标暴露 Spring Boot 应用&#xff1a; xml <!-- 添加 Micrometer 依赖 --> <dependency>…

CAN总线的CC帧和FD帧之间如何仲裁

为满足CAN总线日益提高的带宽需求&#xff0c;博世公司于2012年推出CAN FD&#xff08;具有灵活数据速率的CAN&#xff09;标准&#xff0c;国际标准化组织&#xff08;ISO&#xff09;2015年通过ISO 11898-1:2015标准&#xff0c;正式将CAN FD纳入国际标准&#xff0c;以示区别…

SpringBoot 第一课(Ⅲ) 配置类注解

目录 一、PropertySource 二、ImportResource ①SpringConfig &#xff08;Spring框架全注解&#xff09; ②ImportResource注解实现 三、Bean 四、多配置文件 多Profile文件的使用 文件命名约定&#xff1a; 激活Profile&#xff1a; YAML文件支持多文档块&#xff…

Excel(函数篇):COUNTIF与CONUTIFS函数、SUMIF与SUMIFS函数、ROUND函数、MATCH与INDEX函数、混合引用与条件格式

目录 COUNTIF和COUNTIFS函数COUNTIF函数COUNTIFS函数SUMIF和SUMIFS函数SUMIF函数SUMIFS函数SUMIFS函数与控件实现动态年月汇总ROUND、ROUNDUP、ROUNDDOWN函数单元格混合引用条件格式与公式,标记整行数据MATCH和INDEX函数COUNTIF和COUNTIFS函数 COUNTIF函数 统计下“苏州”出现…

虚拟定位 1.2.0.2 | 虚拟定位,上班打卡,校园跑步模拟

Fake Location是一款运行于安卓平台上的功能强大、简单实用的虚拟定位软件。它能够帮助用户自定义位置到地图上的任意地方&#xff0c;以ROOT环境运行不易被检测&#xff0c;同时也支持免ROOT运行。提供路线模拟、步频模拟、WIFI模拟等方式&#xff0c;支持反检测。 大小&…

【最大异或和——可持久化Trie】

题目 代码 #include <bits/stdc.h> using namespace std;const int N 6e510; //注意这里起始有3e5&#xff0c;又可能插入3e5 const int M N * 25;int rt[N], tr[M][2]; //根&#xff0c;trie int idx, cnt, br[M]; //根分配器&#xff0c;点分配器&#xff0c;点的相…

C# WPF编程-启动新窗口

C# WPF编程-启动新窗口 新建窗口&#xff1a; 工程》添加》窗口 命名并添加新的窗口 这里窗口名称为Window1.xaml 启动新窗口 Window1 win1 new Window1(); win1.Show(); // 非模态启动窗口win1.ShowDialog(); // 模态启动窗口 模态窗口&#xff1a;当一个模态窗口被打开时&a…