MySQL 预写日志

news2025/1/12 1:00:27

什么是预写日志机制?

一般情况下,大部分数据库都是将表和索引存储在磁盘文件中。当新增数据时,数据库系统会先写入内存,然后将其写入磁盘上的数据文件。

那为什么不直接写入磁盘嘞?主要是每次新增都直接写入磁盘性能很低,放在内存中,可以批量写入磁盘以提升性能。

但有一个问题,如果数据在写入磁盘文件中途断电怎么办?当来电恢复后,我们重启数据库,发现数据不一致,又该如何处理。

所以我们需要一些其他机制来避免断电引发的数据不一致,其实 MySQL 已经考虑到了这一点,内部已经实现一套 WAL(预写日志)机制来避免这一点。

MySQL 设计有健壮的恢复机制,特别是使用 InnoDB 存储引擎的情况下,它能够在断电后重启而不会崩溃。InnoDB 存储引擎使用预写日志(WAL)机制来确保数据的一致性和原子性。

预写日志机制是一种数据库事务日志技术,它要求在任何数据库修改被写入到永久存储(也就是磁盘)之前,先将这些修改记录到日志中。

这样当 MySQL 遇到意外的断电情况时,它会在重启后利用 Redo log 来恢复已提交但未写入数据文件的事务继续写入数据文件,从而保证一致性,再利用 undo log 来撤销未提交事务的需改,从而保证原子性。

MySQL 中的预写日志机制

在 MySQL 中,InnoDB 存储引擎实现了 WAL 机制。包含 Redo log buffer、Redo log、Undo Log 等,来记录事务已提交但未写入数据文件的数据变更以及事务回滚后的数据还原。

为了给大家讲清楚 MySQL 的预写日志机制,会涉及到 MySQL 架构中的以下内容,

Buffer Pool(缓冲池)

Buffer Pool (缓冲池)是 InnoDB 存储引擎中非常重要的内存结构,顾名思义,缓冲池就是起到一个缓存的作用,因为我们都知道 MySQL 的数据最终是存储在磁盘中的,如果没有这个 Buffer Pool 那么我们每次的数据库请求都会磁盘中查找,这样必然会存在 IO 操作,这肯定是无法接受的。

但是有了 Buffer Pool 就是我们第一次在查询的时候会将查询的结果存到 Buffer Pool 中,这样后面再有请求的时候就会先从缓冲池中去查询,如果没有再去磁盘中查找,然后在放到 Buffer Pool 中。

Redo log buffer(日志缓冲区)

Redo log buffer 是用作数据变更记录写入 Redo log 文件前的一块内存区域。日志缓冲区大小由 innodb_log_buffer_size 变量定义,默认大小为 16MB。

日志缓冲区的内容会定期刷新到 Redo log 文件中,大型日志缓冲区允许大型事务运行,而无需在事务提交之前将 Redo log 数据写入磁盘。因此如果事务涉及的更新、插入或删除操作数据量较大时,可以增加日志缓冲区的大小可以节省磁盘 I/O。

MySQL 提交事务的时候,会将 Redo log buffer 中的数据写入到 Redo log 文件中,刷磁盘可以通过 innodb_flush_log_at_trx_commit 参数来设置

  • 值为 0 表示不刷入磁盘
  • 值为 1 表示立即刷入磁盘
  • 值为 2 表示先刷到 os cache

为了提高性能,MySQL 首先将修改操作写入到日志缓冲区,之后以 innodb_flush_log_at_trx_commit 参数设置落盘时机,将日志缓冲区刷入到磁盘的 Redo log 文件中去。

Redo Log

MySQL Redo Log 是 InnoDB 存储引擎中的一个重要组件,它是一种磁盘基础的数据结构,用于在崩溃重启期间修复由已提交事务但未写入数据文件的数据。

在正常操作中,Redo log 记录了由 SQL 语句执行导致的表数据变更记录。将 Redo log buffer 中的数据持久化到磁盘中,就是将 Redo log buffer 中的数据写入到 Redo log 磁盘文件中。

数据在由 Redo log buffer 写入 Redo log 时的触发时机如下,

  • MySQL 正常关闭时触发
  • 当 Redo log buffer 中记录的写入量大于 Redo log buffer 内存空间的一半时,会触发落盘
  • InnoDB 的后台线程每隔 1 秒,将 Redo log buffer 持久化到磁盘
  • 每次事务提交时都将缓存在 redo log buffer 里的 redo log 直接持久化到磁盘(这个策略就是由上文提高 innodb_flush_log_at_trx_commit 参数控制)

Redo log 是 WAL 机制的核心,它记录了事务所做的所有修改。如果数据库发生故障,可以使用 Redo 日志来重做事务,从而确保数据的一致性。

Undo Log

Undo Log 记录了如何撤销一个事务的修改。如果需要回滚事务或在执行事务时还未提交,数据库就发生了崩溃,这时我们就需要将未提交事务前的数据回滚回去,难道这个操作有我们自己来做吗?显然 MySQL 也考虑到了这一点。

MySQL 会使用 Undo log 来撤销未提交的修改。在操作数据前,MySQL 首先将数据备份到 Undo log,然后进行数据修改。

如果出现错误或者用户执行了 Rollback 语句,系统可以利用 Undo log 中的备份将数据恢复到事务操作前的状态。

通过 Undo log 撤销修改,从而确保数据的原子性。


结合 Buffer Pool、Redo log buffer、Redo log、Undo log 后,我们在MySQL 中更新一条数据的流程如下,

image

  • 准备更新一条 SQL 语句
  • MySQL(innodb)会先去缓冲池(Buffer Pool)中去查找这条数据,没找到就会去磁盘中查找,如果查找到就会将这条数据加载到缓冲池(Buffer Pool)中
  • 在加载到 Buffer Pool 的同时,会将这条数据的原始记录保存到 undo 日志文件中
  • innodb 会在 Buffer Pool 中执行更新操作
  • 更新后的数据会记录在 Redo log buffer 中
  • MySQL 提交事务的时候,会将 Redo log buffer 中的数据写入到 Redo log 文件中,刷磁盘可以通过 innodb_flush_log_at_trx_commit 参数来设置
  • MySQL 重启的时候会将 Redo log 恢复到缓冲池中

额外知识:检查点(Checkpoint)

检查点是什么?为什么有了 Redo log、Undo log 还要引入检查点。

明明借助 Redo log、Undo log 我们就可以实现 MySQL 的故障恢复了。

虽然数据在写入 Redo log 文件后,就代表数据变更已经生效了,但是还未写入到数据文件,也就是还没有完成事务的持久性。

那么检查点就是帮助 MySQL 实现事务的持久性。

如果说 Redo log 可以无限地增大,能够保存所有数据库变更的数据,那么在发生宕机时完全可以通过 Redo log 来恢复数据库系统的数据到宕机发生前的情况。

然而现实是我们的物理磁盘文件大小是有效的。即使达成无限了,如果数据库运行了很久后发生宕机,那么使用 Redo log 进行恢复的时间也会非常的久。

所以在 Redo log 文件容量是有限的情况下,还需要定期将 Redo log 写入数据文件完成数据的持久化,在这样的情况下,就引入了 Checkpoint(检查点)技术。

Checkpoint(检查点)技术不仅仅是会同步 Redo log 写入数据文件,也会同步脏页数据写入数据文件。

检查点的触发时机有两种如下,

Sharp Checkpoint(完全检查点)

将内存中所有脏页全部写到磁盘就是完全检查点,比如数据库实例关闭时。

Fuzzy Checkpoint(模糊检查点)

将部分脏页刷新到磁盘,就是模糊检查点,一般就是脏页达到一定数量时触发。数据库实例运行过程产生的检查基本上就是这种类型的检查点。

因此其实 Checkpoint 就是指一个触发点(时间点),当发生 Checkpoint 时,会将脏页写回磁盘,以确保数据的持久性和一致性。并且 Redo log、Undo log 文件也可以重新覆写,这样可以保证重启时不会因为 Redo log、Undo log 文件太大而导致重启时间过长。

断电故障恢复案例

OK,假如我们正在使用 MySQL 添加数据。在提交事务的过程中,突然发生了断电,那么这个数据会丢吗?

我们结合上文MySQL 中更新一条数据的流程,来给大家分析下具体场景,

数据在写入 Buffer Pool、Redo log buffer 中时,发生断电

先说结论,会丢。因为数据没有写入 Redo log 前,MySQL 是没办法保证数据一致性的。但是这没关系的,因为 MySQL 会认为本次事务是失败的,在重启后可以根据 Undo log 文件将数据恢复到更新前的样子,并不会有任何的影响。

数据在写入 Redo log 文件后,发生断电

先说结论,不会丢。因为 Redo log buffer 中的数据已经被写入到 Redo log 了,就算数据库宕机了,在下次重启的时候 MySQL 也会将 Redo log 文件内容恢复到 Buffer Pool 中进行重放。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1281976.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智慧能源:数字孪生压缩空气储能管控平台

压缩空气储能在解决可再生能源不稳定性和提供可靠能源供应方面具有重要的优势。压缩空气储能,是指在电网负荷低谷期将电能用于压缩空气,在电网负荷高峰期释放压缩空气推动汽轮机发电的储能方式。通过提高能量转换效率、增加储能密度、快速启动和调节能力…

PicoScope 7 软件报警功能可实现自动保存和循环捕捉

最近很多用户提到,怎么让虹科Pico示波器采集信号到缓冲区满了之后自动保存在电脑里,然后清出缓存空间继续采集,如此循环工作。这里不得不向大家介绍一下PicoScope软件的强大功能之一:报警功能! 报警在软件的工具菜单下…

专业爬虫框架 -- scrapy初识及基本应用

scrapy基本介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域…

HarmonyOS4.0之安装DevEco Studio开发工具

第一步 打开网址:https://developer.huawei.com/consumer/cn/ 点击后是这样的界面 第二步 鼠标移入到开发点击DevEco Studio 第三步 我们往下滑动找到以下界面 我们根据自己的需要点击下载图标 这里演示Window系统 下载好后解压文件 我们解压文件后 第四步…

VS2022配置WinPcap开发

winpcap 官网:http://www.winpcap.org/ 1.首先下载安装 winpcap.exe,http://www.winpcap.org/install/default.htm 目的是安装相关驱动和 dll,安装完成之后基于 winpcap 的应用程序才能够正常运行。 2.下载 winpcap 的开发包,头文…

34、AD/DA

AD/DA介绍 AD(Analog to Digital):模拟-数字转换,将模拟信号转换为计算机可操作的数字信号 DA(Digital to Analog):数字-模拟转换,将计算机输出的数字信号转换为模拟信号 AD/DA转换…

离线数仓构建案例一

数据采集 日志数据(文件)到Kafka 自己写个程序模拟一些用户的行为数据,这些数据存在一个文件夹中。 接着使用flume监控采集这些文件,然后发送给kafka中待消费。 1、flume采集配置文件 监控文件将数据发给kafka的flume配置文件…

python scipy.cluster.hierarchy.dendrogram学习详记——(待完善)

1.Python scipy.cluster.hierarchy.dendrogram用法及代码示例 2.python dendrogram_Python中的凝聚层次聚类示例

微信小程序在线客服 全端通吃版+PC官网客服+H5网站客服+微信公众号客服 附带完整的搭建教程

随着互联网的快速发展,在线客服系统已经成为企业与用户沟通的重要桥梁。然而,许多企业在构建自己的在线客服系统时,往往面临多种平台、多端口的困扰,如何实现全端通吃的客服系统成为一项迫切的需求。为此,我们推出了一…

android.view.WindowLeaked解决方法

问题 我在使用WindowManager添加一个button, windowManager.addView(button,layoutParams);然后关闭当前的这个Activity的时候遇到了WindowLeak这个问题,也就是所谓的窗体泄露。 原因 主要原因是因为android只允许在UI主线程操作,我在使用W…

geoserver维度time

postgis创建date类型的字段 写入测试数据,对应flag,flag有不同的样式,这样方便观测 geoserver发布图层的时候设置“维度”启用 测试,设置了根据flag展示不同的颜色

本地源文件-丰富的图表-

D:\FineReport_11.0\webapps\webroot\WEB-INF\reportlets\demo\basic 图表类型:http://localhost:8075/webroot/help/demo.html 可视化图表,丰富的图表:help/demo.html http://localhost:8075/webroot/decision#management/directory 参数查询/条件查询与图…

使用Redis构建简易社交网站(1)-创建用户与动态界面

目的 本文目的:实现简易社交网站中创建新用户和创建新动态功能。(完整代码附在文章末尾) 相关知识 本文将教会你掌握:1.redis基本命令,2.python基本命令。 redis基本命令 hget:从哈希中获取指定域的值…

h5进行svga动画礼物特效播放的代码实现队列按顺序播放

需求描述: 在直播场景中,有很多的礼物特效动画,如采用Svga动画的播放方案,则会遇到以下问题; 1.svga文件的预加载, 2.动画的顺序播放队列。即前一个动画播放完了,才会播放下一个动画。 1.svg…

沉浸式观影怎么能少得了投影仪?极米轻薄投影极米Z7X了解一下

近段时间,各个平台好剧不断,《以爱为营》《宁安如梦》《乐源游》《无所畏惧》等优质好剧陆续开播,让剧迷们直呼看不过来。优质好剧已经开场,看好剧的装备当然也不能落下。现如今,大屏追剧已成潮流,极米Z7X陪大家一起开…

【笔记】Clion 中运行 C/C++11 之 CMakeLists.txt 的配置

该文章记录第一次使用 Clion 时,对 CMakeLists 的配置,使其能够运行 C/C11 的代码。 一. CMakeLists.txt 的配置 1、首先我们在需要新建一个项目 2、填写新建项目相关的信息 3、修改 CMakeLists.txt 文件内容 替换文本: # 使用此 CMakeLis…

两道面试题秒杀你的C++基础!

大家好,我是光城,今天发两个非常重要的面试题,可以留言区说出你的答案,这两个题目都比较重要,看你能答对不? 1.C中初始化变量有几种方式,各自有什么区别? 或者说Initialization分为哪…

数学建模-数据新动能驱动中国经济增长的统计研究-基于数字产业化和产业数字化的经济贡献测度

数据新动能驱动中国经济增长的统计研究-基于数字产业化和产业数字化的经济贡献测度 整体求解过程概述(摘要) 伴随着数据要素化进程的不断加深,对于数据如何作用于经济发展,数据与其他要素结合产生的动能应该如何测度的研究愈发重要。本文将数据新动能分…

MySQL性能调优-1-实际优化案例

关于SQL优化的思路,一般都是使用执行计划看看是否用到了索引,主要可能有两大类情况: 对业务字段建立了二级联合索引,但是MySQL错误地觉得走主键聚族索引全表扫描效率更高,而没有走二级索引 走二级索引,但…

LLM | 一文了解大语言模型中的参数高效微调(PEFT)

Parameter Efficient Fine Tuning(PEFT)也就是参数高效微调,是一种用于微调大型语言模型 (LLM) 的方法,与传统方法相比,它有效地降低了计算和内存需求。PEFT仅对模型参数的一小部分进行微调,同时冻结大部分…