MySQL 三大日志(bin log、redo log、undo log)

news2024/10/6 20:03:43

 


redo log

redo log (重做日志) 是 InnoDB 存储引擎独有的,它让 MySQL有了崩溃恢复的能力,是事务中实现 持久化的重要操作

比如 MySQL 实例宕机了,重启时,InnoDB 存储引擎会使用 redo log 恢复数据,保证数据的持久性与完整性

MySQL 中数据时以页为单位,查询一条记录,会从硬盘中把该页的数据都加载出来,加载出来的页叫做数据页,会放入 Buffer Pool 中。

后续的查询都是先从 Buffer Pool 中找,没有命中再去硬盘加载,减少硬盘 IO 的开销,提升性能。

更新表数据的时候也是如此,如果 Buffer Pool 中存在需要更新的数据,就会直接在 Buffer Pool 中更新。

然后会把 在某个数据页中做了什么修改 记录到重做日志缓存(redo log buffer )中 ,接着刷盘到 redo log 文件里。

输盘时机:

InnoDB 将 redo log 刷盘到磁盘上有以下几种情况:

  1. 事务提交:当事务提交时,log buffer 里的 redo log 会被刷新到磁盘
  2. log buffer 空间不足时:log buffer 中缓存的 redo log 已经占满了 log buffer 总容量的大约一半左右,就需要把这些日志刷新到磁盘上。
  3. 事务日志缓冲区满:InnoDB 使用一个事务日志缓冲区来暂时存储事务的重做日志。当缓冲区满时,会触发日志的刷新,将日志写入磁盘
  4. CheckPoint (检查点):InnoDB 定期会执行检查点操作,将内存中的脏数据刷新到磁盘,并且会相应的重做日志一同刷新,以确保数据的一致性
  5. 后台刷新线程:InnoDB 启动了一个后台线程,负责周期性地将脏页刷新到磁盘,并将相关的重做日志一同刷新。
  6. 正常关闭服务器:MySQL 在关闭的时候,redo log 都会刷入到磁盘里去。

总之,InnoDB 会在多种情况下刷新重做日志,以确保数据的持久性和一致性。

日志文件组

硬盘上存储的 redo log 日志文件不止一个,而是以一个日志文件组的形式出现,每个 redo 日志文件大小是一样的。

比如可以配置为一组 4 个文件,每个文件的大小是 1 GB ,整个 redo log 日志文件组可以记录 4G 的内容。它采用的是环形数组的形式,从头开始写,写到末尾又回到头循环写,如下图:

日志文件组中还有两个重要的属性,分别是 write poscheckpoint 

  • write pos 是当前记录的位置,一边写一边后移
  • checkpoint 是当前要擦除的位置,也是往后推移

每次刷盘 redo log 记录到日志文件组中,write pos 位置就会后移更新

每次 MySQL 加载日志文件组恢复数据时,会清空加载过的  redo log 记录,并把 checkpoint 后移更新。

如果 write pos 追上了 checkpoint ,表示 日志文件组满了,这时候不能再写入新的 redo log 记录了,MySQL 需要停下来,清空一些记录并把 checkpoint 推进一下。

只要每次把修改后的数据页直接刷盘不就好了,为什么需要经过redo log 刷盘呢?

数据页的大小是 16KB ,刷盘比较耗时,可能就修改了数据页中的 几 Byte 数据,为了这些数据而重新刷盘整个页,有所不值。

而且数据页刷盘是随机写的,因为一个数据页对应的位置可能在硬盘文件的随机位置,所以性能很差。

如果是写 redo log ,一行记录可能就占几十 Byte,只需要记录表空间号、数据页号、磁盘文件偏移量、更新值,再加上是顺序写,所以刷盘速度很快。

所以使用 redo log 形式记录修改的内容,性能会远远超过刷数据页的方式,这也让数据库的并发能力更强。


bin log

redo log 属于物理日志,记录的内容是“在某个数据页上做了什么修改”,属于 InnoDB 存储引擎。

而 bin log 属于逻辑日志,记录的内容是语句的原始逻辑,比如:“给id 为 2 的这一行的 a 字段 加 1”,属于 Server 层

不管使用什么存储引擎,只要发生了表数据更新,都会产生 binlog 日志。

binlog 在数据库中可以起到保证数据一致性的作用,因为 数据库的数据备份、主备、主主、主从都离不开 bin log ,需要bin log 来同步数据。

binlog 会记录所有涉及更新数据的逻辑操作,并且是顺序写。


undo log

undo log(回滚日志),它保证了事务的原子性

undo log 是一种用于撤销回退的日志。在事务没提交之前,MySQL 会先记录更新前的数据到 undo log 日志文件里面,在事务回滚时,可以利用undo log 来进行回滚。

  • 在插入一条记录时,会把这条记录的主键值记录下来,这样之后回滚时,只需要把这个主键值对应的记录删掉即可
  • 在删除一条记录时,要把这条记录中的内容都记录下来,这样之后回滚时再把这些内容组成的记录插入到表中即可
  • 在更新一条记录时,会把被更新的列的旧值记录下来,这样之后回滚时在再把这些列更新为旧值即可

undo日志的存在形式如上图所示,使用 InnoDB 存储引擎的数据库表,它的聚簇索引记录都包含下面两个隐藏列:

  • trx_id,当一个事务对某条聚簇索引进行改动时,就会把该事务的id记录在 trx_id 隐藏列里;
  • roll_pointer,每次对某条聚簇索引记录进行改动时,就会把旧版本的记录写入到 undo 日志中,然后这个隐藏列是个指针,指向每一个旧版本记录,于是就可以通过它找到修改前的记录
     

另外,undo log 还有一个作用,就是通过 Read View 实现 MVCC(多版本并发控制),具体操作可见:事务隔离级别是怎么实现的?_dx1313113的博客-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1116073.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数字孪生技术:重塑企业经营的未来

在当今数字化时代,企业经营面临了前所未有的挑战和机遇。数字孪生技术作为新一代数字化工具,正在成为企业走向成功的关键。数字孪生是一种通过数字模型在虚拟世界中模拟和反映物理实体、过程和系统的技术,它为企业经营带来了许多重要的帮助。…

Sourcetree突然打不开,双击打开,图片闪一下就没反应了

解决方案如下: 1.点击图标,右键点击“打开文件所在位置 2.返回上一级,找到Atlassian文件夹 3.进入此文件夹下,删除SourceTree.exe_Url文件夹 4.再双击桌面的Sourcetree图标,可以正常打开。 最近刚遇到此问题&#x…

【广州华锐互动】智慧水务3D可视化数字孪生大屏定制开发

污水处理流程的复杂性需要一种有效的方法进行理解和优化。传统的2D图表和文字描述方法往往无法全面、直观地展示污水处理的各个环节。然而,智慧排水3D数字化管控系统可以为污水处理流程提供更深入、更全面的理解,从而帮助改进污水管理。 首先&#xff0c…

Vue2双向数据绑定的原理

Vue.js 是采用数据劫持结合发布者-订阅者模式的方式,通过Object.defineProperty()来劫持各个属性的setter,getter,在数据变动时发布消息给订阅者,触发相应的监听回调 Vue双向数据绑定主要有以下几个步骤: 模板解析 事件…

为何说只有 1 种实现线程的方法?

Java全能学习面试指南:https://javaxiaobear.cn 今天我们来学习为什么说本质上只有一种实现线程的方式?实现 Runnable 接口究竟比继承 Thread 类实现线程好在哪里? 实现线程是并发编程中基础中的基础,因为我们必须要先实现多线程…

虹科活动 | 探索全新AR应用时代,虹科AR VIP研讨会广州场回顾!

文章来源:虹科数字化AR 阅读原文:https://mp.weixin.qq.com/s/7tmYR42Tw5XLn70fm8Nnew 主题演讲 本次研讨会,虹科特邀 “工业AR鼻祖” 美国Vuzix公司的首席应用工程师郑慎方先生进行主题演讲,并邀请到了各界的专业人士和企业代表参…

ESRI ArcGIS Pro 3.0-3.0.2图文安装教程及下载

ArcGIS 是由美国著名的地理信息系统公司 Esri 开发的一款地理信息系统软件。ArcGIS Pro是一款功能强大的单桌面 GIS 应用程序,是在桌面上创建和处理空间数据的基本应用程序。ArcGIS Pro支持数据可视化和数据高级分析,可以创建 2D 地图和3D 场景。它支持跨…

无需公网IP,通过内网穿透轻松搭建微信公众号开发本地调试环境!

文章目录 前言1. 配置本地服务器2. 内网穿透2.1 下载安装cpolar内网穿透2.2 创建隧道 3. 测试公网访问4. 固定域名4.1 保留一个二级子域名4.2 配置二级子域名 5. 使用固定二级子域名进行微信开发 前言 在微信公众号开发中,微信要求开发者需要拥有自己的服务器资源来…

如何建立风险、内控与合规三位一体的管控体系?

为指导企业开展风险管理工作,进一步提高管理水平,增强竞争力,促进稳步发展,自2006年开始,我国国资委、财政部等相关部委借鉴COSO理论及国际上影响较大的风险管理和内部控制标准,结合国内的实际情况&#xf…

构建跨平台应用程序:Apollo在移动开发中的应用

前言 「作者主页」:雪碧有白泡泡 「个人网站」:雪碧的个人网站 「推荐专栏」: ★java一站式服务 ★ ★ React从入门到精通★ ★前端炫酷代码分享 ★ ★ 从0到英雄,vue成神之路★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff…

软件工程与计算(二十二)软件开发过程模型

(自顶向下,逐层细化) 目录 一.软件开发的典型阶段 1.需求工程 2.软件设计 3.软件构造 4.软件测试 5.软件交付 6.软件维护 二.软件生命周期模型 三.软件过程模型 四.构建-修复模型 五.瀑布模型 六.增量迭代模型 七.演化模型 八…

优维产品最佳实践第12期:IT资源管理首页丰富

​ 背 景 当我们进入平台后,默认跳转至IT资源管理首页,因此该页面的优化与丰富将极大的提高平台使用者的体验和效率。优化后的首页可以更好地展示常用模型、小产品、外部系统、以及保存的所有关系查询和快速查询条件,使用户能够更快捷、方便…

抖音同城热搜榜上榜技巧有哪些

抖音同城热搜榜上的话题通常是具有一定热度和社会关注度的。因此,在制作视频时,可以关注一些热门话题,如社会热点、明星八卦、节日庆典等。以社会热点为例,可以关注一些突发事件、政策变革等,这样可以在短时间内吸引大…

SystemVerilog Assertions应用指南 Chapter1.20“ $past”构造

1.20“ $past”构造 SVA提供了一个内嵌的系统任务“$past”,它可以得到信号在几个时钟周期之前的值。在默认情况下,它提供信号在前一个时钟周期的值。结构的基本语法如下 $past (signal_name ,number of clock cycles) 这个任务能够有效地验证设计到达当前时钟周期的状态所采用…

数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

【配置本地仓库yum源的两种方式】

一、使用下载的rpm包搭建本地仓库yum源 ​  使用自己下载的rpm包搭建本地仓库,需要用createrepo去创建仓库元数据。 1、下载需要的软件包 在一台可以联网的服务器上下载。或者通过其他方式下载自己需要的软件包。 # 下载所需工具依赖包到 /mypath [roottest ~]…

深入理解TDD(测试驱动开发):提升代码质量的利器!

在日常的软件开发工作中,我们常常会遇到这样的问题:如何在繁忙的项目进度中,保证我们的代码质量?如何在不断的迭代更新中,避免引入新的错误?对此,有一种有效的开发方式能帮助我们解决这些问题&a…

redis哨兵机制

为什么要有哨兵机制? 在 Redis 的主从架构中,由于主从模式是读写分离的,如果主节点(master)挂了,那么将没有主节点来服务客户端的写操作请求,也没有主节点给从节点(slave&#xff0…

使用Matplotlib画多y轴图

使用Matplotlib画多y轴图 代码成品图 代码 import matplotlib.pyplot as plt import mpl_toolkits.axisartist as AA from mpl_toolkits.axes_grid1 import host_subplot%matplotlib inline config {"font.family": "serif","font.size": 14,&…

文件批量下载

网页可能暂时无法连接,或者它已永久性地移动到了新网址。 把uploads前面的 / 去掉 public function downFile(){// 网页可能暂时无法连接,或者它已永久性地移动到了新网址。 把uploads前面的/去掉$files ["uploads/20231018/868ac3fe78e40c67…