MySQL进阶（日志）——MySQL的日志 bin log (归档日志) 事务日志redo log(重做日志) undo log(回滚日志)

news2024/11/13 15:18:02

在这里插入图片描述

前言

MySQL最为最流行的开源数据库，其重要性不言而喻，也是大多数程序员接触的第一款数据库，深入认识和理解MySQL也比较重要。

本篇博客阐述MySQL的日志，介绍重要的bin log (归档日志) 、 事务日志redo log(重做日志) 、 undo log(回滚日志)。

本系列文章合集如下：

【合集】MySQL的入门进阶强化——从 普通人 到 超级赛亚人 的 华丽转身

在这里插入图片描述

目录

  • 前言
  • 引出
  • 一、MySQL日志分类
  • 二、Redo Log
    • 1. redo log重做日志的组成
    • 2. 刷盘的时机
  • 三、undo log （事务回滚）
  • 四、Bin log
    • 两阶段提交
    • 为什么需要两阶段提交？
    • MySQL主从复制
  • 总结

引出

1.二进制日志bin log (归档日志) 和 事务日志redo log(重做日志) 和 undo log(回滚日志)；
2.bin log用于备份恢复、主从复制；redo log用于掉电等故障恢复；
3.redo log一旦提交意味着持久化了，但是有时候需要对其进行rollback操作，那就需要undo log；
4.主从：写数据时只写主库，在读数据时只读从库，这样即使写请求会锁表或者锁记录，也不会影响读请求的执行；

一、MySQL日志分类

MySQL日志主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。其中，比较重要的还要属二进制日志binlog (归档日志) 和 事务日志redo log(重做日志) 和 undo log(回滚日志)。

MySQL日志主要包括七种：

  • 1.重做日志(redo log）
  • 2.回滚日志(undo log）
  • 3.归档日志(bin log)
  • 4.错误日志(error log）
  • 5.慢查询日志(slow query log)
  • 6.一般查询日志(general log）
  • 7.中继日志(relay log）

二、Redo Log

redo log(重做日志)是nnoDB存储引擎独有的，它让MySQL拥有了崩溃恢复能力。比如MySQL实例挂了或宕机了，重启时，InnoDB存储引擎会使用redo log恢复数据

(1)redo log是物理日志，纪录页的物理修改操作

  • 记录的是在某个数据页做了什么修改，比如对x表空间中的N数据页ZZZ偏移量的地方做了AAA更新：

(2)保证数据的持久性

  • 持久性，redo log会在事务提交时将日志存储到磁盘redo log file,保证日志的持久性。同时mysql会将数据写入磁盘，保证数据的持久性。

1. redo log重做日志的组成

  • 一是内存中的重做日志缓存，叫做redo log buffer

  • 二是重做日志文件，叫做redo log file

MySQL中数据是以页为单位，你查询一条记录，会从硬盘把一页的数据加载出来，加载出来的数据叫数据页，会放入到Buffer Pool中。后续的查询都是先从Buffer Pool中找，没有命中再去硬盘加载，减少硬盘IO开销，提升性能。

更新表数据的时候，也是如此，发现Buffer Pool里存在要更新的数据，就直接在Buffer Pool里更新。然后会把在某个数据页上做了什么修改记录到重做日志缓存(redo log buffer)里，接着刷盘到redo log文件里。同时，InnoDB引擎会在适当的时候，将这个操作记录更新到磁盘里面。

redo log的更新流程如下，以一次update操作为例

在这里插入图片描述

在这里插入图片描述

（1）执行Update操作

（2）先将原始数据读从磁盘读取到内存，修改内存中的数据。

（3）生成一条重做日志写入redo log buffer ，纪录数据被修改后的值。

（4）当事物提交时，需要将redo log buffer中的内容刷新到redo log file。

（5）事物提交后，也会将内存中修改的数据写入到磁盘。

为什么需要写Redo Log Buffer 和 Redo Log Flle?

为什么需要写Redo Log Buffer 和 Redo Log Flle?而不是直接持久化到磁盘？

直接写磁盘会有产生严重的性能问题：
(1)InnoDB在磁盘中存储的基本单元是页，可能本次修改只变更一页中几个字节，但是需要刷新整页的数据，就很浪费资源。
(2)一个事务可能修改了多页中的数据，页之间又是不连续的，就会产生随机IO，性能更差。

这种方案叫做WAL(Write-Ahead Logging),预写日志，就是先写日志，再写磁盘.

2. 刷盘的时机

InnoDB存储引擎为redo log的刷盘策略提供了innodb-f1ush_log-at_-trX-commit参数，它支持三种策略：

(1) 0（延迟写） ：表示每次事务提交时都只是把redo log留在redo log buffer中，开启一个后台线程，每1s刷新一次到磁盘中；

在这里插入图片描述

(2)1(实时写，实时刷)：表示每次事务提交时都将redo log直接持久化到磁盘，真正保证数据的持久性（默认值)；

在这里插入图片描述

刷盘的时机为1时，只要事务提交成功，redo log记录就一定在硬盘里，不会有任何数据丢失

如果事务执行期间MySQL挂了或宕机，这部分日志丢了，但是事务并没有提交，所以日志丢了也不会有损失。

（3）2(实时写，延迟刷)：表示每次事务提交时都只是把 redo log 写到 page cache,每秒刷一次到磁盘（速度快，但是会丢1s的数据，甚至更多，1s并不严格)

在这里插入图片描述

三、undo log （事务回滚）

redo log一旦提交意味着持久化了，但是有时候需要对其进行rollback操作，那就需要undo log。

undo log是逻辑日志，只是将数据库逻辑的恢复到原来的样子。并不能将数据库物理地恢复到执行语句或者事务之前的样子。虽然所有的逻辑修改均被取消了，但是数据结构和页本身在回滚前后可能不一样了。

既然是逻辑日志，可以理解为它存储的是SQL, 在事务中使用的每一条 INSERT 都对应了一条 DELETE，每一条 UPDATE 也都对应一条相反的 UPDATE 语句。

在这里插入图片描述

undo log实现了事务的一致性，是通过undo log恢复到事务之前的逻辑状态，保证一致性。

在事务没提交之前，MySQL会先记录更新前的数据到undo log日志文件里面，当事务回滚时，可以利用undo log来进行回滚。如下图：

在这里插入图片描述

Undo Logi通过两个隐藏列tx_id(最近一次提交事务的ID)和roll_pointer(上个版本的地址)，建立一个版本链，实现回滚到上一个版本。

在这里插入图片描述

四、Bin log

bin log用于备份恢复、主从复制；
redo log用于掉电等故障恢复。

(1) 如果不小心整个数据库的数据被删除了，能使用redo log文件恢复数据吗？

不可以使用redo log文件恢复，只能使用binlog文件恢复。

因为redo log文件是循环写，是会边写边擦除日志的，只记录未被刷入磁盘的数据的物理日志，已经刷入磁盘的数据都会从redo log文件里擦除。

binlog文件保存的是全量的日志，也就是保存了所有数据变更的情况，理论上只要记录在binlog上的数据，都可以恢复，所以如果不小心整个数据库的数据被删除了，得用binlog文件恢复数据。

(2) MySQL在完成一条更新操作后，Server.层会生成一条binlog,Bin Log也是采用WL模式，先写日志，再写磁盘。

事务执行过程中，先把日志写到binlog cache,事务提交的时候，再把binlogcache写到binlog文件中。

因为一个事务的binlog?不能被拆开，无论这个事务多大，也要确保一次性写入，所以系统会给每个线程分配一块内存作为binlog cache。

至于什么时候刷新到磁盘，可以sync_binlog配置参数指定。

  • 0(延迟写)每次提交事务都不会刷盘，由系统自己决定什么时候刷盘，可能会丢失数据。
  • 1(实时写)每次提交事务，都会刷盘，性能较差。
  • N(延迟写)提交N个事务后，才会刷盘。

加入写Bin Log 后的事务流程

在这里插入图片描述

加入写Bin Log.之后的事务流程，先写处于prepare状态的Redo Log,事务提交后，再写处于commit状态的Redo Log,这就是二阶段提交的概念。

两阶段提交

redo log(重做日志)让 InnoDB 存储引擎拥有了崩溃恢复能力。
bin log(归档日志)保证了MySQL集群架构的数据一致性。

bin log是MySQL Server提供的一种日志，叫做归档日志，所有引擎都可以使用bin log。

redo log是 InnoDB 引擎特有的。
redo log主要记录的是某个数据页做了什么修改，bin log记录的是语句的原始逻辑，比如更新了某一行的某个字段。
redo log是循环写的，数据会被覆盖。bin log是追加写，一个文件写满，就写下一个文件。

两者是如何配合完成两阶段提交的。

在这里插入图片描述

从上图中可以看出，在最后提交事务的时候，有3个步骤：
1.写入redo log,处于prepare状态。
2.写bin log。
3.修改redo log状态变为commit。

先写处于prepare状态的Redo Log,事务提交后，再写处于commit状态的Redo Log。由于redo log的提交分为prepare和commit两个阶段，所以称之为两阶段提交。

为什么需要两阶段提交？

(1) redo log与bin log两份日志之间的逻辑不一致，会出现什么问题？

以updatei语句为例，假设id=2的记录，字段c值是0，把字段c值更新成1，SQL语句为update T set c=1 where id=2。假设执行过程中写完redo log日志后，binlog日志写期间发生了异常，会出现什么情况呢？由于binlog没写完就异常，这时候binlog里面没有对应的修改记录。因此，之后用binlog日志恢复数据时，就会少这一次更新，恢复出来的这一行c值是0，而原库因为redo log日志恢复，这一行c值是1，最终数据不一致。

为了解决两份日志之间的逻辑一致问题，InnoDB存储引擎使用两阶段提交方案。

(2)使用两阶段提交后，写入bin log时发生异常也不会有影响，因为MySQL根据redo log日志恢复数据时，发现redo log还处于prepare阶段，并且没有对应bin log日志，就会回滚该事务。

在这里插入图片描述

(3)再看一个场景，redo log设置commit阶段发生异常，那会不会回滚事务呢？

并不会回滚事务，虽然redo log是处于prepare 阶段，但是能通过事务id找到对应的bin log日志，所以MySQL认为是完整的，就会提交事务恢复数据。

在这里插入图片描述

MySQL主从复制

MySQL的主从复制依赖于bin log,也就是记录MySQL上的所有变化并以二进制形式保存在磁盘上。复制的过程就是将bin log中的数据从主库传输到从库上。

这个过程一般是异步的，也就是主库上执行事务操作的线程不会等待复制binlog的线程同步完成。

MySQL集群的主从复制过程梳理成3个阶段：

  • 写入Bin log:主库写bin log日志，提交事务，并更新本地存储数据，
  • 同步Bin log:把bin log复制到所有从库上，每个从库把bin log写到暂存日志中。
  • 回放Bin log:回放bin log,并更新存储引擎中的数据。

在这里插入图片描述

具体详细过程如下：

  • MySQL主库在收到客户端提交事务的请求之后，会先写入bin log,再提交事务，更新存储引擎中的数据，事务提交完成后，返回给客户端“操作成功的响应。
  • 从库会创建一个专门的/o线程，连接主库的log dump线程，来接收主库的bin log日志，再把bin log信息写入relay log的中继日志里，再返回给主库“复制成功的响应
  • 从库会创建一个用于回放bin log的线程，去读relay log中继日志，然后回放bin log更新存储引擎中的数据最终实现主从的数据一致性。

在完成主从复制之后，你就可以在写数据时只写主库，在读数据时只读从库，这样即使写请求会锁表或者锁记录，也不会影响读请求的执行。

从库数量增加，从库连接上来的/O线程也比较多，主库也要创建同样多的log dump线程来处理复制的请求，对主库资源消耗比较高，同时还受限于主库的网络带宽。

所以在实际使用中，一个主库一般跟2~3个从库(1套数据库，1主2从1备主)，这就是一主多从的MySQL集群结构。

总结

1.二进制日志bin log (归档日志) 和 事务日志redo log(重做日志) 和 undo log(回滚日志)；
2.bin log用于备份恢复、主从复制；redo log用于掉电等故障恢复；
3.redo log一旦提交意味着持久化了，但是有时候需要对其进行rollback操作，那就需要undo log；
4.主从：写数据时只写主库，在读数据时只读从库，这样即使写请求会锁表或者锁记录，也不会影响读请求的执行；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1135440.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C语言系统化精讲（四）：C语言变量和数据类型-下篇

C语言系统化精讲（四）：C语言变量和数据类型-下篇

文章目录 一、C语言中的小数1.1 小数的输出1.2 小数的后缀1.3 小数和整数相互赋值 二、在C语言中使用英文字符2.1 字符的表示2.2 字符的输出2.3 字符与整数2.4 C语言转义字符 四、C语言布尔类型（_BOOL）五、补充：C语言中的几个重要概念5.1 标识…
阅读更多...
损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss

损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss

损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss 1 引言2 损失函数2.1 KLDivLoss2.2 BCEWithLogitsLoss 3 总结 1 引言 在前面的文章中已经介绍了介绍了一系列损失函数 (L1Loss、MSELoss、BCELoss、CrossEntropyLoss、NLLLoss、CTCLoss、Poi…
阅读更多...
【mysql】实现设置表中所有数据的update_time，要求每1000条设置在一天

【mysql】实现设置表中所有数据的update_time，要求每1000条设置在一天

实现效果示例 执行SQL：（mysql 版本查看： select VERSION() ：5.7.36-log） 实现效果： 这里最后一个id 9 > 总条数 6，所以没有更新到，直接手动补下就行 SELECT * FROM my_test S…
阅读更多...
Capture One 23 Enterprise 16.3.0.76

Capture One 23 Enterprise 16.3.0.76

Capture One 23 Enterprise是一款图像处理软件，旨在为企业用户提供高效、快速和灵活的工作流程。以下是该软件的主要特点和功能： 强大的图像编辑工具：Capture One 23 Enterprise提供了一系列强大的图像编辑工具，包括色彩校正、曲…
阅读更多...
为什么自动驾驶需要5G？

为什么自动驾驶需要5G？

什么叫自动驾驶？ 自动驾驶分为6个等级： Level 0：人工驾驶，无驾驶辅助系统，仅提醒。 Level 1：辅助人工驾驶，可实现单一的车速或转向控制自动化，仍由人工驾驶（如定速巡航…
阅读更多...
Java--for循环

Java--for循环

1.for循环 控制一段代码反复执行很多次 2.for循环格式 3.for循环案例详细流程说明 执行的流程: ①循环一开始&#xff0c;执行 int i 0 一次 ②此时 i 0&#xff0c;接着计算机执行循环条件语句: 0 < 3返回true&#xff0c;计算机就进到循环体中执行&#xff0c;输出:…
阅读更多...
WSL——ubuntu中anaconda换源（conda、pip）

WSL——ubuntu中anaconda换源（conda、pip）

1、conda 打开Ubuntu&#xff0c;输入下列命令。 conda config --set show_channel_urls yes 在文件管理器地址栏&#xff0c;输入&#xff1a;\\wsl$。打开Ubuntu根路径&#xff0c;其中显示了.condarc文件。 以文本形式打开&#xff0c;并输入要换的源&#xff0c;保存即可。…
阅读更多...
hypercube背景设置为白色，绘制高光谱3D立方体

hypercube背景设置为白色，绘制高光谱3D立方体

import scipy pip install wxpython PyOpenGL和Spectral需要本地安装 可参考链接https://blog.csdn.net/qq_43204333/article/details/119837870 参考&#xff1a;https://blog.csdn.net/Tiandailan/article/details/132719745?spm1001.2014.3001.5506Mouse Functions:left-cl…
阅读更多...
推荐几个好用的短链接网址生成平台

推荐几个好用的短链接网址生成平台

这里详细的介绍了几个非常不错的短网址在线生成平台&#xff0c;给日常有长链接生成短链接需求的小伙伴一些参考。由于短链接生成器比较容易失效&#xff0c;建议大家在不是特别重要的场景下使用。 前言唠叨 不管是日常写博客、写公众号的自媒体朋友&#xff0c;或者普通个人…
阅读更多...
社区迭代｜ETLCloud社区新增“论坛”啦！

社区迭代｜ETLCloud社区新增“论坛”啦！

ETLCloud社区是谷云科技RestCloud旗下面向开发工程师、集成研发人员等技术人员提供全方位交流和学习的开放式平台&#xff0c;也是ETLCloud在产品生态赋能上的一大亮点&#xff0c;旨在能够帮助更多的用户更快捷高效的掌握技能&#xff0c;也为企业提供集成人才培养赋能&#x…
阅读更多...
亚马逊注册账号时老是显示内部错误

亚马逊注册账号时老是显示内部错误

最近你们是否遇到注册亚马逊账号时一直遇到"内部错误"的情况&#xff1f;&#xff0c;这可能是由多种原因引起的。以下是一些可能有助于解决这个问题的步骤&#xff1a; 1、清除缓存和Cookie&#xff1a;有时浏览器缓存和Cookie中的问题可能导致网站错误。可以试试清…
阅读更多...
使用 ionic + cordova + vue3 实现相册选择、拍照，并上传、预览图片

使用 ionic + cordova + vue3 实现相册选择、拍照，并上传、预览图片

目录 1.上传组件 upload.vue 1.1 模板规划 1.2 点击添加按钮 1.2.1 实现询问弹框 1.2.2 实现拍照 1.2.3 实现相册选择 1.2.4 实现文件上传 1.2.5 校验图片类型并上传 1.2.6 获取图片列表 1.2.7 在组件内 添加图片附件 2.图片放大组件 enlarge-image.vue 2.1 点击图…
阅读更多...
selenium+python自动化测试 —— 解决无法启动IE浏览器及报错问题！

selenium+python自动化测试 —— 解决无法启动IE浏览器及报错问题！

前言&#xff1a;记录启动IE浏览器的报错及解决方法。 错误1&#xff1a; selenium.common.exceptions.WebDriverException: Message: IEDriverServer.exe executable needs to be in PATH. Please download from http://selenium-release.storage.googleapis.com/index.html…
阅读更多...
基于 ARM+FPGA+AD平台的多类型同步信号采集仪开发及试验验证（一）上位机设计

基于 ARM+FPGA+AD平台的多类型同步信号采集仪开发及试验验证（一）上位机设计

采集仪上位机设计 本章开发了一款基于 C# 的上位机软件&#xff0c;用于对多类型同步信号采集仪的各项功能 进行操作。从采集仪的数据传输需求出发&#xff0c;上位机利用以太网 UDP 协议实现与采集仪 的数据交互&#xff0c;包括向采集仪发送控制信息与配置信息、接收采…
阅读更多...
一文详解手眼标定公式推导

一文详解手眼标定公式推导

文章目录 一、坐标系运算规则1、坐标系运算规则一(点)2、坐标系运算规则二（坐标系）3、齐次变换二、手眼标定公式推导1、眼在手外2、眼在手上3、解方程AX = XB后记假设手眼标定坐标系表示如下： 机械臂基底坐标系 – base机械臂末端坐标系 – end相机坐标系 – camera标定板坐…
阅读更多...
最新PHP号卡商城V1.31 号卡推广管理系统源码/手机卡流量卡推广网站源码

最新PHP号卡商城V1.31 号卡推广管理系统源码/手机卡流量卡推广网站源码

源码简介&#xff1a; 最近看卡号推广比较火,但是苦于不能综合起来供客户选择,于是找了一套源码分享给大家。最新PHP号卡商城V1.31 号卡推广管理系统源码&#xff0c;它为手机卡流量卡推广网站源码。 更新日志&#xff1a; v1.31 1.修复自助开通分站时&#xff0c;低版本数据…
阅读更多...
如何在用pip配置文件设置HTTP爬虫IP

如何在用pip配置文件设置HTTP爬虫IP

首先&#xff0c;定义问题&#xff1a;在 Pip 中设置HTTP爬虫IP服务器&#xff0c;以便在网络上进行访问和下载。 亲身经验&#xff1a;我曾经遇到过类似问题&#xff0c;通过设置HTTP爬虫IP服务器成功解决了网络访问问题。 数据和引证&#xff1a;根据 pip 官方文档&#xff…
阅读更多...
界面控件DevExtreme v23.1 - UI组件 UI模板库增强

界面控件DevExtreme v23.1 - UI组件 UI模板库增强

DevExtreme拥有高性能的HTML5 / JavaScript小部件集合&#xff0c;使您可以利用现代Web开发堆栈&#xff08;包括React&#xff0c;Angular&#xff0c;ASP.NET Core&#xff0c;jQuery&#xff0c;Knockout等&#xff09;构建交互式的Web应用程序。从Angular和Reac&#xff0c…
阅读更多...
分享8款人声分离的软件，总有一款你喜欢的

分享8款人声分离的软件，总有一款你喜欢的

随着音乐制作技术的不断发展&#xff0c;人声分离软件成为了音乐制作过程中不可或缺的工具之一。人声分离软件可以帮助音乐制作者将多个人声部分分离出来&#xff0c;以便单独进行编辑和处理。 以下是一些人声分离软件的信息介绍&#xff1a; 1、音分轨人声分离软件&#xff1…
阅读更多...
【AICFD案例操作】汽车外气动分析

【AICFD案例操作】汽车外气动分析

AICFD是由天洑软件自主研发的通用智能热流体仿真软件&#xff0c;用于高效解决能源动力、船舶海洋、电子设备和车辆运载等领域复杂的流动和传热问题。软件涵盖了从建模、仿真到结果处理完整仿真分析流程&#xff0c;帮助工业企业建立设计、仿真和优化相结合的一体化流程&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023