MySQL事务日志—redo日志介绍

news2024/11/26 8:56:21

MySQL事务日志—redo日志

事务有4种特性: 原子性、一致性、隔离性和持久性。

那么事务的四种特性到底是基于什么机制实现?

  • 事务的原子性、一致性由事务的 undo 日志
  • 事务的隔离性由锁机制和MVCC实现。
  • 事务的持久性由redo 日志来保证。

两类日志概述:

  • REDO LOG 称为重做日志,用于保存已提交事务的页修改操作, 保证事务的持久性。
  • UNDO LOG 称为回滚日志, 回滚行记录到某个特定版本, 用来保证事务的原子性、一致性。

redo日志作用

背景:在真正访问页面之前,需要把在磁盘上的页缓存到内存中的 Buffer Pool之后才可以访问。所有的变更都必须先更新缓冲池中的数据,然后缓冲池中的脏页会以一定的频率被刷入磁盘(checkPoint机制 ) ,通过缓冲池来优化CPU和磁盘之间的鸿沟, 这样就可以保证整体的性能不会下降太快。

问题:事务提交并不会触发check point机制马上进行持久化,所以有可能存在事务内容丢失的情况。

redo日志就是保证事务提交后的持久化的一种机制。如果发生宕机,只需要保证数据页的修改记录已经保存到了在redo log中,之后重启就就可以通过redo log去重新刷盘,保证了持久化。

在这里插入图片描述

为什么不是直接刷盘,而是把内存数据的修改记录到redo日志里?redo日志不也是磁盘中的吗?

  1. 数据修改量与刷盘的数据量的差距太大,因为mysql是以页为单位进行IO,而修改的数据量可能只有几个字节。
  2. 直接刷盘效率太低,因为SQL修改的磁盘页不一定连续,所以说是随机IO。

使用redo日志的优点?

  1. 降低了完整刷盘的频率,每次只记录页面修改的内容即可
  2. redo log是顺序写入磁盘的,属于顺序IO,效率高

redo log什么时候产生?

实时产生,每执行一个SQL语句对应的数据修改都会记录在redo log中,而不是事务提交才记录

redo日志工作原理

redo log的组成

Redo log可以简单分为以下两个部分:

  • 重做日志的缓冲 ( red o log buffer) , 保存在内存中, 是易失的。

  • 在这里插入图片描述

  • 重做日志文件 ( redo log file) , 保存在硬盘中, 是持久的。如var/lib/mysql目录下的ib_logfile0和 ib _logfile1 文件即为REDO日志。

redo log工作流程

InnoDB的更新操作采用的是 Write Ahead Log(预先日志持久化)策略, 即先写日志, 再写入磁盘。

mysql事务对数据进行修改,大致过程:

  1. 开始一个事务
  2. 执行SQL语句,先将原始数据从磁盘中读入内存的buffer pool中来
  3. 记录数据旧值到undo log以便于回滚,然后再对内存中的buffer pool数据进行修改
  4. 将内存页的修改情况记录到redo log buffer(内存中)
  5. 如果事务中途失败,则通过undo log回滚
  6. commit事务,根据刷盘策略的配置决定采取什么行为,默认:把redo buffer数据直接追加到redo磁盘文件中
  7. 按照一定频率执行真正的刷盘(check point机制)
  8. 如果事务成功commit但没有成功刷盘的时候(步骤5-6之间),发生宕机,则重启后会根据redo日志中的记录再执行刷盘

在这里插入图片描述

redo日志刷盘策略

redo log刷盘策略是指将redo buffer同步到redo log磁盘文件中的过程

在这里插入图片描述

注意:redo log buffer刷盘到 redo log file的过程并不是真正的刷到磁盘中去, 只是刷入到文件系统缓征 ( page cache) 中去 , 真正的写入会交给系统自己来决定。那么对于InnoDB来说就存在一个问题, 如果交给系统来同步, 同样如果系统宕机,那么数据也丢失了 (虽然整个系统宕机的概率还是比较小的) 。

针对这种情况, InnoDB给出 innodb _ flush _ log _ at _ trx _ commit参数, 该参数控制 commit提交事务时, 如何将 redo log buffer中的日志刷新到 red o log file中。它支持三种策略:

  • 设置为0: 表示每次事务提交时不进行刷盘操作。(系统默认 master thread每隔1s进行一次重做日志的同步)
  • 设置为1 : 表示每次事务提交时都将进行同步, 刷盘操作 (默认值)
  • 设置为2: 表示每次事务提交时都只把 red o log buffer 内容写入 page cache, 不进行同步。由 os自己决定什么时候同步到磁盘文件。(其实也是交给master thread处理)

拓展:master thread是InnoDB存储引擎的后台线程, 每隔1 秒, 就会把 redo log buffer 中的内容写到文件系统缓存( page cache) , 然后调用刷盘操作。三种刷盘策略都会收到master thread的影响。

在这里插入图片描述

策略一:事务提交,立马同步到redo log文件

优点:安全性很高,只要事务提交了,数据就是安全的

缺点:速度慢

在这里插入图片描述

策略二:事务提交,只保存到文件系统的page cache

优点:速度快,安全性也相对较高,因为只要把修改记录保存到page cache中了,即使MySQL崩溃了,数据也还是能够保证持久化,除非整个系统宕机了(概率小)

缺点:有概率产生事务数据丢失的情况,丢失1s的数据(等待master thread同步的1s的过程中宕机了)

在这里插入图片描述

策略三:事务提交,什么也不干

优点:速度快

缺点:安全性差,1s内发生MySQL奔溃或者OS宕机,都会丢失事务的修改数据
在这里插入图片描述

总结

redo buffer是实时变化的,而刷盘不是实时进行的,根据同步时机,可分为如下三种:

  • 事务commit时,将redo buffer同步到操作系统的文件缓存cache中,然后马上将文件缓存cache同步写入到redo log文件中(默认,做两步
  • 事务commit时,只将redo buffer同步到操作系统的文件缓存cache中,具体什么时候同步到redo log文件中,取决于后台子线程(做一步,另一步交给后台线程
  • 事务commit时,什么也不做,什么时候同步完全取决于后台子线程(什么都不做,都交给后台线程

三种策略的安全性由高到低,速度由慢到快,但出于安全考虑,最好还是选择默认的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2193117.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于猎豹优化算法(The Cheetah Optimizer,CO)的多无人机协同三维路径规划(提供MATLAB代码)

一、猎豹优化算法 猎豹优化算法(The Cheetah Optimizer,CO)由MohammadAminAkbari等人于2022年提出,该算法性能高效,思路新颖。 参考文献: Akbari, M.A., Zare, M., Azizipanah-abarghooee, R. et al. The…

‌在Python中,print(f‘‘)是什么?

‌在Python中,print(f’)表示使用f-string对字符串进行格式化输出。‌ f-string是Python 3.6及以上版本引入的一种新的字符串格式化机制,它允许在字符串中直接嵌入表达式,这些表达式在运行时会被其值所替换。使用f-string可以更方便地将变量的…

【通信协议】一文学会异步、同步、串行、并行、单工、半双工、全双工(一)

通信方式详解:异步、同步、串行、并行、单工、半双工、全双工 引言一、通信方式分类概述二、串行通信与并行通信串行通信 (Serial Communication)并行通信 (Parallel Communication)串行与并行通信对比表 三、全双工、半双工、单工通信单工通信 (Simplex Communicat…

怎么将mp4转换为mp3?教你6种值得收藏的视频转音频方法!

怎么将mp4转换为mp3?自媒体生活如此繁华的现在,我们经常需要从视频中提取音频,以便在不同的设备或场合中播放,又或者提取视频中的音频进行二次视频/音频/故事创作,因此,将MP4视频文件转换为MP3音频文件变成…

了解奈奎斯特采样定律和频率混叠:数字信号处理中的关键概念

在数字信号处理和通信领域,采样是将连续信号转化为离散数字信号的关键步骤。采样的过程虽然看似简单,但其中蕴含着深刻的理论,直接关系到信号重建的准确性。而奈奎斯特采样定律和频率混叠就是其中两个非常重要的概念。本文将带您深入了解这两…

基金好书入门阅读笔记《基金作战笔记:从投基新手到配置高手的进阶之路》2

买基金,说到底是买基金所持有的一揽子资产。那么,常见的可投资产都有哪些类型呢? 图2.9进行了系统性的梳理,我们把资产分为四大类,分别是权益类、固收类、现金和另 类,下面就一一解读。 年化收益率是把一段…

L111213 【哈工大_操作系统】内核级线程内核级线程实现操作系统之“树”

L2.4 内核级线程 切换进程,实际上是切换内核级线程,没有用户级进程说法,进程只能在内核中。 多核与多处理器的区别在于是否共用资源。多核多线程 并发:同时触发,交替执行,在一个核上 并行:同…

《数字图像处理基础》学习01-数字图像处理的相关基础知识

这篇文章只是对数字图像处理的相关基础知识有个大概的了解,之后的文章会接着补充和扩展。 目录 一,图像的基本概念 1,图像 2,图像的分类 1)物理图像 2)虚拟图像 二,数字图像处理 三&…

Jenkins Pipline流水线

提到 CI 工具,首先想到的就是“CI 界”的大佬--]enkjns,虽然在云原生爆发的年代,蹦出来了很多云原生的 CI 工具,但是都不足以撼动 Jenkins 的地位。在企业中对于持续集成、持续部署的需求非常多,并且也会经常有-些比较复杂的需求,此时新生的 CI 工具不足以支撑这些很…

常见的src漏洞挖掘之信息收集打点篇

💗想加内部圈子,请联系我! 💗文章交流,请联系我!🍬 博主介绍 👨‍🎓 博主介绍:大家好,我是 一个想当文人的黑客 ,很高兴认识大家~ ✨主…

Java IO流全面教程

此笔记来自于B站黑马程序员 File 创建对象 public class FileTest1 {public static void main(String[] args) {// 1.创建一个 File 对象,指代某个具体的文件// 路径分隔符// File f1 new File("D:/resource/ab.txt");// File f1 new FIle("D:\\…

子比主题美化 – 添加天气教程

前言 经常看到很多的网站顶部或者侧边有显示天气状态的小条幅,看着也美观,寻思着也在自己的小站上显示天气。大体的思路是能识别用的ip地址来确认位置然后以代码形式在前台显示出。 经过在百度上搜索一番,发现一个很不错的天气api&#xff…

VMware ESXi Centos7网卡名称 ens192 变更eth0

1.在 /etc/sysconfig/network-scirpts/ 文件夹下 创建一个ifcfg-eth0的文件, 最简单的方式是 mv ifcfg-ens192 ifcfg-eth0 然后 vi ifcfg-eth0 把DEVICE改成 DEVICEeth0 wq! 保存 2. vi /etc/sysconfig/grub # 在位置添加 net.ifnames0 biosdevname0 参数 完…

数据结构之红黑树实现(全)

一、红黑树 红黑树是一种自平衡的二叉搜索树,它通过约束节点的颜色和结构来保持平衡。红黑树是由 Rudolf Bayer 在1972年发明的,被认为是一种优秀的平衡树结构,广泛应用于各种数据结构和算法中。 1.红黑树的性质 1. 每个结点是红的或者黑的…

detectron2/data/catalog.py源码笔记

公开接口是DatasetCatalog对象,MetadataCatalog对象和Metadata类 DatasetCatalog.register(name, func) #用于注册函数 DatasetCatalog.get(name) #返回函数调用结果return func() DatasetCatalog.list() #return list(self.keys()) Datase…

Windows系统编程(三)进程与线程二

进程与线程 进程:直观的说就是任务管理器中各种正在运行的程序。对于操作系统来说,进程仅仅是一个数据结构,并不会真实的执行代码 线程:通常被称作但并不真的是轻量级进程或实际工作中的进程,它会真实的执行代码。每…

强制删除了windows自带的edge浏览器,重装不了怎么办【已解决】

#最近我的edge浏览器出了点问题,点击打不开但是能在下面的任务栏看到他开启了,就是不能够显示在桌面,小窗口叫我配置设置。 我不懂,感觉很烦,就把他强制卸载了。但是windows是不允许将他卸载的,使用window…

LeetCode讲解篇之695. 岛屿的最大面积

文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 我们遍历二维矩阵,如果当前格子的元素为1进行深度优先搜索,将搜索过的格子置为0,防止重复访问,然后对继续深度优先搜索上下左右中为1的格子 题解代码 func maxAr…

sublime配置(竞赛向)

我也想要有jiangly一样的sublime 先决条件 首先,到官网上下载最新的sublime4,然后在mingw官网上下载最新的mingw64 mingw64官网:左边菜单栏点击dowloads,然后选择MinGW-W64-builds(可能会有点慢)——然后有时候会变成选LLVM-minGW,接着选择…

Vue入门-指令学习-v-show和v-if

v-show: 作用:控制元素的显示隐藏 语法:v-show"表达式" 表达式值true显示,false隐藏 v-if 作用:控制元素的显示隐藏(条件渲染) 语法: vif"表达式" 表达式tr…