第 19 章 说过的话就一定要办到——redo log

news2024/11/20 9:27:38

19.1 事先说明

不必理会

19.2 redo log 是个啥

我们想让已经提交了的事务对数据库中数据所做的修改永久生效,即使后来系统崩溃,在重启后也能把这种修改恢复出来,只需要把修改了哪些东西记录一下就好。这样也就满足了持久性的要求,记录的内容也被称为重做日志(redo log)

19.3 redo log 格式

在这里插入图片描述

名称含义
type该条 redo log 的类型
space ID表空间 ID
page number页号
data该条 redo 日志的具体内容
19.3.1 简单的 redo log 类型

redo log 中只需要记录一下在某个页面的某个偏移量处修改了几个字节的值,具体被修改的内容是什么就好了。这种极其简单的 redo log 被称为物理日志,并且根据在页面中写入数据的多少划分了几种不同的日志类型:

日志类型含义
MLOG_1BYTE(type=1)表示在页面的某个偏移量处写入 1 个字节的 redo log
MLOG_2BYTE(type=2)表示在页面的某个偏移量处写入 2 个字节的 redo log
MLOG_4BYTE(type=4)表示在页面的某个偏移量处写入 4 个字节的 redo log
MLOG_8BYTE(type=8)表示在页面的某个偏移量处写入 8 个字节的 redo log
MLOG_WRITE_STRING(type=30)表示在页面的某个偏移量处写入一串数据

在这里插入图片描述

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

19.3.2 复杂一些的 redo log 类型

把一条记录插入到一个页面时需要更改的地方非常多,简单日志类型无法满足。

日志类型含义
MLOG_REC_INSERT(type=9)表示插入一条使用非紧凑行格式的记录
MLOG_COMP_REC_INSERT(type=38)表示插入一条使用紧凑行格式的记录
MLOG_COMP_PAGE_CREATE(type=58)表示创建一个存储紧凑行格式的记录的页面
MLOG_COMP_REC_DELETE(type=42)表示删除一条使用紧凑行格式的记录
MLOG_COMP_LIST_START_DELETE(type=44)表示某条给定记录开始删除页面中的一系列使用紧凑行格式的记录
MLOG_COMP_LIST_END_DELETE(type=43)表示删除页面中的一系列使用紧凑行格式的记录直接某条给定记录结束
MLOG_ZIP_PAGE_COMPRESS(type=51)表示压缩一个数据页的 redo log

PS:紧凑行格式 = COMPACT 行格式

在这里插入图片描述

  1. n_uniques:需要几个字段才能确保记录的唯一性。对于聚簇索引来说,n_uniques 就是主键的列数,对于其他二级索引,该值为索引列数 + 主键列数,对于唯一二级索引,因为索引值可能为 NULL,所以仍然是索引列数 + 主键列数。
  2. field1_len~fieldn_len:表示该记录各字段占用存储空间的大小。
  3. offset:表示前一条记录在页面中的地址。因为插入时要修改前一条记录的 next_record 属性。
  4. end_seg_len:可以间接计算出一条记录占用存储空间的总大小,包括额外信息和真实信息。
  5. mismatch_index:可以忽略

这种类型的日志并没有记录实际的值的变更,而是把在本页面中插入一条记录所有必备的要素记录下来,等到系统崩溃重启时,服务器会调用相关函数,将该日志作为参数,将系统恢复到崩溃之前的样子。

19.3.3 redo log 格式小结

redo log 会把事务在执行过程中对数据库所做的所有修改都记录下来,在之后系统崩溃重启后可以把事务所做的任何修改都恢复出来。

19.4 Mini-Transaction

19.4.1 以组的形式写入 redo log
  • 某些操作,如向某个索引对应的 B+ 树中插入一条记录的过程必须是原子的,不能说插了一半就停止了。

  • 使用MLOG_MULTI_REC_END类型日志来作为隔断,把多条 redo log 分割成组。针对组内的 redo log,要么全部恢复,要么一条也不恢复。

在这里插入图片描述

在这里插入图片描述

  • 有的需要保证原子性的操作只生成一条 redo log,为它单独加一条MLOG_MULTI_REC_END的 redo 日志就不划算了。使用 type 字段的第 1 个比特位是 1 与否,来表示是否一条单一的日志

在这里插入图片描述

19.4.2 Mini-Transaction 的概念

对底层页面的中一次原子访问称为一个 Mini-Transaction,简称 mtr。

一个事务可以包含若干条语句,每一条语句其实是由若干个 mtr 组成,每一个 mtr 又可以包含若干条 redo log。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

19.5 redo log 的写入过程

19.5.1 redo log block

通过 mtr 生成的 redo log 都被存放在大小为 512 字节的页中,称为block

在这里插入图片描述

在这里插入图片描述

名称大小含义
LOG_BLOCK_HDR_NO4字节表示 block 都有的大于0的唯一标号
LOG_BLOCK_HDR_DATA_LEN2字节表示 block 中已经使用了多少字节,初始值12(header),最大512
LOG_BLOCK_FIRST_REC_GROUP2字节表示 block 里第一个 mtr 生成的第一条 redo log 的偏移量
LOG_BLOCK_CHECKPOINT_NO4字节表示 checkpoint 的序号
LOG_BLOCK_CHECKSUM4字节表示 block 的校验值,用于正确性校验
19.5.2 redo log 缓冲区

写入 redo log 时不直接写到磁盘上,而是在服务器启动时就向操作系统申请了一大片称为 redo log buffer 的连续内存空间,简称 log buffer。这块内存空间被划分为若干个连续的 redo log block。

在这里插入图片描述

19.5.3 redo log写入log buffer

向 log buffer 中写入 redo log 的过程是顺序的,先写前面的 block,再写后面的block。

使用全局变量buf_free来标记 redo log 应该写入到 log buffer 的哪个位置。

在这里插入图片描述

一个 mtr 产生的 redo log 是一个不分割的组,所以会先暂存到一个地方,当 mtr 结束时,将组中的 redo log 全部复制到 log buffer 中。

19.6 redo日志文件

19.6.1 redo日志刷盘时机
  1. log buffer 空间不足时

    当 log buffer 装满一半左右,就需要把这些日志刷新到磁盘上。通过innodb_log_buffer_size指定 log buffer 的大小。

  2. 事务提交时

    事务提交时可以不把修改过的 Buffer Pool 页面刷新到磁盘,但是为了保证持久性,必须把修改这些页面的 redo 日志刷新到磁盘。

  3. 后台线程刷

    后台有一个每秒刷新一次 log buffer 中的 redo 日志的线程。

  4. 正常关闭服务器时

  5. 做 checkpoint 时

  6. 其他情况……

19.6.2 redo log 文件组
show VARIABLES like 'datadir';

log buffer 中的日志默认刷新到其中的 ib_logfile0 和 ib_logfile1,可以通过参数修改。

两个文件交替写,一个写满了写另一个。

19.6.3 redo log文件格式

将 log buffer 中的 redo 日志刷新到磁盘的本质就是把 block 的镜像写入日志文件中,所以 redo 日志文件也是由若干个 block 组成。

redo 日志文件组中的每个文件大小都一样,格式也一样,由两部分组成:

  1. 前 2048 字节,也就是前4个 block 用来存储管理信息
  2. 之前全部用来存储 log buffer 中的 block 镜像

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在这里插入图片描述

log file header:描述该 redo 日志文件的一些整体属性,它的结构如下:

在这里插入图片描述

属性名长度(单位:字节)描述
LOG_HEADER_FORMAT4redo 日志的版本,在 MySQL5.7.21 中该值永远为1
LOG_HEADER_PAD14做字节填充用的,没什么实际意义,忽略~
LOG_HEADER_START_LSN8标记本 redo 日志文件开始的LSN值,也就是文件偏移量为2048字节初对应的 LSN 值(关于什么是LSN我们稍后再看哈,看不懂的先忽略)。
LOG_HEADER_CREATOR32一个字符串,标记本 redo 日志文件的创建者是谁。正常运行时该值为 MySQL 的版本号,比如: “MySQL 5.7.21” ,使用mysqlbackup 命令创建的 redo 日志文件的该值为 “ibbackup” 和创建时间。
LOG_BLOCK_CHECKSUM4本block的校验值,所有block都有,我们不关心

checkpoint1:记录关于 checkpoint 的一些属性,结构如下:

在这里插入图片描述

属性名长度(单位:字节)描述
LOG_CHECKPOINT_NO8服务器做 checkpoint 的编号,每做一次 checkpoint ,该值就加1。
LOG_CHECKPOINT_LSN8服务器做 checkpoint 结束时对应的 LSN 值,系统奔溃恢复时将从该值开始。
LOG_CHECKPOINT_OFFSET8上个属性中的 LSN 值在 redo 日志文件组中的偏移量
LOG_BLOCK_CHECKSUM4本block的校验值,所有block都有,我们不关心

第三个 block 未使用,忽略~

checkpoint2:同checkpoint1

19.7 Log Sequeue Number

Log Sequence Number,日志序列号,用来记录已经写入的 redo 日志的全局变量,简称 lsn,初始值为 8704。

每组由 mtr 生成的 redo 日志都有一个唯一的 LSN 与其对应,LSN 越小,说明 redo 日志产生的越早。

19.7.1 flushed_to_disk_lsn

redo 日志是首先写到 log buffer 中,之后才会被刷新到磁盘上的 redo 日志文件。使用 buf_next_to_write 的全局变量,标记当前 log buffer 中已经有哪些日志被刷新到磁盘中了。

在这里插入图片描述

lsn 表示当前系统中写入的 redo 日志量,这包括了写到 log buffer 而没有刷新到磁盘的日志。使用 flushed_to_disk_lsn 这个全局变量来表示刷新到磁盘中的 redo 日志量。

系统第一次启动时,flushed_to_disk_lsn 和 lsn 都是初始值 8704。随着系统运行,redo 日志不断写入 log buffer,但并不会立即刷新到磁盘,lsh 和 flushed_to_disk_lsn 的值拉开了差距。

同样的,如果 lsn 和 flushed_to_disk_lsn 又变成相同的了,说明 log buffer 中的所有 redo 日志都已经被刷新到磁盘中了。

19.7.2 lsn 值和 redo 日志文件偏移量的对应关系

在这里插入图片描述

19.7.3 flush 链表中的 LSN

在 mtr 结束时,会把一组 redo 日志写到 log buffer。并且,把在 mtr 执行过程中可能修改过的页面加到 Buffer Pool 的 flush 链表。

在这里插入图片描述

当第一次修改某个缓存在 Buffer Pool 中的页面时,就会把这个页面对应的控制块插入到 flush 链表的头部,之后如果再次修改这个页面,就不再插入了。也就是说 flush 链表中的脏页是按照页面首次修改时间由大到小进行排序的。

19.8 checkpoint

redo 日志文件组的容量是有限的,所以需要循环使用。

但是这会造成最后写的 redo 日志与最开始写的 redo 日志追尾。

但是 redo 日志只是为了系统崩溃后恢复脏页用的,如果脏页已经刷新到了磁盘,redo 日志也就没有存在的必要的。

所以判断某些 redo 日志占用的磁盘空间是否可以覆盖的依据就是它对应的脏页是否已经刷新到磁盘了。

使用一个全局变量 checkpoint_lsn 来代表当前系统中可以被覆盖的 redo 日志总量是多少。比如当页 a 被刷新到磁盘,mtr_1 生成的 redo 日志就可以被覆盖了,就增加 checkpoint_lsn 的值,这个过程称为做一次 checkpoint

checkponit 的步骤如下:

  1. 计算当前系统中可以被覆盖的 redo 日志对应的 lsn 最大值
  2. 将 checkpoint_lsn 和对应的 redo 日志文件组偏移量以及此次 checkpoint 的编号写到日志文件中的管理信息。
19.9 用户线程批量从 flush 链表中刷出脏页

如果当前系统修改页面的操作十分频繁,导致大量写日志操作,系统 lsn 值增长过快,可能就需要用户线程同步地从 flush 链表中把那些最早修改的脏页刷新到磁盘了。

19.10 查看系统中的各种 LSN 值
SHOW ENGINE INNODB STATUS;

19.11 innodb_flush_log_at_trx_commit 的用法

3个可选值:

  • 0:表示事务提交时不立即向磁盘中同步 redo 日志,而是交给后台线程处理。速度快但会丢数据。
  • 1:表示事务提交时立即向磁盘中同步 redo 日志。可以保证持久性,默认值。
  • 2:表示事务提交时需要将 redo 日志写到操作系统的缓冲区中,但不保证能写到磁盘,这样如果数据库挂了但操作系统没挂,还是可以保证持久性的。

19.12 崩溃恢复

19.12.1 确定恢复的起点

checkpoint_lsn

19.12.2 确定恢复的终点

第一个没有被填满(512)的 block。

19.12.3 怎么恢复

按照 redo 日志的顺序依次扫描,再按照日志中记载的内容将对应的页面恢复出来。使用以下方法加快这一过程。

  1. 使用哈希表

    根据 redo 日志的 space ID 和 page number 属性计算出散列值,把 space ID 和 page number 相同的 redo 日志放到哈希表的同一个槽里,哈希冲突时,用链表把他们连接起来。之后遍历哈希表进行恢复。由于一个槽里的 redo 日志是同一个页面的,避免了很多读取页面的随机 I/O。

  2. 跳过已经刷新到磁盘的页面

    页面的 File Header 里的 FIL_PAGE_LSN 属性记录了最近一次修改页面时对应的 lsn 值。如果在做了某次 checkpoint 之后有脏页被刷新到磁盘中,那么该页面对应的 FIL_PAGE_LSN 值肯定大小 checkpoint_lsn 的值,这样的就不需要刷新到页面了。

19.13 遗漏的问题:LOG_BLOCK_HDR_NO是如何计算的

LOG_BLOCK_HDR_NO = ((lsn / 512) & 0x3FFFFFFFUL) + 1

小于 1GB

19.14 总结

  1. redo 日志记录了事务执行过程中都修改了哪些内容
  2. 事务提交只将执行过程中产生的 redo 日志刷新到磁盘,而不是将所有修改过的页面都刷新到磁盘
  3. 一个 mtr 可以包含一组 redo 日志,它们是一个整体不可分割
  4. redo 日志存放在大小为512字节的 block 中
  5. redo 日志缓冲区是一片连续的内存空间,由若干个 block 组成
  6. redo 日志文件组由若干个日志文件组成,每个日志文件大小一样,格式一样,循环使用
  7. lsh 指已经写入的 redo 日志量;flushed_to_disk_lsn 指刷新到磁盘中的 redo 日志量
  8. 执行一次 checkpoint 的意思就是增加 checkpoint_lsn 的值
  9. 恢复过程的起点是 checkponit_lsn,终点是第1个没写满的 block

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2177253.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

光控资本:什么是优质股,近期估值创历史新低的优质股盘点?

在股票商场中,选到优质股进行出资,可以让出资者取得更高的出资酬谢。美联储发布降息,关于A股商场而言,估值创新低的优质股或许将获益于美联储降息。 根据近期数据,归纳10家以上安排评级的个股中,有19只个股…

Oracle数据库体系结构基础

关于Oracle体系结构 基于Oracle11g体系结构 目标: 了解Oracle体系结构掌握逻辑存储结构掌握物理存储结构熟悉Oracle服务器结构熟悉常用的数据字典 Oracle数据库管理中的重要的三个概念 实例(instance):实例是指一组Oracle后台进程以及在服务器中分配…

运行tensorflow报错InternalError: libdevice not found at ./libdevice.10.bc解决方法

运行tensorflow2.9.0的GPU报错 解决方法&#xff1a; 在项目目录下面新建2层文件夹nvvm/libdevice 解压cudatoolkit-11.2.0-h608a323_8.tar.bz2&#xff0c;然后复制"C:\Users<user_name>\anaconda3\pkgs\cudatoolkit-11.2.2-h933977f_10\DLLs" 里面文件 lib…

企业微信:开启客户联系和配置

前言 客户联系是企业微信的一项非常实用且自定义化配置丰富的功能&#xff0c;使企业内的授权员工可以添加外部客户&#xff08;企业微信联系人和微信联系人&#xff09;进行工作沟通&#xff0c;并且还可以建立客户群&#xff0c;甚至发表内容到客户朋友圈&#xff01; 由于功…

T536 工业级设备处理器:为智能硬件与工业应用打造的高性能解决方案

T536 工业级设备处理器&#xff1a;为智能硬件与工业应用打造的高性能解决方案 引言 在当今快速发展的科技时代&#xff0c;工业自动化和智能硬件领域对处理器的需求日益增长。为了满足这一需求&#xff0c;Allwinner Technology推出了T536系列处理器&#xff0c;这是一款专为…

解锁电商新趋势:探索循环购物模式的盈利与乐趣

亲爱的读者朋友们&#xff0c;今天我将向大家介绍一种新颖的电子商务模式——循环购物模式。你是否好奇&#xff0c;在某些购物平台上&#xff0c;消费1000元为何能获得超过2000元的价值回馈&#xff1f;并且每天还有额外的返现可以领取&#xff0c;这些钱还能轻松提现&#xf…

PCL 泊松重建

目录 一、概述二、代码三、结果 一、概述 PCL中的 pcl::Poisson<pcl::PointXYZRGBNormal>:函数实现泊松重建的代码示例。 二、代码 #include <iostream> #include <pcl/io/pcd_io.h> #include <pcl/io/ply_io.h> #include <pcl/point_types.h>…

Qt6.7开发安卓程序间接连接到MySQL的方法

本文主要描述一种通过间接的方法&#xff0c;使得Qt开发的安卓程序可以直连到Mysql数据库的方法。本文章的方案是通过JAVA代码去连接MySQL数据库&#xff0c;然后C代码去调用JAVA的方法&#xff0c;从而实现QT开发的安卓程序去直连到MySQL数据库。 本文使用 JDBC 结合 JNI&…

Windows 10 on ARM, version 22H2 (updated Sep 2024) ARM64 AArch64 中文版、英文版下载

Windows 10 on ARM, version 22H2 (updated Sep 2024) ARM64 AArch64 中文版、英文版下载 基于 ARM 的 Windows 10 请访问原文链接&#xff1a;https://sysin.org/blog/windows-10-arm/&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;s…

加速 Python for 循环

在 Python 编程中&#xff0c;for 循环是开发者常用的工具之一&#xff0c;但它的执行速度经常让人感到不满。幸运的是&#xff0c;有许多方法可以显著提高 for 循环的效率。 本文将介绍几种简单而高效的优化技巧&#xff0c;帮助你加速Python for 循环&#xff0c;速度提升从…

[ComfyUI]Flux:超美3D微观山水禅意,经典中文元素AI重现,佛陀楼阁山水画卷

在数字艺术和创意领域&#xff0c;[ComfyUI]Flux以其独特的虚实结合技术&#xff0c;已经成为艺术家和设计师们手中的利器。今天&#xff0c;我们激动地宣布&#xff0c;[ComfyUI]Flux带来了一款超美的3D微观山水禅意作品&#xff0c;经典中文元素通过AI技术重现&#xff0c;包…

现实版宫斗剧《OpenAI传》,正在上演!

大家好&#xff0c;我是木易&#xff0c;一个持续关注AI领域的互联网技术产品经理&#xff0c;国内Top2本科&#xff0c;美国Top10 CS研究生&#xff0c;MBA。我坚信AI是普通人变强的“外挂”&#xff0c;专注于分享AI全维度知识&#xff0c;包括但不限于AI科普&#xff0c;AI工…

海外盲盒系统开发的机遇与挑战

随着全球消费市场的多元化&#xff0c;盲盒&#xff08;Blind Box&#xff09;作为一种新兴的商业模式&#xff0c;逐渐在各个国家和地区崭露头角。特别是在海外市场&#xff0c;盲盒的受欢迎程度不断攀升。这一现象引发了很多创业者和企业的关注&#xff0c;纷纷投入到海外盲盒…

FreeRTOS列表与列表项

1.什么是列表与列表项 列表与列表项实际上是FreeRTOS中一个大量使用的一种数据结构 1.列表 列表的概念有点像链表&#xff0c;在 FreeRTOS 中&#xff0c;列表主要用于以下几个方面&#xff1a; 任务的管理&#xff1a;FreeRTOS 使用列表来管理不同的任务&#xff0c;包括就…

使用Rasterio处理栅格数据——RaterIO介绍

1. 依赖关系 RasterIO 有一个C库依赖项: GDAL >=1.11 。 GDAL 本身依赖于大多数主要操作系统提供的许多其他库,也依赖于非标准 Geos 和 Proj4 库。 Python 包依赖项(另请参见requirements.txt): affine , cligj , click , enum34 , numpy 。 开发还需要(参见 requi…

keil5程序编译没错误魔术棒可以识别芯片但是就是下载报错Error: Flash Download failed - “Cortex-M3“

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划 文章目录 一、硬件查看是否连接错误二、软件查看芯片包&#xff0c;更新到最新版本三、Debug下载模式选择四、芯片大小选择后记…

07_矩形圆形绘制

import cv2 import numpy as np newImageInfo (600,600,3) dst np.zeros(newImageInfo,np.uint8) # 1 2 左上角 3 右下角 4 5 fill -1 >0 line w cv2.rectangle(dst,(150,380),(350,550),(150,200,100),3) # 2 center 3 r cv2.circle(dst,(250,250),(100),(0,0,255),6) …

Sunbit币昇加密交易所分析加密货币总市值回升突破2.4万亿美元

每经AI快讯&#xff0c;9月27日&#xff0c;据CoinGecko数据&#xff0c;加密货币总市值回升至2.402万亿美元&#xff0c;24小时涨幅达1.1%。 全球历史最悠久的加密货币交易所之一,总部位于旧金山,Sunbit(币昇)Sunbit已荣获美国及加拿大MSB双牌照 ▌贝莱德增持1684枚BTC&#…

考拉悠然亮相天府人工智能大会,共绘AI赋能产业升级新蓝图

9月28日&#xff0c;备受瞩目的天府人工智能大会在成都拉开帷幕。本次大会是电子科技大学联合重要学术团体、政府相关部门、知名高校、科研机构和企事业单位等共同打造的人工智能领域顶尖峰会。 考拉悠然作为电子科技大学在产学研创新应用领域的杰出企业代表&#xff0c;荣幸受…

【北京迅为】《STM32MP157开发板嵌入式开发指南》- 第十二章 Linux 权限管理

iTOP-STM32MP157开发板采用ST推出的双核cortex-A7单核cortex-M4异构处理器&#xff0c;既可用Linux、又可以用于STM32单片机开发。开发板采用核心板底板结构&#xff0c;主频650M、1G内存、8G存储&#xff0c;核心板采用工业级板对板连接器&#xff0c;高可靠&#xff0c;牢固耐…