InnoDB 磁盘结构 - RedoLog

news2024/10/9 22:17:39

文章目录

  • RedoLog是什么
  • 刷盘机制
  • 崩溃恢复
  • 相关参数
  • Redo Log 和 Undo Log 对比


https://dev.mysql.com/doc/refman/8.0/en/innodb-redo-log.html

RedoLog是什么

RedoLog 是MySQL的一种日志文件,用于在崩溃恢复期间纠正由不完整事务写入的数据。在正常操作过程中,RedoLog会对SQL语句或MySQL内部低级API调用产生的更改表数据的请求进行编码。在MySQL崩溃之前未完成数据文件更新的修改将在初始化期间和接受连接之前自动重放。

主要功能有以下几点

  1. 保证事务的完整性,因为事务运行期间可能由于 MySQL 崩溃而执行一半就默认退出了
  2. 数据备份,便于在 MySQL 崩溃后进行恢复

RedoLog在磁盘上物理表示为由RedoLog文件。写入RedoLog文件的数据根据受影响的记录进行编码,这些数据统称为Redo。

在mysql的数据目录下可以看到RedoLog文件,RedoLog文件

在这里插入图片描述

  1. RedoLog采用二进制格式,以便更高效地存储和处理数据。与文本格式相比,二进制格式可以减少存储空间并提高 I/O 性能。
  2. 顺序写入:Redo Log 文件使用顺序写入的方式,这意味着日志条目被顺序追加到文件的末尾。这种方式提高了写入效率,因为磁盘的顺序写入速度通常比随机写入快得多。
  3. 恢复机制:在系统崩溃时,Redo Log 文件用于恢复未完成的事务。MySQL 会读取这些日志条目,将数据库恢复到崩溃前的状态。
  4. 日志内容:每个日志数据项包含了事务的具体操作和相关的元数据,例如事务 ID 和修改前后的数据状态。这些信息用于确保数据的一致性和完整性。

在这里插入图片描述

刷盘机制

https://dev.mysql.com/doc/refman/8.4/en/glossary.html#glos_log_buffer

MySQL写 RedoLog 时是往 LogBuffer 里面写,LogBuffer 是一块保存要写入构成RedoLog的日志文件的数据的内存区域。它的大小由innodb_log_buffer_size配置选项控制。存在内存中的数据需要将其写入磁盘防止数据丢失。一般来说,RedoLog 落盘的时机有以下几种

  1. 定时刷盘:MySQL 有一个后台线程以默认每秒一次的频率把LogBuffer 中的 RedoLog 刷新到磁盘 (fsync),由 innodb_flush_log_at_trx_commit 这个变量控制
  2. 事务提交或者回滚
  3. LogBuffer 空间不足

如果开启了定时刷盘,可能和事务提交时刷盘冲突

崩溃恢复

https://dev.mysql.com/doc/refman/8.0/en/innodb-recovery.html

MySQL利用 Redo Log 进行恢复的核心思想是在系统崩溃后,通过重放Redo Log中记录的操作,将数据库恢复到崩溃前的状态,从而保证了事务的持久性。

Checkpoint 检查点

在数据库系统中,检查点是一种用于在系统崩溃后减少恢复所需的时间的机制。它记录了数据库在一个特定时间点的一致性状态。在崩溃恢复期间,数据库只需要重放从最后一个检查点开始的日志记录,而不是从头开始重放所有日志记录,从而加快恢复速度。

可以将检查点理解为数据库的一个快照,它标记了哪些数据页已经被安全地写入磁盘。

检查点的作用:

  1. 缩短恢复时间:这是检查点的主要作用。通过记录一个一致性状态,数据库在崩溃后只需要重放部分日志,而不是全部日志,从而显著减少恢复时间。
  2. 提高效率:检查点可以减少恢复过程中需要读取的数据页数量,从而提高恢复效率。
  3. 提高可用性:更快的恢复时间意味着数据库可以更快地重新上线,从而提高系统的可用性。

以下是MySQL如何利用Redo Log进行恢复的详细步骤:

  1. 崩溃恢复的触发: 当MySQL服务器异常宕机或重启后,在启动过程中会自动触发崩溃恢复流程。
  2. 查找检查点: InnoDB存储引擎会首先找到最后一个检查点(checkpoint)。检查点记录了哪些数据页已经被写入磁盘。在崩溃恢复时,只需要重做检查点之后的操作即可,避免了不必要的重复工作。
  3. 扫描Redo Log: 从检查点对应的Redo Log位置开始,顺序扫描Redo Log文件。
  4. 重放操作: Redo Log中记录了所有已提交事务的修改操作,包括对数据页的修改、对索引的修改等。MySQL会按照顺序重放这些操作,将修改应用到相应的数据页上,即使这些修改在崩溃前还没有被写入磁盘。
  5. 恢复数据: 通过重放Redo Log中的操作,将数据恢复到崩溃前的最新一致状态。 这确保了已提交事务的数据不会丢失。
  6. 回滚未提交事务:在重放Redo Log的过程中,如果遇到未提交事务的操作,MySQL会进行回滚操作,撤销这些未完成的修改,保证数据的一致性。

Redo Log 的关键特性使其能够有效地进行崩溃恢复:

  1. 顺序写入: Redo Log 是顺序写入的,这使得写入操作非常高效。
  2. 记录物理修改: Redo Log 记录的是对数据页的物理修改,而不是逻辑操作,这使得重放操作非常快速。
  3. 循环写入: Redo Log 使用循环写入的方式,避免了文件无限增大的问题。

崩溃恢复的类型

MySQL的崩溃恢复主要分为两种类型:

  1. 基于checkpoint的恢复,这是最常见的恢复方式,如上所述。
  2. 基于分析的恢复 (crash-safe replication):在某些情况下,例如Redo Log损坏,MySQL可以使用基于分析的恢复。这种方式会分析数据文件,并尝试推断出哪些事务已经提交,然后进行恢复。 这种方式比基于checkpoint的恢复更复杂,也更耗时。

通过以上机制,MySQL利用 Redo Log 实现了事务的持久性,保证了数据的安全性和一致性。

相关参数

innodb_flush_log_at_trx_commit

https://dev.mysql.com/doc/refman/8.4/en/innodb-parameters.html#sysvar_innodb_flush_log_at_trx_commit

0 -> 每秒写入并刷新磁盘一次
1 -> 每次事务提交就写入并刷新磁盘,最安全的方式
2 -> 每次提交后写入,每秒刷新一次到磁盘

innodb_flush_log_at_timeout

https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html#sysvar_innodb_flush_log_at_timeout

如果其值为 N,则表示在 N 秒的延迟后将日志写入文件

参考文章:

  1. https://dev.mysql.com/doc/refman/8.4/en/optimizing-innodb-logging.html
  2. https://dev.mysql.com/doc/refman/8.4/en/optimizing-innodb-transaction-management.html

Redo Log 和 Undo Log 对比

1.redo log通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行修改成怎样怎样,它用来恢复提交后的物理数据页(恢复数据页,且只能恢复到最后一次提交的位置)。
2.undo用来回滚行记录到某个版本。undo log一般是逻辑日志,根据每行记录进行记录。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2200182.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AtCoder Beginner Contest 374

C - Separated Lunch 题目&#xff1a; 思路&#xff1a; dfs枚举每个数是否选入a数组中&#xff0c;求和比较 代码&#xff1a; #include <bits/stdc.h>using namespace std;typedef long long LL;const int N25;int a[N]; bool st[N]; int mn0x3f3f3f3f; int sum; …

VMWare安装ubuntu22虚拟机

1.下载VMware虚拟机和ubuntu 下载地址&#xff1a; VMware Workstation Pro - Download (softonic.com) Download Ubuntu Desktop | Ubuntu 2.Ubuntu的安装 1.VMware创建虚拟机。 2.选择默认即可点击下一步。 3.找到刚才下载的ubuntu20.04。选择下面的稍后安装操作系统。 …

众智OA办公系统 Account/Login SQL注入漏洞复现

0x01 产品简介 众智OA办公系统是一种专门为企业和机构的日常办公工作提供服务的综合性软件平台。它凭借先进的技术和人性化的设计理念,实现了信息的快速传递和自动化处理,帮助企业和机构实现信息化、自动化、智能化和标准化的办公管理。 0x02 漏洞概述 众智OA办公系统 Acc…

【命令操作】linux上watch命令详解 _ 统信 _ 麒麟 _ 方德

原文链接&#xff1a;【命令操作】linux上basename和dirname使用详解 | 统信 | 麒麟 | 方德 Hello&#xff0c;大家好啊&#xff01;今天给大家带来一篇关于Linux上watch命令的详解文章。watch命令是Linux系统中非常有用的一个工具&#xff0c;它可以定期执行指定的命令并在终端…

解决vscode cpptools-srv.exe占用内存过大,导致系统卡死问题

cpptools-srv.exe是安装了c扩展出来的进程。最新版本c扩展cpptools-srv.exe疯狂的占用内存&#xff0c;笔者机器64G内存 都被占满了&#xff0c;&#xff0c;&#xff0c;&#xff0c;&#xff0c;&#xff0c; 网上也试了一些其他的办法&#xff0c;设置里面限制内存不过不好…

一入递归深似海,算法之美无止境

最近在刷leetcode hot100,在写二叉树中最大路径和的时候,看到了一个佬对递归的理解,深受启发,感觉自己对于递归的题又行了!!! 这里给大家分享一下(建立大家先去尝试一下这道题再来看 124. 二叉树中的最大路径和 二叉树中的 路径 被定义为一条节点序列&#xff0c;序列中每…

【优选算法】--- 位运算

位运算 一、常见的位运算总结&#xff08;重点&#xff01;&#xff09;1、关于位运算的符号2、&#xff08;判断&#xff09;给一个数字n&#xff0c;确定它的二进制表示中的第X位&#xff0c;是1还是0&#xff1f;3、&#xff08;修改&#xff09;如何把一个二进制的数字的第…

算法:双指针系列(一)

双指针系列 一、移动零&#xff08;一&#xff09;题目分析&#xff08;二&#xff09;代码展示二、复写零&#xff08;一&#xff09;题目分析&#xff08;二&#xff09;代码展示三、快乐数&#xff08;一&#xff09;题目分析&#xff08;二&#xff09;代码展示&#xff08…

OceanBase 4.x 部署实践:如何从单机扩展至分布式部署

OceanBase 4.x 版本支持2种部署模式&#xff1a;单机部署与分布式部署&#xff0c;同时支持从单机平滑扩展至分布式架构。这样&#xff0c;可以有效解决小型业务向大型业务转型时面临的扩展难题&#xff0c;降低了机器资源的成本。 以下将详述如何通过命令行&#xff0c;实现集…

Matlab数据预处理——最小二乘法消除多项式趋势项

关注公众号“电击小子程高兴的MATLAB小屋”获取专属优惠 概要&#xff1a; 最小二乘法是一种常用的统计方法&#xff0c;用于通过拟合数据来消除多项式趋势项。以下是关于如何使用最小二乘法消除多项式趋势项的步骤和概念&#xff1a; 概念&#xff1a; 多项式趋势项&#…

动态规划一>解码方法

1.题目&#xff1a; . - 力扣&#xff08;LeetCode&#xff09; 2.解析&#xff1a; 版本一&#xff1a;图解&#xff1a; 注意&#xff1a; 前导0不能解码&#xff1a;06, 或者两个数字字符&#xff1a;其中一个解码失败&#xff0c;整个也解码失败 /**1.创建dp表2.初始化3.填…

GIS小技巧——一文教会你安装BlenderGIS插件

Blender是一款不错的三维渲染软件&#xff0c;用它来做三维地形图&#xff0c;能够更好地把地形纹理显现出来。不过&#xff0c;原始的Blender是没有地图底图的&#xff0c;要结合三维影像制作三维地形图&#xff0c;需要结合其他的软件&#xff0c;比如ArcGIS Pro&#xff0c;…

基于RSSI原理的蓝牙定位程序(matlab代码,3维空间、基站数量>3即可,可自适应)

目录 商品描述 商品描述 这款基于接收信号强度指示&#xff08;RSSI&#xff09;原理的蓝牙定位程序&#xff0c;专为需要高效、可靠定位解决方案的开发者和研究人员设计。无论是在室内环境还是复杂的三维空间&#xff0c;该程序都能通过N个蓝牙锚点&#xff0c;实现对未知点的…

重学SpringBoot3-集成Redis(十)之实时统计和分析

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞&#x1f44d;收藏⭐评论✍ 重学SpringBoot3-集成Redis&#xff08;十&#xff09;之实时统计和分析 1. 实时统计和分析的常见场景2. 使用 Redis 数据结构进行实时统计3. 使用Redis String实现计数器…

linux线程 | 一篇文章带你理解线程的概念

前言:本篇讲述linux里面线程的相关概念。 线程在我们的教材中的定义通常是这样的——线程是进程的一个执行分支。 线程的执行粒度&#xff0c; 要比进程要细。 我们在读完这句话后其实并不能很好的理解什么是线程。 所以&#xff0c; 本节内容博主将会带友友们理解什么是线程&a…

vscode软件中可以安装的一些其他插件

一. 简介 前面了解了 在 做 C开发时 vscode软件需要安装的一些常用插件。文章如下&#xff1a; vscode软件在 C发中常用插件-CSDN博客 本文继续了解一些其他好用的插件。 二. vscode软件中可以安装的一些其他插件 1. 字体插件 FIRA CODE FIRA CODE 致力于提升代码的连贯…

Chromium 中chrome.history扩展接口c++实现

一、前端 chrome.history定义 使用 chrome.history API 与浏览器的已访问网页的记录进行交互。您可以在浏览器的历史记录中添加、移除和查询网址。如需使用您自己的版本替换历史记录页面&#xff0c;请参阅覆盖网页。 更多参考&#xff1a;chrome.history | API | Chrome…

LSTM 长短期记忆网络:解锁时间序列数据的深层秘密

在这个数据驱动的时代&#xff0c;理解和预测时间序列数据成为了许多领域的关键。从股票价格预测到天气模式分析&#xff0c;从自然语言处理到健康监测&#xff0c;时间序列数据无处不在&#xff0c;并且蕴含着丰富的信息。然而&#xff0c;传统的神经网络在处理这类数据时往往…

Openstack 安装教程

1.首先更新系统 sudo apt update sudo apt upgrade -y2.安装必要软件包 sudo apt install -y software-properties-common3.添加openstack官方仓库 sudo add-apt-repository cloud-archive:train sudo apt update4.安装openstack核心组件 sudo apt install -y python3-opens…

技术分享 —— JMeter接口与性能测试实战!

前言 在软件开发和运维过程中&#xff0c;接口性能测试是一项至关重要的工作。JMeter作为一款开源的Java应用&#xff0c;被广泛用于进行各种性能测试&#xff0c;包括接口性能测试。本文将详细介绍如何使用JMeter进行接口性能测试的过程和步骤。 JMeter是Apache组织开发的基…