MySQL进阶篇之InnoDB存储引擎

news2024/9/24 5:32:34

06、InnoDB引擎

6.1、逻辑存储结构

在这里插入图片描述

  • 表空间(Tablespace

    表空间在MySQL中最终会生成ibd文件,一个mysql实例可以对应多个表空间,用于存储记录、索引等数据。

    在这里插入图片描述

  • 段(Segment

    段,分为数据段(Leaf node segment)、索引段(Non-leaf node segment)、回滚段(Rollback segment)。

    InnoDB是索引组织表,数据段就是B+树的叶子节点,索引段即为B+树的非叶子结点。

    段用来管理多个Extent(区).

  • 区(Extent

    区,表空间的单元结构,每个区的大小为1M。默认情况下,InnoDB存储引擎页大小为16K,即一个区中一共有64个连续的页。

  • 页(Page

    页,是InnoDB存储引擎磁盘管理的最小单元,每个页的大小默认为16KB。为了保证页的连续性,InnoDB存储引擎每次从磁盘申请4-5个区。

  • 行(Row

    InnoDB存储引擎数据是按行进行存放的。

    • Trx_id:每次对某条记录进行改动时,都会把对应的事务id复制给trx_id隐藏列。
    • Roll_pointer:每次对某条引记录进行改动时,都会把旧的版本写入到undo日志中,然后这个隐藏列就相当于一个指针,可以通过它来找到该记录修改前的信息。

6.2、架构

MySQL5.5版本开始,默认使用InnoDB存储引擎,它擅长事务处理,具有崩溃恢复特性,在日常开发中使用非常广泛。下面是InnoDB架构图,左侧为内存结构,右侧为磁盘结构。

在这里插入图片描述

6.2.1、内存结构

1、Buffer Pool

① 缓冲池是主内存中的一个区域,里面可以缓存磁盘上经常操作的真实数据,在执行增删改查操作时,先操作缓冲池中的数据(若缓冲池没有数据,则从磁盘加载并缓存),然后再以一定频率刷新到磁盘,从而减少磁盘IO,加快处理速度。

② 缓冲池以Page页为单位,底层采用链表数据结构管理Page。根据状态,将Page分为三种类型:

  • free page:空闲page,未被使用。
  • clean page:被使用page,数据没有被修改过。
  • dirty page:脏页,被使用page,数据被修改过,页中数据与磁盘的数据产生了不一致。

2、Change Buffer

① 更改缓冲区(针对于非唯一二级索引页),在执行DML语句时,如果这些数据Page没有在Buffer Pool中,不会直接操作磁盘,而会将数据变更存在更改缓冲区Change Buffer中,在未来数据被读取时,再将数据合并恢复到Buffer Pool中,再将合并后的数据刷新到磁盘中。

注意:

在MySQL5.x版本,该缓冲区成为插入缓冲区(Insert Buffer)。

在MySQL8.0版本之后,引入了Change Buffer

Change Buffer的意义是什么?

与聚集索引不同,二级索引通常是非唯一的,并且以相对随机的顺序插入二级索引。同样,删除和更新可能会影响索引树中不相邻的二级索引页,如果每一次都操作磁盘,会造成大量的磁盘IO。有了Change Buffer之后,我们可以在缓冲池中进行合并处理,减少磁盘IO

3、Adaptive Hash Index

① 自适应hash索引,用于优化对Buffer Pool数据的查询。InnoDB存储引擎会监控对表上各索引页的查询,如果观察到hash索引可以提升速度,则建立hash索引,称之为自适应hash索引。

自适应哈希索引,无需人工干预,是系统根据情况自动完成。

③ 参数:adaptive_hash_index

在这里插入图片描述

4、Log Buffer

① 日志缓冲区,用来保存要写入到磁盘中的log日志数据(redo logundo log),默认大小为16MB,日志缓冲区的日志会定期刷新到磁盘中。如果需要更新、插入或删除许多行的事务,增加日志缓冲区的大小可以节省磁盘I/O

② 参数:

  • innodb_log_buffer_size:缓冲区大小

  • innodb_flush_log_at_trx_commit:日志刷新到磁盘时机

    • 1:日志在每次事务提交时写入并刷新到磁盘
    • 0:每秒将日志写入并刷新到磁盘一次
    • 2:日志在每次事务提交后写入,并每秒刷新到磁盘一次。

在这里插入图片描述

6.2.2、磁盘结构

1、System Tablespace

① 系统表空间是更改缓冲区(Change Buffer)的存储区域。如果表是在系统表空间而不是每个表文件或通用表空间中创建的,它也可能包含表和索引数据。(在MySQL5.x版本中还包含InnoDB数据字典、undolog等)。

② 参数:innodb_data_file_path

在这里插入图片描述

2、File_Per_Table Tablespaces

① 每个表的文件表空间包含单个InnoDB表的数据和索引,并存储在文件系统上的单个数据文件中。

② 参数:innodb_file_per_table

默认是开启的。

在这里插入图片描述

3、General Tablespaces

①通用表空间,需要通过CREATE TABLESPACE语法创建通用表空间,在创建表时,可以指定该表空间。

  • 创建通用表空间
CREATE TABLESPACE 表空间名称 ADD
DATAFILE 'file_name'
ENGINE = engine_name;
  • 创建表时,可以指定表空间
CREATE TABLE 表名称(
   ...
)TABLESPACE ts_name;

② 演示

在这里插入图片描述

创建完表空间,可以新开一个标签页面,cd /var/lib/mysql切换到该目录下,通过ls查看是否存在myitheima.ibd文件。

4、Undo Tablespaces

撤销表空间,MySQL实例在初始化时会自动创建两个默认的undo表空间(初始大小16M),用于存储undo日志。

默认为:

在这里插入图片描述

5、Temporary Tablespaces

InnoDB使用会话临时表空间和全局临时表空间。存储用户创建的临时表等数据。

6、Doublewrite Buffer Files

双写缓冲区,InnoDB引擎将数据页从Buffer Pool刷新到磁盘前,先将数据页写入双写缓冲区文件中,便于系统异常时恢复数据。

在这里插入图片描述

7、Redo Log

重做日志,是用来实现事务的持久性。该日志文件由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log file),前者是在内存中,后者是在磁盘中。当事务提交之后会把所有修改信息都会存到该日志中,用于在刷新脏页到磁盘时,发生错误时,进行数据恢复使用。

6.2.3、后台线程

在这里插入图片描述

1、后台线程的作用:将InnoDB存储引擎缓冲池中的数据在合适的时机刷新到磁盘中的文件里。

2、后台线程有四类:

Master Thread

核心后台线程,负责调度其他线程,还负责将缓冲池中的数据异步刷新到磁盘中,保持数据的一致性,还包括脏页的刷新、合并插入缓存、undo页的回收。

IO Thread

在InnoDB存储引擎中大量使用了AIO来处理IO请求,这样可以极大地提高数据库的性能,而IO Thread主要负责这些IO请求的回调。

线程类型默认个数职责
Read Thread4负责读操作
Write Thread4负责写操作
Log Thread1负责将日志缓冲区刷新到磁盘
Insert Buffer Thread1负责将写缓冲区内容刷新到磁盘

通过指令show engine innodb status;进行查看

在这里插入图片描述

Purge Thread

主要用于回收事务以及提交了的undo log,在事务提交之后,undo log可能不用了,就用它来回收。

Page Cleaner Thread

协助Master Thread刷新脏页到磁盘的线程,它可以减轻Master Thread的工作压力,减少阻塞。

6.3、事务管理

6.3.1、概述

1、事务

事务是一组操作的集合,它是一个不可分割的工作单位,事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时失败。

2、事务特性

  • 原子性(Atomicity):事务是不可分割的最小操作单元,要么全部成功,要么全部失败。
  • 一致性(Consistency):事务完成时,必须使所有的数据都保持一致状态。
  • 隔离性(Isolation):数据库系统提供的隔离机制,保证事务在不受外部并发操作影响的独立环境下运行。
  • 持久性(Durability):事务一旦提交或回滚,它对数据库中的数据的改变就是永久的。

3、事务原理

在这里插入图片描述

原子性、一致性、持久性是由InnoDB存储引擎底层的两个日志保障的,分别为:redo logundo log

隔离性是由InnoDB存储引擎的锁机制和MVCC(多版本并发控制)实现的。

原子性——undo log

持久性——redo log

一致性——undo log + redo log

隔离性——锁+MVCC

6.3.2、redo log

1、redo log:重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。

该日志由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log file),前者是在内存中,后者是在磁盘中。当事务提交之后会把所有修改信息都会存到该日志中,用于在刷新脏页到磁盘时,发生错误时,进行数据恢复使用。

2、原理

在这里插入图片描述

① 当我们执行update操作时,需要访问缓冲区,看是否有此时需要的数据,若没有,则通过后台线程把所需的数据从磁盘中读取出来,然后缓存在缓冲区中。

② 现在可以直接执行update或者delete操作,直接对缓冲区的数据进行操作,则缓冲区中的数据发生了变更,但是磁盘中对应的数据未发生变更,此时缓冲区中变更的数据页称为脏页。

③ 脏页会在一定的时机通过后台线程刷新到磁盘中,从而使缓冲区与磁盘中的数据保持一致。

④ 但是脏页并不是时时刷新,而是一段时间之后通过后台线程刷新到磁盘中。

⑤ 假如此时缓冲区中的脏页往磁盘中进行刷新的时候,发生了错误,导致了内存中脏页的数据没有刷新到磁盘中。此时事务已经提交了,且已经告知用户事务提交成功了,但是内存中脏页的数据没有刷新到磁盘中,导致了事务的持久性未得到保障。

在这里插入图片描述

⑥ 当redo log出现之后,当进行增删改的之后,首先将对应的数据记录在redo log buffer中,在redo log buffer中会记录数据页的变化。

⑦ 当事务提交的时候,会将redo log buffer中的数据页变化刷新到磁盘中,持久化的保存在磁盘中。

⑧ 在过一段时间之后,通过后台线程刷新脏页到磁盘中,假如发生了上述⑤的情况,可以通过redo log进行维护。

问:为啥当事务提交的时候,需要将redo log buffer中的数据页变化刷新到磁盘中?而不是当事务提交的时候,直接将内存中脏页刷新到磁盘中

答:当事务提交的时候,直接将内存中脏页刷新到磁盘中,会存在严重的性能问题。当进行事务的时候,通常会操作很多条记录,这些记录都是随机操作我们的数据页,那么此时就会涉及大量的磁盘IO。

然而当我们在操作的时候用了redo log,当事务提交的时候,不会直接把脏页刷新,而是将redo log 文件异步刷新到磁盘中。由于它是redo log 日志文件,日志文件都是追加的,那么此时它就是顺序磁盘IO,顺序磁盘IO速度高于随机磁盘IO。这种机制叫WAL(Write-Ahead Logging)。

6.3.3、undo log

1、undo log(保障事务的原子性)

回滚日志,用于记录数据被修改前的信息,作用包含两个:提供回滚和MVCC(多版本并发控制)。

undo logredo log记录物理日志不一样,它是逻辑日志。可以认为当delete一条记录时,undo log中会记录一条对应的insert记录,反之依然,当update一条记录时,它记录一条对应相反的update记录。当执行rollback时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。

Undo log销毁:undo log在事务执行时产生,事务提交时,并不会立即删除undo log,因为这些日志可能还用于MVCC。

Undo log存储:undo log采用的方式进行管理和记录,存放在前面介绍的rollback segment回滚段中,内部包含1024个undo log segment

6.4、MVCC

6.4.1、基本概念

  • 当前读

    读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。

    对于我们日常的操作,如:select ... lock in share mode(共享锁),select ... for updateupdateinsertdelete(排他锁)都是一种当前读。

  • 快照读

    简单的select(不加锁)就是快照读,快照读,读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读。

    • Read Committed:每次select,都生成一个快照读。
    • Repeatable Read:开启事务后第一个select语句才是快照读的地方。
    • Serializable:快照读会退化为当前读。
  • MVCC

    全称Multi-Version Concurrency Control,多版本并发控制。指维护一个数据的多个版本,使得读写操作没有冲突,快照读为MySQL实现MVCC提供了一个非阻塞读功能。MVCC的具体实现,还需要依赖于数据库记录中的三个隐式字段、undo log日志、readView

6.4.2、隐藏字段

1、记录中的隐藏字段

隐藏字段含义
DB_TRX_ID最近修改事务ID,记录插入这条记录或最后一次修改该记录的事务ID
DB_ROLL_PTR回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本。
DB_ROW_ID隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段。

2、ibd2sdi xxx.ibd:查看xxx.ibd文件

在这里插入图片描述

6.4.3、undo log

1、undo log介绍

回滚日志,在insertupdatedelete的时候产生的便于数据回滚的日志。

insert的时候,产生的undo log 日志只在回滚时需要,在事务提交后,可被立即删除。

updatedelete的时候,产生的undo log 日志不仅在回滚时需要,在快照读时也需要,不会立即被删除。

2、undo log版本链

在这里插入图片描述

不同事务或相同事务对同一条记录进行修改,会导致该记录的undolog生成一条记录版本链条,链表的头部是最新的旧记录,链表尾部是最早的旧记录。

6.4.4、readView

1、介绍

ReadView(读视图)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)id。

ReadView中包含了四个核心字段:

字段含义
m_ids当前活跃的事务ID集合
min_trx_id最小活跃事务ID
max_trx_id预分配事务ID,当前最大事务ID+1(因为事务ID时自增的)
creator_trx_idReadView创建者的事务ID

2、版本链数据访问规则

trx_id:代表是当前事务ID

trx_id == creator_trx_id:可以访问该版本 (原因:成立,说明数据是当前这个事务更改的)

trx_id < min_trx_id:可以访问该版本 (原因:成立,说明数据已经提交了)

trx_id > max_trx_id不可以访问该版本 (原因:成立,说明该事务是在ReadView生成后才开启)

min_trx_id <= trx_id <= max_trx_id:如果trx_id不在m_ids中是可以访问该版本的(原因:成立,说明数据已经提交了)

3、不同的隔离级别,生成ReadView的时机不同:

  • READ COMMITTED:在事务中每一次执行快照读时生成ReadView
  • REPEATABLE READ:仅在事务中第一次执行快照读时生成ReadView,后续复用该ReadView

4、案例

① RC隔离级别下,在事务中每一次执行快照读时生成ReadView

在这里插入图片描述

事务5中查询id为30的记录,生成ReadView,当前的trx_id为4:

  • trx_id4,①②③均不符合;在④中,3<=trx_id4<=6,但4在[3,4,5]中,不可以访问当前记录版本。需要回滚访问0x00003版本。
  • trx_id3,①②③均不符合;在④中,3<=trx_id3<=6,但3在[3,4,5]中,不可以访问0x00003版本。需要回滚访问0x00002版本。
  • trx_id2,①不符合;在②中,trx_id2<3,可以访问0x00002版本。

② RR隔离级别下,仅在事务中第一次执行快照读时生成ReadView,后续复用该ReadView

在这里插入图片描述

过程与①相同,不同的是第二次查询复用第一次查询的ReadView。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/356782.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

python基于vue微信小程序 房屋租赁出租系统

目录 1 绪论 1 1.1课题背景 1 1.2课题研究现状 1 1.3初步设计方法与实施方案 2 1.4本文研究内容 2 2 系统开发环境 4 2.1 2.2MyEclipse环境配置 4 2.3 B/S结构简介 4 2.4MySQL数据库 5 2. 3 系统分析 6 3.1系统可行性分析 6 3.1.1经济可行性 6 3.1.2技术可行性 6 3.1.3运行可行…

面试准备知识点与总结——(虚拟机篇)

目录JVM的内存结构JVM哪些部分会发生内存溢出方法区、永久代、元空间三者之间的关系JVM内存参数JVM垃圾回收算法1.标记清除法2.标记整理3.标记复制说说GC和分代回收算法三色标记与并发漏标的问题垃圾回收器项目中什么时候会内存溢出&#xff0c;怎么解决类加载过程三个阶段何为…

Docker 架构简介

Docker 架构 Docker 包括三个基本概念: 镜像&#xff08;Image&#xff09;&#xff1a;Docker 镜像&#xff08;Image&#xff09;&#xff0c;就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。容器&am…

【力扣-LeetCode】64. 最小路径和 C++题解

64. 最小路径和难度中等1430收藏分享切换为英文接收动态反馈给定一个包含非负整数的 m x n 网格 grid &#xff0c;请找出一条从左上角到右下角的路径&#xff0c;使得路径上的数字总和为最小。说明&#xff1a;每次只能向下或者向右移动一步。示例 1&#xff1a;输入&#xff…

实例1:控制树莓派板载LED灯闪烁

实例1&#xff1a;控制树莓派板载LED灯闪烁 实验目的 通过背景知识学习&#xff0c;了解四足机器人mini pupper搭载的微型控制计算机&#xff1a;树莓派。通过对树莓派板载LED灯的状态读写控制&#xff0c;熟悉树莓派本身的操作及Linux中文件的读写。掌握常见函数time.sleep(…

初识Hadoop,走进大数据世界

文章目录数据&#xff01;数据&#xff01;遇到的问题Hadoop的出现相较于其他系统的优势关系型数据库网格计算本文章属于Hadoop系列文章&#xff0c;分享Hadoop相关知识。后续文章中会继续分享Hadoop的组件、MapReduce、HDFS、Hbase、Flume、Pig、Spark、Hadoop集群管理系统以及…

rewrite中的if、break、last

目录 rewrite 作用&#xff1a; 依赖&#xff1a; 打开重定向日志&#xff1a; if 判断&#xff1a; location {} 本身有反复匹配执行特征 在 location 中加入 break 和 last &#xff08;不一样&#xff09; 加了break后&#xff0c;立刻停止向下 且 跳出。 加了last&#xf…

Windows 版本ffmpeg编译概述

在使用ffmpeg过程当中&#xff0c;ffmpeg在Linux(包括mac,android)编译非常容易,直接configure,make即可&#xff0c;Android需要交叉编译,在windows就比较麻烦&#xff0c;庆幸的是ffmpeg官方提供已编译好Windows版本的二进制库&#xff08;http://ffmpeg.org/download.html#b…

使用vector<char>作为输入缓冲区

一、引言 当我们编写代码&#xff1a;实现网络接收、读取文件内容等功能时&#xff0c;我们往往要在内存中开辟一个输入缓冲区(又名&#xff1a;input buffer/读缓冲区&#xff09;来存贮接收到的数据。在C里面我们可以用如下方法开辟输入缓冲区。 ①使用C语言中的数组&#x…

【Spring教程】1.Spring概述

1、概述 1.1、Spring是什么&#xff1f; Spring 是一款主流的 Java EE 轻量级开源框架 &#xff0c;Spring 由“Spring 之父”Rod Johnson 提出并创立&#xff0c;其目的是用于简化 Java 企业级应用的开发难度和开发周期。Spring的用途不仅限于服务器端的开发。从简单性、可测…

Android Compose Bloom 项目实战 (四) : 主页

1. 前言 上篇文章 我们实现了 Compose Bloom项目的开发页&#xff0c;这篇文章接着上文&#xff0c;来介绍主页的开发。 2. 分析页面布局 根据UI稿我们可知&#xff0c;这个页面有一个底部切换的BottomBar&#xff0c;还有一个搜索框&#xff0c;一个横向的列表以及一个竖向的…

RNN GRU模型 LSTM模型图解笔记

RNN模型图解引用RNN模型GRULSTM深度RNN双向循环神经网络引用 动手学深度学习v2–李沐 LSTM长短期记忆网络3D模型–B站up梗直哥丶 RNN模型 加入了一个隐变量&#xff08;状态)&#xff0c;隐变量由上个隐变量和上一个输入而更新&#xff0c;这样模型就可以达到具有短期记忆的效…

加油站会员管理小程序实战开发教程10

上一篇我们介绍了计算距离及到店导航的功能,本篇我们介绍一下今日油价的功能。 如果要按日显示最新的数据,那么我们首先需要有数据源来存放每日的油价数据。这里涉及数据源的时候要考虑你的数据是只录入一条,还是每日录入一条。 录入一条呢,比较简单,但有个问题是如果我…

制作for arm64 cpu架构的docker镜像

我前段时间买了个阿里云&#xff0c;没有留意CPU的架构是ARM的&#xff0c;结果部署系统的时候就发现出问题了&#xff0c;部署在docker里的容器实例根本跑不起来&#xff0c;提示什么执行文件格式错误&#xff08;“exec format error”&#xff09;。 究其原因&#xff0c;…

spring注解方式整合Dubbo源码解析

系列文章目录 前言 本节我们的Dubbo源码版本基于2.6.x 在前一章我们的整合案例中&#xff0c;我们有几个比较关键的步骤&#xff1a; 在启动类上标注了EnableDubbo注解在provider类上面标注了Service注解来提供dubbo服务在消费的时候通过Reference注解引入dubbo服务在配置文件…

软考中级-面向对象

面向对象基础&#xff08;1&#xff09;类类分为三种&#xff1a;实体类&#xff08;世间万物&#xff09;、接口类&#xff08;又称边界类&#xff0c;提供用户与系统交互的方式&#xff09;、控制类&#xff08;前两类之间的媒介&#xff09;。对象&#xff1a;由对象名数据&…

【jumpServer 功能梳理】

用户管理 1.1 用户列表 创建jumpServe 账号 ;角色分为用户 管理员&#xff1b;更新账号信息&#xff1b;查看用户详情以及授权的资产&#xff1b; 1.2 用户组 用户组&#xff0c;这个组的意义在于用一个统称对接资源&#xff1b;用户组包含多个用户&#xff0c;可以操作增加删除…

LeetCode初级算法题:两数之和+斐波拉契数列多种java解法

目录7 两数之和题目描述&#xff1a;解题思路与代码暴力解法&#xff1a;解法一&#xff1a;二分查找解法二&#xff1a;双指针2 斐波那契数列题目描述&#xff1a;解题思路与代码![请添加图片描述](https://img-blog.csdnimg.cn/d06a95d7989b4794bd7f5f02fbd6f87e.png)解法一&…

spring之使用Spring的AOP

文章目录前言一、准备工作1、添加相应的依赖2、添加相应的命名空间3、创建目标类4、创建切面二、使用AOP1.在切面类中编写增强代码以及切点表达式2、开启aspectj的自动代理3、测试类4、测试结果前言 Spring对AOP的实现包括以下三种方式 1、Spring框架结合AspectJ框架实现的AOP…

自抗扰控制ADRC之反馈控制律(NLSEF)

目录 前言 1.非线性状态误差反馈控制律(NLSEF) 1.1 控制律形式 1.2 控制量的生成(或者说扰动的补偿) 1.2.1补偿形式① 1.2.1补偿形式② 2.仿真分析 2.1仿真模型 2.2仿真结果 前言 前面的两篇博客依次介绍了TD微分跟踪器安排过渡过程、扩张观测器&#xff1a; 自抗扰…