11 深入了解InnoDB引擎

news2025/4/21 10:52:06

1. Innodb逻辑存储结构

  1. 表空间：ibd文件
  2. 段segment：
  3. 区extent：一个区大小为1m，里面有64个page页；为了保证页的连续性innodb会一次从磁盘申请4-5个区
  4. 页page：一个page页大小为默认为16k
  5. 行row：Trx id、Roll_pointer、row_id（没有主键才有）、col1、col2、col3……

在这里插入图片描述

2. Innodb引擎架构

MySQL5.5版本开始默认使用Innodb引擎，因为它擅长事务处理，具有崩溃恢复特性，在日常开发中使用更加广泛

下图为Innodb引擎架构图，左侧为内存结构，右侧为磁盘结构

在这里插入图片描述

1. 内存

1. Buffer Pool

Buffer Pool缓冲池是主内存中的一个区域，里面可以缓存磁盘上经常操作的真实数据，从而减少磁盘的IO，加快处理速度

在执行增删改查的时候，先操作缓冲池Buffer Poll中的数据，缓冲池中找不到再去磁盘中加载并缓存，然后再以一定的频率将数据从内存中刷新到磁盘

Buffer Pool缓冲池中占用内存以Page页为单位，底层采用链表数据结构来管理Page页，根据状态将Page分为三种类型：

  1. free page：空闲的page，还没有被使用
  2. clean page：被使用过的page，数据没有被修改过
  3. dirty page：脏页，数据被使用且修改过，与磁盘中的不一致

在这里插入图片描述

2. Change Buffer

Changer Buffer更改缓冲区（针对非唯一二级索引页），在执行DML语句时，如果这些数据没有在Buffer Pool中，那么不会直接操作磁盘，而是先将数据写入Change Buffer，在未来数据被读取时合并到Buffer Pool中，再在Buffer Pool刷新到磁盘时写入

Change Buffer存在的意义

  1. 与聚集索引不同，二级索引通常是非唯一的且插入的顺序相对随机
  2. 同样，插入和更新的操作也容易影响索引书中不相邻的二级索引页导致页的分裂和合并造成大量磁盘IO
  3. 如果使用Change Buffer可以将数据刷新到Buffer Pool中统一刷新到磁盘

在这里插入图片描述

3. Log Buffer

Log Buffer日志缓冲区：用来保存需要写入到磁盘中的日志文件（redo log、undo log），默认大小为16MB，日志缓冲区中的文件会定时刷新到磁盘中。

存在的作用主要是：如果需要更新、插入、删除很多行的事务，使用日志缓冲区可以减少磁盘的IO

参数：

  1. innodb_log_buffer_size：缓冲区大小
  2. innodb_flush_log_at_trx_commit：日志刷新到磁盘时机；0每秒将日志写入并刷新到磁盘，1每次在事务提交时写入并将数据刷新到磁盘，2每次在事务提交时写入，每秒刷新到磁盘一次

在这里插入图片描述

4. Adaptive Hash Index

Adaptive Hash Index自适应哈希索引，用于优化对Buffer Pool中数据的查询；Innodb引擎会监控对表上各索引页的查询，如果观察到使用Hash索引可以提升速度，则自动建立Hash索引，称之为自适应索引

无需人工干预，系统自动完成

参数：innodb_adaptive_hash_index

在这里插入图片描述

2. 磁盘

1. System Tablespace

System Tablespace：系统表空间是Change Buffer更改缓冲区的存储区域；如果表不是在每个表文件或者通用表空间中创建的，System Tablespace也包含表和索引数据。在Mysql5.X版本中还包含InnoDB数据字典、undoLog等

主要包含：

  1. Change Buffer缓冲区的存储区域
  2. 不在表空间表空间和通用表空间创建的表
  3. 5.X版本还包含InnoDB数据字典和undolog等

参数：innodb_data_file_path；默认大小为12MB，自动扩展大小

2. File-per-table Tablespace

File-Per-Table Tablespace表文件表空间：Innodb中每张表都会有一个都会有一个自己单独的文件，存储数据和索引，这些文件放在表文件表空间中；通过参数可以控制是否存单独放在表文件表空间中

参数：innodb_file_per_table；默认为true，开启；如果关闭了，且创建表时没有指定通用表空间，则存放在系统表空间中

在这里插入图片描述

3. General Tablespace

General Tablespace通用表空间：可以在建表时通过语法，指定表存放在某个通用表空间中；如果没有开启innodb_file_per_table这个参数也没有指定通用表空间，那么表将会存放在系统表空间

# 创建表空间并指定表空间文件名和引擎类型
creat tablespace 表空间名 add datafile '文件名' engine = innodb|myisam|memory;
# 建表时指定通用表空间
create table 表名 tablespace 表空间名;

4. Undo Tablespace

Undo Tablespace撤销表空间：Mysql实例会在初始化时自动创建两个默认的undo表空间undo_001和undo_002，初始大小16M，用于存储undo log日志，实现MVCC

5. Temporary Tablespace

Temporary Tablespace：InnoDB使用会话临时表空间和全局临时表空间，来存储用户创建的临时表等数据

在这里插入图片描述

6. Doublewrite Buffer Files

Doublewrite Buffer Files双写缓冲区：innoDB引擎将数据页从Buffer Pool刷新到磁盘上前，先将数据页写入双写缓冲区文件中，便于异常时恢复数据

7. Redo Log

Redo Log重做日志：用来实现事务的持久性。该日志文件由两部分组成，日志缓冲区Redo Log Buffer和重做日志文件Redo Log组成，前者在内存中，后者在磁盘中。当事务提交后把所有修改信息存入该重做日志。当刷新脏页到磁盘中发生错误时，进行数据恢复使用

写入Redo Log日志文件时是循环写入的，涉及两个文件：ib_logfile0和ib_logfile1

在这里插入图片描述

3. 后台线程

在Innodb引擎中，还有一些后台线程负责处理数据

1. Master Thread

Master Thread主线程，核心后台线程,负责调度其他线程，同时还负责：

  1. 将数据从缓冲池Buffer Pool中异步刷新到磁盘上，保持数据的一致性
  2. 脏页的刷新、合并
  3. undo页的回收

2. IO Thread

在Innodb中大量使用了AIO来处理IO请求，这样可以提高数据库的性能，IO Thread主要负责这些IO请求的回调

线程类型默认个数职责
Read Thread4负责读操作
Write Thread4负责写操作
Log Thread1负责将日志缓冲区刷新到磁盘
Insert Buffer Thread1负责将写缓冲区内容刷新到磁盘

3. Purge Thread

主要用于回收事务已经提交的undo log；在事务提交之后，undo log可能不用了，就用它来回收不需要的undo log

4. Page Clean Thread

协助Master Thread刷新脏页到磁盘的线程，他可以减轻Master Thread的压力，减小阻塞

3. 事务原理

事务四大特性：原子性、隔离性、一致性、持久性

这四个特性可以分为两类：

  1. 原子性、一致性、持久性：通过redo log、undo log实现
  2. 隔离性：通过锁和MVCC实现

原子性-undo log、持久性-redo log、一致性-undo log+redo log、隔离性-锁+MVCC

在这里插入图片描述

1. redo log

redo log重做日志：记录的是数据提交时物理页的修改，用来实现事务的持久性

该日志文件由两部分实现，redo log buffer和redo log file，前者在内存中，后者在磁盘中；当事务提交之后会把所有修改信息都存到该日志文件中，当刷新脏页到磁盘中发生错误时，进行数据恢复使用

redo log file有两个：ib_logfile0和ib_logfile1，循环写入

在这里插入图片描述

2. undo log

undo log回滚日志：用于回滚和MVCC

redo log记录的物理数据的修改，而undo log是逻辑日志；可以当作在delete一条记录时，undo log会insert一条记录，在update一条记录时，同样会在undo log中update一个相反的数据；当执行rollback时，执行undo log中的记录就可以进行事物的回滚

undo log的销毁：undo log在事务开始时会立即产生；在事务提交后并不会立即删除，因为undo log还有可能会用于MVCC

undo log的存储：undo log采用段的方式进行管理，数据记录在回滚段Rollback Segment中，内部包含1024个undo log segment

在这里插入图片描述

4. MVCC

MVCC，全称Multi-Version Concurrency Control多版本并发控制，指的是维护一个数据的多个版本，用来实现事务的隔离性，快照读就是MVCC的表现形式

在查询数据的时候有两种方式：当前读和快照读，其中快照读未Mysql默认实现，无需显示控制，而当前读需要手动操作

MVCC的实现基于3个方面：3个隐藏字段、undo log、read view

在这里插入图片描述

1. 当前读和快照读

当前读

  1. 读取的是数据的最新版本

  2. 读取时还要保证其他并发事务不能修改当前记录，会对读取的记录加锁

  3. select…in share mode（共享锁）、select…for update、update、delete、insert（排他锁）都是快照读

快照读

  1. 简单的select使用的就是快照读，读取的是当前数据的可见版本，有可能是历史数据，没有锁

  2. 在不同的隔离级别下，生成快照读的时机不同：

    在Read Commited隔离级别下，每次select都会生成一个快照读；

    在Repeatable Read隔离级别下，开启事务后的第一个select会生成一个快照读

    在Serializable隔离级别下，快照读会退化为当前读（阻塞的）

2. MVCC实现原理

1. 3个隐藏字段

在每一行记录中，都有隐藏字段：DB_TRX_ID、DB_ROLL_PTR、DB_ROW_ID（未指定主键时才会有）

隐藏字段含义
DB_TRX_ID最近修改事务id，记录最后一次插入或者修改该记录的事务的id
DB_ROLL_PTR回滚指针，指向这条记录的上一个版本，用于配合undo log，指向上一个版本
DB_ROW_ID隐藏主键，如果表结构没有指定主键，将会生成该隐藏字段

在这里插入图片描述

2. undo log和undo log版本链

undo log

undo log回滚日志，在增删改时产生的便于数据回滚的日志

  1. 当insert的时候，产生的undo log日志只在数据回滚时，事务提交后可以立即被删除；
  2. 当update、delete的时候产生的undo log日志不仅在回滚时需要，在快照读时也需要，不会被立即删除

在这里插入图片描述

undo log版本链

不同事务或者相同事务对同一条记录进行更改，会导致该记录的undo log生成一条版本单向链表，链表的头部是最新的旧纪录，链表的尾部是最早的旧纪录

在这里插入图片描述

3. read view

ReadView读视图是快照读创建快照后，MVCC提取数据的依据，记录并维护系统当前活跃的事务（未提交的）的id；ReadView中包含4个核心字段：

字段含义
m_ids当前活跃的事务ID集合
min_trx_id最小活跃事务ID
max_trx_id预分配事务ID，当前最大事务ID+1（因为事务ID是自增的）
creator_trx_idReadView创建者的事务ID

在不同隔离级别下，生成ReadView读视图的时机不同：

  1. 在读已提交隔离级别下，每次select产生一个快照；会导致不可重复读的问题
  2. 在可重复读隔离级别下，当事务中的第一个select语句执行时会创建快照，后续复用该快照；会导致幻读

读视图是通过访问undo log版本链来实现，undo log中有很多条记录，读视图能够访问哪写记录由以下四个规则决定：

  1. trx_id == creator_trx_id? 可以访问该版本，因为数据是这个事务修改的
  2. trx_id < min_trx_id?可以访问该版本，因为数据已经提交了
  3. trx_id > max_trx_id?不可以访问该版本，因为该记录是在当前事务开启之后修改的
  4. min_trx_id <= trx_id <= max_trx_id? 如果trx_id不在m_ids中是可以访问的，说明数据已经提交

在这里插入图片描述

下面是示例

在这里插入图片描述

在这里插入图片描述

5. InnoDB总结

  1. 逻辑存储架构

    表空间、段（数据段、回滚段、索引段）、区（1M）、页（16K）、行

  2. 架构

    内存结构：Buffer Pool、Change Buffer、Log Buffer、Adaptive Hash Index

    磁盘结构：系统表空间、文件表空间、通用表空间、撤销表空间、重做表空间、临时表空间、双写缓冲区

  3. 事务原理

    原子性：undo log

    一致性：undo log + redo log

    持久性：redo log

    隔离性：MVCC + 锁

  4. MVCC

    记录中隐藏字段：db_trx_id、db_roll_ptr、db_row_id

    undolog+undolog版本链：

    readview：4个访问规则，决定可以访问哪个版本的undo log

在这里插入图片描述

Hash Index

磁盘结构：系统表空间、文件表空间、通用表空间、撤销表空间、重做表空间、临时表空间、双写缓冲区

  1. 事务原理

    原子性：undo log

    一致性：undo log + redo log

    持久性：redo log

    隔离性：MVCC + 锁

  2. MVCC

    记录中隐藏字段：db_trx_id、db_roll_ptr、db_row_id

    undolog+undolog版本链：

    readview：4个访问规则，决定可以访问哪个版本的undo log

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/104274.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

深入探究Python上下文管理器

深入探究Python上下文管理器

引子 上下文管理器是一种简化代码的有力方式&#xff0c;其内部也蕴含了很多Python的编程思想&#xff0c;今天我们就来探究一下Python的上下文管理器。 大家之前都知道&#xff0c;使用Python打开文件的时候最好要使用with语句&#xff0c;因为这样就算在文件操作中出现了异常…
阅读更多...
基于java的校园共享自行车系统的设计与实现/校园共享单车管理系统

基于java的校园共享自行车系统的设计与实现/校园共享单车管理系统

摘 要 伴随着社会以及科学技术的发展&#xff0c;互联网已经渗透在人们的身边&#xff0c;网络慢慢的变成了人们的生活必不可少的一部分&#xff0c;紧接着网络飞速的发展&#xff0c;管理系统这一名词已不陌生&#xff0c;越来越多的学校、公司等机构都会定制一款属于自己个…
阅读更多...
React扩展：setState、lazyLoad、hook

React扩展：setState、lazyLoad、hook

目录 1.setState的两种写法 ①setState(对象,[callback])②setState(函数,[callback])函数可以接收到stata和props&#xff0c;callback回调函数能获取状态更新后的数据 写了个Demo组件 import React, { Component } from reactexport default class Demo extends Component…
阅读更多...
万岳直播电商系统源码代码分析

万岳直播电商系统源码代码分析

以小编经验来看&#xff0c;传统商户领域的客流量受地区的限制&#xff0c;往往比较单一、固定&#xff0c;商家需压耗费大量的时间进行打造IP&#xff0c;而电商直播系统的出现则完全打破了这一规则&#xff0c;商家可以通过直播的形式&#xff0c;轻松获取源源不断的客流量&a…
阅读更多...
网络中的一些基本概念(总结)

网络中的一些基本概念(总结)

目录 1.IP地址 2.端口号 3.协议 4.五元组 5.协议分层 1.OSI七层模型 2.TCP/IP五层(四层)模型 6.网络分层对应 7.封装 8.分用 9.客户端和服务器 1.IP地址 IP地址是用来定位主机的网络地址,主要用于标识主机和一些其他的网络设备,比如路由器通常是用点分十进制来表示的]…
阅读更多...
节律失调：Theta-Gamma耦合精度改变损害老年人的联想记忆

节律失调：Theta-Gamma耦合精度改变损害老年人的联想记忆

根据著名的神经通信理论&#xff0c;振荡活动的精确协调能够形成联想记忆。我们认为&#xff0c;正常的认知老化会损害神经通信的时间精确性&#xff0c;从而损害联想记忆的形成。我们发现&#xff0c;在年轻人和老年人中都存在高频gamma功率与低频theta相位的耦合支持联想记忆…
阅读更多...
地下水监测系统介绍 地下水水位在线监测系统解决方案及应用

地下水监测系统介绍 地下水水位在线监测系统解决方案及应用

平升电子地下水监测系统/地下水水位在线监测系统解决方案由地下水自动监测站监测设备和监测中心平台软件组成。监测设备自动采集、存储地下水水位、水温、水量、水质数据&#xff0c;通过4G/NB-IoT/北斗无线通信网络定时上报至省/市/县级监测中心平台&#xff0c;平台自动接收和…
阅读更多...
神奇的 Excel 插件：Azure DevOps 插件

神奇的 Excel 插件：Azure DevOps 插件

我想离开测试部分，与您分享一个插件，我发现它在我作为业务分析师的商业生活中非常有用。如果您与 Azure DevOps Board 擦肩而过，本文适合您:) 本周，我将与您分享一个我用来跟踪在 Azure DevOps 中完成的工作的插件。 在解释它的安装和使用之前，我想分享一下为什么我需要…
阅读更多...
【Lilishop商城】No3-11.模块详细设计，促销模块（优惠券、满减、秒杀、积分）的详细设计

【Lilishop商城】No3-11.模块详细设计，促销模块（优惠券、满减、秒杀、积分）的详细设计

仅涉及后端&#xff0c;全部目录看顶部专栏&#xff0c;代码、文档、接口路径在&#xff1a; 【Lilishop商城】记录一下B2B2C商城系统学习笔记~_清晨敲代码的博客-CSDN博客 全篇会结合业务介绍重点设计逻辑&#xff0c;其中重点包括接口类、业务类&#xff0c;具体的结合源代…
阅读更多...
skynet开发一个猜数字游戏

skynet开发一个猜数字游戏

skynet开发一个猜数字游戏游戏简介接口设计和实现agent服务接口room服务接口hall服务接口redis服务gate服务接口编写skynet的config文件游戏演示总结后言游戏简介 猜数字游戏目的是掌握 actor 模型开发思路。 规则&#xff1a; 满三个人开始游戏&#xff0c;游戏开始后不能退…
阅读更多...
1.初识Node.js

1.初识Node.js

由于浏览器中有Javascript解析引擎&#xff0c;所以写的javascript可以在浏览器中执行&#xff0c;不同的浏览器有不同的JS解析引擎。由于浏览器内置了DOM,BOM,AJAX这种API&#xff0c;所以JS才能使用他们。 Node.js和浏览器都可以为JS提供运行环境&#xff0c;可以使用Node.j…
阅读更多...
【Python机器学习】神经网络中误差反向传播（BP）算法详解及代码示例（图文解释 附源码）

【Python机器学习】神经网络中误差反向传播（BP）算法详解及代码示例（图文解释 附源码）

需要全部代码请点赞关注收藏后评论留言私信~~~ 误差反向传播学习算法 用神经网络来完成机器学习任务&#xff0c;先要设计好网络结构S&#xff0c;然后用训练样本去学习网络中的连接系数和阈值系数&#xff0c;即网络参数S&#xff0c;最后才能用来对测试样本进行预测。 在研…
阅读更多...
智能驾驶进入新周期：从「定点量产」到「做大做强」

智能驾驶进入新周期：从「定点量产」到「做大做强」

智能驾驶赛道已经进入一个全新的周期。 过去三年时间&#xff0c;中国本土供应商陆续进入乘用车前装量产赛道&#xff0c;部分企业实现了从0到1的量产突围&#xff0c;而一些领跑的本土供应商已率先进入规模化上车的新阶段。 从最初的技术突破、产品落地&#xff0c;到定点量…
阅读更多...
干货 | IC模拟版图设计学习笔记，一文教你快速入门

干货 | IC模拟版图设计学习笔记，一文教你快速入门

模拟版图设计处于IC设计流程的后端&#xff0c;属于模拟IC设计岗位的一种。随着我国半导体行业的发展&#xff0c;IC模拟版图岗位的人才需求也越来越大。而每个芯片最终能够付诸于生产都离不开集成电路版图设计师的功劳&#xff0c;所以IC模拟版图工程师在芯片产业的发展过程中…
阅读更多...
Nginx-反向代理

Nginx-反向代理

什么是反向代理 用户直接访问反向代理服务器就可以获得目标服务器的资源。这一过程叫反向代理 如何配置反向代理 修改nginx配置文件 1.切换到nginx的conf路径下操作nginx的配置文件 cd /usr/local/openresty/nginx/conf 1.1防止修改错误可以先备份一下配置文件 cp nginx.…
阅读更多...
IO流2.0 缓冲流 序列化 字符打印 printf格式 压缩流

IO流2.0 缓冲流 序列化 字符打印 printf格式 压缩流

04 缓冲流Buffered 4.1字节缓冲流 4.2 字符缓冲流 newLine();在底层自动识别操作系统类别和换行符 其实就是输出换行符; 4.2.1 BufferedReader&#xff08;字符为单位 尽量用于文本文件&#xff09; 不要去操作 二进制文件[声音&#xff0c;视频 ], 可能造成文件损坏 throw…
阅读更多...
三个月转行SLAM，他的心路历程

三个月转行SLAM，他的心路历程

SLAM入门心路历程 来源&#xff1a;知乎作者—莫慢待 读了三年985的计算机硕士&#xff0c;做了很多项目&#xff0c;发现自己是一个菜鸡。c/object-c/python/java/matlab甚至还写过R&#xff0c;也就是项目需要什么写什么。自学能力算是很不错了&#xff0c;第一次创业自己写…
阅读更多...
juc-2-锁应用/线程通信

juc-2-锁应用/线程通信

目录 1 线程安全(库存超卖) 2 锁用法 2.1 同步方法 2.2.同步代码块 2.3 synchronized 作用于静态方法 总结 案例 静态成员变量 (synchronized锁非静态方法) 2.4ReentrantLock类是可重入、互斥、实现了Lock接口的锁 3 死锁产生与排查 4 线程间的&#xff08;等待与通知…
阅读更多...
Hadoop实训任务3：HDFS和MapReduce综合操作

Hadoop实训任务3：HDFS和MapReduce综合操作

目录 1、启动Hadoop服务 2、创建文本文件 3、上传文本文件 4、显示文件内容 5、完成排序任务 6、计算最大利润和平均利润 7、统计学生总成绩和平均成绩 8、总结 1、启动Hadoop服务 在master虚拟机上执行命令&#xff1a; start-all.sh 启动hadoop服务进程 ​ ​ ​…
阅读更多...
【嵌入式】构建嵌入式Linux系统（uboot、内核、文件系统）

【嵌入式】构建嵌入式Linux系统（uboot、内核、文件系统）

知识架构及层次 Linux内核由三部分构成&#xff1a; Bootloader&#xff1a;启动引导系统&#xff08;可执行文件&#xff09;Kernel&#xff1a;内核&#xff08;可执行文件&#xff09;Root File System&#xff1a;根文件系统嵌入式Linux系统构成及启动略析 嵌入式 Linux …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023