【MySQL】InnoDB的存储结构

news2024/11/26 13:40:11

InnoDB的存储结构:每个表都会生成一个表空间文件,这个文件里面最小结构就是行,存储的真正的数据,一个页来管理若干行,一个区来管理若干页,一个区组来管理若干区。段并不是真正的物理存储结构,它只是把这些数据结构划分成两部分(B+树的叶子节点和非叶子节点)。

真实的数据在表空间是以行的形式存储。

结构

行结构如下图所示:

真实数据部分

主键值:

如果表中定义了主键,就直接存储主键的值。

如果还有复合主键,则按照顺序一块存在主键值中。

如果没有定义主键,优先使用第一个 不为空 且 是 唯一 的字段作为主键。

如果 没有不为空且唯一的字段,就使用DB_ROW_ID作为主键,这个大小为6字节。

DB_TX_ID:

记录 创建或最后一次修改该 行 数据的事务ID。

DB_ROLL_PTR

如果在 事务中这条记录 被修改,这个回滚指针指向上一个版本。

其他数据:

这些非空数据从左往右依次存储。


额外信息

头信息:

  • 下一行偏移量:通过这个把所有的行链接形成一个单向链表。
  • 行类型:
    • 普通数据行
    • 索引目录行
    • 页内最小行(页是组织行的数据结构)
    • 页内最大行
  • 行在页内的位置
  • 目录组内行数:如果该行是组内最后一行,那么这个才有值
  • 非叶子节点最小行标记:如果当前行是索引目录行并且也是B+索引数某层的最小值,那么这个就置为1
  • 删除标记:删除行数据就是改变一下删除标志。
  • 预留信息

Null值列表:

使用位图的思想来存:在可以为空的列中,如果为空,就为1。这样就不用给空列留位置了。

变长字段长度列表: 

记录表中所有可变长度(varchar、varbinary、text、blob) 的 字段的实际长度(字节数)。这样在真实存的时候,就可以把列与列之间划分开来。

不同的字符编码下一个字符所占的字节大小不一样。

可以看到,最大的一个字符占4字节,最小的占1字节。所以2字节最大表示的数值的2^16=65536。65536/4 = 16384。也就是varchar长度的最大值。

当实际字节数 n (字符个数 × 单个字符所占字节) 不超过一个 字节能记录的大小 - 1(128-1=127),就用一个字节来记录。超过一个就用两个。也就是 n > 127 用两个 否则用 1个。

但是读取的时候是如何知道,要读一个字节还是两个呢。

首先先读最高位,如果为1,就在往前读一个字节,就是两个字节来表示长度

如果为0,就是一个字节来表示长度。

当可变类型是text、blob时,直接把这个列放入“溢出页”的独立表空间中,用20个字节来标记其位置。


行格式

上面结构中存储字段的策略就是动态格式(Dynamic)。也是默认选择的。

查看行格式

show variables like "innodb_default_row_format";

show table status in 数据库名\G

设定行格式

# 通过全局变量设置
SET GLOBAL innodb_default_row_format=DYNAMIC;
# 在创建表时明确的指定⾏格式
CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;

冗余格式(Redundant)
已被淘汰,存在仅为了与旧版本 MySQL 兼容,不建议使用,这里不再讨论。

压缩格式(Compressed)
行结构与 DYNAMIC 完全相同,只是会对数据进行压缩,以减少对空间的占用。

紧凑格式(Compact)
在结构上与 DYNAMIC 相同,但在处理超长字段时有所不同。它不会把所有超长数据都放在溢出页中,而是会在本行中保留前768个字节的数据,多出的部分放在溢出页中。溢出页的地址额外使用20个字节表示。因此,在本行的列中会占用768 + 20个字节。


MySQL中的“页”是一个应用层的概念,是MySQL根据自身的应用场景定义的一种数据结构。通常,在操作系统的文件系统中,管理磁盘文件时以4KB大小为一个管理单元,称为“数据块”。但在数据库的应用场景中,查询的数据量通常较大。如果也使用4KB作为最小的数据存储单元,可能会显得太小,同时也会导致频繁的磁盘I/O操作,从而降低效率。因此,MySQL根据自身情况定义了大小为16KB的“页”作为磁盘管理的最小单位

show variables like "innodb_page_size";

修改的化必须得是4KB的整数倍

每次内存与磁盘的交互至少读取一个“页”。因此,在磁盘中,每个“页”内部的地址是连续的。这种设计是根据局部性原理而来:在数据使用过程中,未来可能会使用的数据与当前访问的数据在空间上是临近的。因此,当从磁盘读取一个页的数据放入内存中后,如果下次查询的数据仍在这个页中,就可以直接从内存中读取,从而减少磁盘I/O操作,提高性能。

结构

页是由 页头+若干数据行+页尾构成。

页头

校验和:FIL_PAGE_SPACE_OR_CHKSUM,用于页的完整性校验。

页号:FIL_PAGE_OFFSET 占用 4Byte,相当于 InnoDB 表中最多可以拥有 2^(4*8)-1 约 42 亿个。分别是1,2,3…依此类推,按照每页16KB 大小计算,一个表空间最大容量为 2^(4*8) * 16KB = 64TB,这也是 InnoDB 表空间最大容量是 64TB 的原因。

上一个页页号:FIL_PAGE_PREV
下一个页页号:FIL_PAGE_NEXT  多个页通过这两个信息组成双向链表,即使不同的页地址不连续,也可以通过链表连接。

表空间ID:FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID,当前页属于哪个表空间。

页类型:FIL_PAGE_TYPE,数据页对应的页类型是 FIL_PAGE_INDEX = 0x45BF。

最近一次修改的LSN:FIL_PAGE_LSN,占用 8Byte。

LSN(Log Sequence Number)是“日志序列号”的缩写,表示日志中记录的操作对应的时间点,使用一个任意的、不断增加的值来表示。LSN使用8字节的无符号长整型表示。

已被刷到磁盘的LSN:FIL_PAGE_FILE_FLUSH_LSN,占用 8Byte。

页尾

最近一次修改的LSN:与页头中的意义相同

校验和:与页头中的意义相同 


页的初始化

当创建表的时候,不知道表的数量级,所以为了节省空间,刚开始只创建 7个初始页(MySQL5.7是6个)

select * frominformation_schema.INNODB_TABLESPACES where name = '数据库/数据表'\G

这些零散的页会放在表空间中的碎片区,当碎片区达到32个页之后,后续如果还要申请空间,就会申请32个页,这32个页就是区,用来管理页的数据结构。


管理页的数据结构就是区。

结构

一个区管理32个页,刚好1M。

使用区的原因

  • 在一个区中,如果是相邻页,磁盘是顺序I/O的,这样读取会很快。
  • 在一个区中,如果不是相邻页,可以大幅减少磁头移动,读取也是较快。
  • 在不同区中,无法提升读取速度。所以要使用区组。
  • 如果频繁访问某个区中的页,可以把整个区都取出来放到内存中,减少后续可能的读取操作。

区组

区组是管理区的数据结构。

结构

一个区组管理256个区,其中第一个区组存的信息和其他的略有不同。

第一个区组

第一个区组中的第一个区的前四页比较特殊,也就是页初始化时候的前四页。

  • File Space Header(文件空间头):这一页存储了关于表空间和区组中各个区的元数据信息。它记录了表空间的状态、大小、分配情况以及每个区的使用信息。这对于InnoDB来说是管理磁盘空间和执行一些管理操作非常重要的信息。
  • Insert Buffer Bitmap(插入缓冲位图):插入缓冲是InnoDB用来加速对辅助索引的更新操作的一种机制。这个页存储了与插入缓冲相关的位图信息,用于跟踪哪些页在插入缓冲中。这有助于优化并发插入操作的性能(change buffer区域相关)。
  • File Segment inode(文件段inode):段inode页记录了关于InnoDB文件段(通常是表空间文件)的详细信息,包括段的位置、大小和其他管理信息。这些信息对于InnoDB存储引擎的存储和管理操作至关重要。
  • B-tree Node(B树节点):这个页存储了InnoDB中各种B+树索引的根节点信息。根节点是索引结构的起始点,包含了指向整个B+树的其它节点和叶子节点的指针。这使得InnoDB能够高效地查找和操作索引数据

其他闲置的页用来存放真实的数据。

其他的区组

其他区组的第一个区的前两个页都是一样的。

  • Extent Descriptor(XDES):区组条目信息:记录每个区的偏移并用双向链表连接
  • Insert Buffer Bitmap

其他闲置的页用来存放真实的数据。


上面的 行、页、区和区组都是物理结构来存储数据的,而段并非是物理结构的存储。段的主要作用是区分不同功能的区以及在碎片区中的页。主要分为两类:叶子节点段和非叶子节点段,这两个段对应于B+树索引结构中的叶子和非叶子节点。

表空间

表空间可以理解为MySQL为了管理数据而设计的一种数据结构,主要描述了数据结构的定义。表空间文件是这一定义的具体实现,以文件的形式存在于磁盘上。

表空间文件是用来存储表中数据的文件,其大小取决于存储的数据量。在MySQL中,表空间分为五类:

  1. 系统表空间
  2. 独立表空间
  3. 通用表空间
  4. 临时表空间
  5. 撤销表空间

每种表空间类型用于不同的数据存储和管理目的,在MySQL的数据库架构中,它们各自承担着特定的角色和功能。

当使用InnoDB存储引擎创建一个表时,默认会在数据目录对应的数据库子目录中生成相应的表空间文件,以 `.ibd` 为文件的后缀,用来存储数据和索引。如果每个表都对应一个表空间文件,这称为独立表空间。在MySQL 5.7及以后的版本中,默认每个表都会生成独立表空间。可以通过系统变量 `innodb_file_per_table` 控制这一行为。当这个选项被关闭时,所有表的数据将存储在系统表空间中。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1873179.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity | Shader基础知识(番外:模型的制作流程)

目录 一、前言 二、模型的诞生 三、模型的表面 四、模型的贴图 五、上完材质的模型 六、材质的来源 七、作者的碎碎念 一、前言 up发现,初学程序,除非你是美术,模型出生,要不然对这些都是萌萌哒(蒙蒙哒&#x…

基于51单片机心形LED流水灯电路原理图、PCB和源程序(SCH、PCB源文件)

资料下载地址:基于51单片机心形LED流水灯电路原理图、PCB和源程序(SCH、PCB源文件) 1、单片机心形LED流水灯功能说明: 单片机:无论是散件还是成品,单片机里面都烧录有LED 流水灯的程序,装上单片…

一文汇总VSCode多光标用法

光标的创建 按住alt,鼠标左键单击,在单击位置生成光标/删除光标 按住ctrlalt,单击↑/↓,在每行同一个位置(若某一行较短,则在行尾)生成光标,这个不会删除光标,只会在光标…

【语言模型】深入探索语言模型中的神经网络算法:原理、特点与应用

随着人工智能技术的飞速发展,神经网络算法在语言模型中的应用日益广泛,为自然语言处理领域带来了革命性的变革。本文将深入探讨当前语言模型中常用的几种神经网络算法,包括全连接神经网络、卷积神经网络、循环神经网络、长短期记忆网络、门控…

RabbitMQ(七)Shovel插件对比Federation插件

文章目录 Shovel和Federation的主要区别(重点)一、启用Shovel插件二、配置Shovel三、测试1、测试计划2、测试效果发布消息源节点目标节点 Shovel和Federation的主要区别(重点) • Shovel更简洁一些 • Federation更倾向于跨集群使…

Oracle中常用内置函数

一、字符串函数 CONCAT(s1, s2):连接两个字符串s1和s2。 SELECT CONCAT(Hello, World) FROM DUAL-- 结果:Hello World --或者使用 || 操作符 SELECT Hello || World FROM DUAL -- 结果:Hello World INITCAP(s):将字符串s…

深入理解计算机系统 CSAPP 8.4.2 fork函数

//fork.c #include <sys/types.h> #include <unistd.h> #include <stdio.h>int main() {pid_t fpid; //fpid表示fork函数返回的值int count 0;fpid fork();if (fpid < 0)printf("error in fork!");else if (fpid 0) {printf("\ni am th…

sql sever 存储过程不能请求https的解决方案

此错误的原因&#xff0c;通常是因为SQL Server默认不允许非加密的HTTP请求。为了解决这个问题&#xff0c;需要配置SQL Server允许非密码的https请求&#xff0c;或者使用密码的http请求。 下面是配置SQL Server允许非加密http请求 UsE [master] ;Go EXEC sp_configure Sh…

Kotlin/Android中执行HTTP请求

如何在Kotlin/Android中执行简单的HTTP请求 okhttp官网 okhttp3 github地址 打开build.gradle.kts文件加入依赖 dependencies {implementation("com.squareup.okhttp3:okhttp:4.9.0") }在IDEA的Gradle面板点击reload按钮便会自动下载jar

算法设计与分析--考试真题

分布式算法试题汇总选择题简答题算法题 2013级试题2019级试题2021年秋考卷 根据考试范围找相应题目做。 分布式算法试题汇总 选择题 下述说法错误的是___ A 异步系统中的消息延迟是不确定的 B 分布式算法的消息复杂性是指在所有合法的执行上发送消息总数的最大值 C 在一个异步…

【实用指南】铝聚合物电容器的焊接技巧与故障排除,工程师必备知识

铝聚合物电容器是一种电解电容器&#xff0c;在电子元器件领域&#xff0c;以其卓越的性能表现逐渐成为工程师们青睐的选择&#xff0c;尤其在对电容特性有严格要求的应用场合。其特点是使用铝箔作为阳极&#xff0c;并在阳极表面形成一层氧化铝&#xff08;Al2O3&#xff09;作…

国产固态光耦在工业照明领域的应用

工业照明作为工厂和生产设施中不可或缺的一部分&#xff0c;其效率和安全性直接影响到生产运行的顺畅性和员工的工作环境。国产固态光耦作为现代工业照明技术的重要组成部分&#xff0c;在提升照明系统效率和安全性方面发挥着关键作用。本文将深入探讨国产固态光耦在工业照明领…

高效实现虚拟机(VMware)安装教程(附安装包)

目录 一.下载VMware Wworkstation Pro 二 安装&#xff1a; 注&#xff1a;若是安装完VMware&#xff0c;还想在上面安装Centos、Ubuntu&#xff0c;系统请转到基于VMware的linux操作系统安装&#xff08;附安装包&#xff09;-CSDN博客 一.下载VMware Wworkstation Pro 渠道…

leetCode.92. 反转链表 II

leetCode.92. 反转链表 II 题目思路 代码 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(nullptr) {}* ListNode(int x) : val(x), next(nullptr) {}* ListNode(int x, ListNode …

【Python数据分析与可视化】:使用【Matplotlib】实现销售数据的全面分析 ——【Matplotlib】数模学习

目录 安装Matplotlib 1.打开PyCharm&#xff1a; 2.打开终端&#xff1a; 3.安装Matplotlib&#xff1a; 4.确认安装&#xff1a; 导入Matplotlib 创建简单的折线图 代码解析&#xff1a; 创建子图 代码解析&#xff1a; 创建柱状图 代码解析&#xff1a; 创建散点…

初识DDD

DDD领域驱动设计 1 DDD是什么&#xff1f; 领域驱动设计&#xff08;Domain-Driven Design, DDD&#xff09;是一种软件设计方法论&#xff0c;旨在处理复杂的业务需求和系统设计。由Eric Evans在他的同名书中提出&#xff0c;DDD关注将业务需求和软件架构紧密结合&#xff0…

算法设计与分析--近似算法作业及答案

近似算法作业题目 1 k-center 近似算法题目描述参考答案解答 题目 2 均衡负载算法题目描述参考答案解答 题目 3 多项式归约题目描述参考答案解答 近似算法–徐小华 近似算法作业 题目 1 k-center 近似算法 题目描述 问题 1&#xff1a;假设给定 n n n 个指定的城市在一个平…

findfont: Generic family ‘sans-serif‘ not found because none of the ...: SimHei

警告过程 python代码在使用matplotlib画图时&#xff0c;如果在title&#xff0c;xlabel&#xff0c;ylabel中出现了中文&#xff0c;则会出现字体警告&#xff0c;中文字符显示为方框 例如代码&#xff1a; # matplotlib画图# 设置色带plt.imshow(data, cmapplt.cm.YlGn) #…

Python基于逻辑回归分类模型、决策树分类模型、随机森林分类模型和XGBoost分类模型实现乳腺癌分类预测项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 在当今医疗健康领域&#xff0c;乳腺癌作为威胁女性健康的主要恶性肿瘤之一&#xff0c;其早期诊断与精…

仓库管理系统16--入库管理

原创不易&#xff0c;打字不易&#xff0c;截图不易&#xff0c;多多点赞&#xff0c;送人玫瑰&#xff0c;留有余香&#xff0c;财务自由明日实现。 1、创建物资入库用户控件 <UserControl x:Class"West.StoreMgr.View.InStoreView"xmlns"http://schema…