一、整体存储逻辑
1.1 Mysql数据存放位置
不同的存储引擎,对Mysql数据的存储是不同的。新建一个test数据库,里面有t1,t2和test5三张表,以Innodb和Myisam存储引擎为例:
Innodb存储引擎:
.frm文件:与表相关的元数据信息都存放在frm文件中,包括表结构的定义信息。
.ibd文件或.ibdata文件:都是存放InnoDB数据的文件【数据和索引】。
【独享表空间存储方式】使用.ibd文件,并且每一个表一个.ibd文件;
【共享表空间存储方式】使用.ibdata文件,所有表共同使用一个.ibdata文件
独享和共享由innodb_file_per_table字段控制,从5.6版本后,默认为1,即使用独享表的方式
MyISAM存储引擎:
.frm文件:与表相关的元数据信息都存放在frm文件中,包括表结构的定义信息
MVD(MYData)文件:用于存储MyISAM表的数据
MYI(MYIndex)文件:用于存储MyISAM表的索引相关信息
二、详细存储格式分析
考虑到工作中使用Innodb存储引擎居多,后面讨论以Innodb存储引擎为主。ibd文件又称表空间文件,从逻辑和物理上进行了层次性的划分。主要分为:段Segment,区Extent,页Page以及行Row
。
下面对每个结构类型进行介绍:
行Row
:表示一条记录,是存储的最小单元;
页Page
: 考虑到每次读取一个条记录,需要进行一次IO,效率非常低,因此Innodb是按照页
为单位进行读取的。默认页的大小为16KB
,为了提高读取效率,页中的行记录是连续存储
,可以方便顺序IO
;
区Extent
: Innodb存储引擎采用的是B+树来存储的。B+ 树中每一层都是通过双向链表连接起来的,如果是以页为单位来分配存储空间,那么链表中相邻的两个页之间的物理位置并不是连续的,可能离得非常远,那么磁盘查询时就会有大量的随机I/O
,随机 I/O 是非常慢的。因此,最好的解决办法就是让链表中相邻的页的物理位置
也相邻,这样就可以使用顺序 I/O 了,那么在范围查询(扫描叶子节点)的时候性能就会很高。解决方案
:在表中数据量大的时候,为某个索引分配空间的时候就不再按照页为单位分配了,而是按照区(extent)为单位分配。每个区的大小为1MB
,对于 16KB 的页来说,连续的 64 个页
会被划为一个区,这样就使得链表中相邻的页的物理位置也相邻,就能使用顺序 I/O 了。
段Segment
:段是由多个区组成的,两个区之间是逻辑上相邻的,物理上不一定相邻。段分为:数据段,索引段和回滚段。
- 数据段:存放B+树叶子节点的区集合;
- 索引段:存放B+树的非叶子节点的区集合;
- 回滚段:存放的是回滚数据的区集合。后续用于MVCC版本控制。
2.1 存储格式分类
系统是不断演进的,因此Mysql的存储格式也在不断优化。主要有以下几种存储格式:
COMPACT行格式
:是其它几种格式的基础。处理行溢出时,一部分数据存储在当前页中,多余的部分存储在其它页中,然后记录其它页的内存地址
Redundant行格式
:已经不再使用。
Dynamic行格式
:目前Mysql5默认使用的方式。基本上和Compact一样,只不过在处理行溢出时,Danamic行格式,直接将数据存储在其他页面,然后指向该页面的内存地址
Compressed行格式
:采用压缩算法对页面进行压缩。
2.2 存储格式详解
下面分析的行记录存储格式,是Mysql 的COMPACT格式,Dynamic和Compressed都是一样的。
2.2.1 额外信息
变成字段长度列表
:
变长字符有哪些:varchar,test,blob
是否必需:不一定。若表中没有变长字段,则不会有
【变长字段】占用内存大小:例如varchar(M), 在utf-8编码情况下,每个字符占用N个字节,则占用内存大小为:(M*N)个字节。具体情况要看编码格式,以及编码格式下的每个字符占用情况。
存储【变长字符长度】占用的内存大小为:
1. 若M*N <=255,则占用1字节;
2. 若M*N > 255,则需要区分字符串实际占用的大小L
2.1 若L <= 127, 则使用1个字节来表示;
2.2 若L > 127, 则使用2个字节来表示.
【注意】:
1. 不会超过2个字节,因为一条记录的最多占用内存65535个字节
2. 若一行记录中,有多个变长字段,那每个变长字段的长度,按照逆序存放
3. 若没有变长字段,则不会有这个变长字段长度列表存在
NULL值列表
:
Mysql会将字段为null的,进行压缩处理,即若多个字段都为null,为了节省内存空间,会将每个允许存储null的列,对应一个二进制位,按照【逆序】存放。其中1表示该列的值为null,0表示不为null。例如:有三个字段可以为null,a,b,c,则存储形式为:
c b a
00000 0 0 0
因mysql要求,存储null值列表必须为整数个字节,因此,不足8的倍数的情况,前面自动补0,同时每8位表示一个字节
注意:
1. 因已经表示了是否存储为null,则在真实数据部分,若字段为null,则不会存储
记录头信息
:
主要用于描述记录的头信息,由固定的5个字节
组成。
名称 | 大小(单位:bit) | 描述 |
---|---|---|
预留位1 | 1 | 没有使用 |
预留位2 | 1 | 没有使用 |
delete_mask | 1 | 标记该记录是否被删除 |
min_rec_mask | 1 | B+树的每层非叶子节点中的最小记录都会添加该标记 |
n_owned | 4 | 表示当前记录拥有的记录数 |
heap_no | 13 | 表示当前记录在记录堆的位置信息 |
record_type | 3 | 表示当前记录的类型,0表示普通记录,1表示B+树非叶子节点记录,2表示最小记录,3表示最大记录 |
next_record | 16 | 表示下一条记录的相对位置 |
2.2.2 真实数据
隐藏字段
:
Mysql会为每条记录,添加一下隐藏列。例如:
- db row_id: 不是必须的。占用6个字节,行ID,唯一标识一条记录。详见下面的主键生成策略:
- db transction_id: 必须的。占用6个字节,事务ID
- db roll pointer: 必须的。占用7个字节,回滚指针
【主键生成策略】:
1. 优先使用用户自定义主键
2. 若没有,则选取一个唯一非空字段作为主键
3. 若唯一非空字段也没有,则默认添加一个row_id作为主键
真实数据
:
就是业务方自己存储的字段值信息。