玩转Mysql 四（MySQL逻辑架构与数据引擎）

一路走来，所有遇到的人，帮助过我的、伤害过我的都是朋友，没有一个是敌人。如有侵权，请留言，我及时删除！

一、MySQL逻辑架构

1、从Oracle收购MySQL后，MySQL逻辑架构受Oracle影响，MySQL8版本中逻辑架构受Oracle的影响逐步完善查询缓存，Oracle中称为缓冲池(buffer pool)。（后续MySQL发展可能是低配版的Oracle）。

架构对比：MySQL VS Oracle

2、MySQL逻辑架构解析

第1层：连接层 Connectors

系统（客户端）访问 MySQL 服务器前，建立 TCP 连接。MySQL 服务器对 TCP 传输过来的账号密码做身份认证、权限获取。

用户名或密码不对，会收到一个Access denied for user错误，客户端程序结束执行。

用户名密码认证通过，会从权限表查出账号拥有的权限与连接关联，之后的权限判断逻辑，都将依
赖于此时读到的权限。

第2层：服务层

SQL Interface: （SQL接口）

接收用户的SQL命令，并且返回用户需要查询的结果。比如SELECT ... FROM就是调用SQL
Interface
MySQL支持DML（数据操作语言）、DDL（数据定义语言）、存储过程、视图、触发器、自定
义函数等多种SQL语言接口

Parser: 解析器：

在解析器中对 SQL 语句进行语法分析、语义分析。将SQL语句分解成数据结构，并将这个结构
传递到后续步骤，以后SQL语句的传递和处理就是基于这个结构的。如果在分解构成中遇到错
误，那么就说明这个SQL语句是不合理的。
在SQL命令传递到解析器的时候会被解析器验证和解析，并为其创建语法树，并根据数据字
典丰富查询语法树，会验证该客户端是否具有执行该查询的权限。创建好语法树后，MySQL还
会对SQl查询进行语法上的优化，进行查询重写。

Optimizer: 查询优化器：

SQL语句在语法解析之后、查询之前会使用查询优化器确定 SQL 语句的执行路径，生成一个
执行计划。
这个执行计划表明应该使用哪些索引进行查询（全表检索还是使用索引检索），表之间的连
接顺序如何，最后会按照执行计划中的步骤调用存储引擎提供的方法来真正的执行查询，并将
查询结果返回给用户。
它使用“ 选取-投影-连接 ”策略进行查询。例如：
这个SELECT查询先根据WHERE语句进行选取，而不是将表全部查询出来以后再进行gender过
滤。这个SELECT查询先根据id和name进行属性投影，而不是将属性全部取出以后再进行过
滤，将这两个查询条件连接起来生成最终查询结果。

Caches & Buffers：查询缓存组件

MySQL内部维持着一些Cache和Buffer，比如Query Cache用来缓存一条SELECT语句的执行结
果，如果能够在其中找到对应的查询结果，那么就不必再进行查询解析、优化和执行的整个过
程了，直接将结果反馈给客户端。
这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等。
这个查询缓存可以在不同客户端之间共享。
从MySQL 5.7.20开始，不推荐使用查询缓存，并在 MySQL 8.0中删除。

不推荐使用查询缓存的原因：已经缓存的SQL下次执行必须是一模一样，如果有差异将回重新缓存。示例：

select * from test_tbs;

SELECT * FROM TEST_TBS;

两条语句执行出相同的结果，但对于缓存组件解析是两条不同的SQL。

第3层：引擎层

插件式存储引擎层（ Storage Engines），真正的负责了MySQL中数据的存储和提取，对物理服务器级别维护的底层数据执行操作，服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同，可以根据不同的数据库场景进行选择。

MySQL5/8版本默认使用的引擎是InnoDB,MySQL 8.版本支持的存储引擎列表：

第四层：存储层

所有的数据，数据库、表的定义，表的每一行的内容，索引，都是存在文件系统上，以文件的方式存在的，并完成与存储引擎的交互。商用环境中存储一般使用闪盘，提升数据库性能。

二、SQL执行流程

1 MySQL 中的 SQL执行流程

MySQL的查询流程：

查询缓存：Server 如果在查询缓存中发现了这条 SQL 语句，就会直接将结果返回给客户端；，因为查询缓存往往效率不高，所以在 MySQL8.0 删除了查询缓存。

解析器：在解析器中对 SQL 语句进行语法分析、语义分析。

MySQL线程用完，新连接无法连接解决-CSDN博客

SQL语句正确，则会生成一个这样的语法树：

优化器：在优化器中会确定 SQL 语句的执行路径，根据全表检索，索引，执行计划等提高SQL执行效率，在查询优化器中，可以分为逻辑查询优化阶段和物理查询优化阶段。

执行器：

SQL 语句在 MySQL 中的流程是： SQL语句→查询缓存→解析器→优化器→执行器。

三、MySQL-SQL执行过程分析

1、一般情况下，出现慢SQL问题，往往会定位到某些具体的SQL语句上，然后通过所谓的“优化三板斧”，如下：

板斧一	板斧二	板斧三
查询执行计划	建立合适的索引	使用合适的连接关系和过滤条件来实现`SQL`语句的优化

但是，如果执行计划是正确的，SQL语句的性能还是很慢，可通过MySQL中的Profiling工具进一步定位问题。

为了更精准定位一条SQL语句的性能问题，需要清楚地知道这条SQL语句运行时消耗了多少系统资源。而MySQL中的Profiling工具可以满足此需求，通过该工具可以获取一条SQL语句在执行过程中多种资源的消耗情况，如CPU、IO、IPC、SWAP等。

https://www.cnblogs.com/ciel717/p/16188193.html（推荐文章）

1、MySQL5/8版本中SQL执行过程分析

开启ShowProfile功能

mysql> select @@profiling;
mysql> show variables like 'profiling';

profiling=0 代表关闭，我们需要把 profiling 打开，即设置为 1：

mysql> set profiling=1;

分析一条语句执行过程：

查看SQL执行详情及资源消耗（生产环境中需要执行多次对比结果分析）

ShowProfile参数列表：

ALL：显示所有的开销信息

BLOCK IO：显示块IO相关开销

CONTEXT SWITCHES：上下文切换相关开销

CPU：显示CPU相关开销信息

IPC：显示发送和接收相关开销信息

MEMORY：显示内存相关开销信息

PAGE FAULTS：显示页面错误相关开销信息

SOURCE：显示和Source function，Source file，Source line相关的开销信息

SWAPS：显示交换次数相关开销的信息

三、MySQL存储引擎:MyISAM VS InnoDB

1、MySQL默认存储引擎的变迁

在MySQL 5.1之前的版本中，默认的搜索引擎是MyISAM，从MySQL 5.5之后的版本中，默认的搜索引擎变更为InnoDB。

2、MyISAM与InnoDB存储引擎的主要特点

MyISAM存储引擎的特点是：表级锁、不支持事务和全文索引，适合一些CMS内容管理系统作为后台数据库使用，但是使用大并发、重负荷生产系统上，表锁结构的特性就显得力不从心；

以下是MySQL 5.7 MyISAM存储引擎的版本特性：

InnoDB存储引擎的特点是：行级锁、事务安全（ACID兼容）、支持外键、不支持FULLTEXT类型的索引(5.6.4以后版本开始支持FULLTEXT类型的索引)。InnoDB存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全存储引擎。InnoDB是为处理巨大量时拥有最大性能而设计的。它的CPU效率可能是任何其他基于磁盘的关系数据库引擎所不能匹敌的。

以下是MySQL 5.7 InnoDB存储引擎的版本特性：

注意： InnoDB表的行锁也不是绝对的，假如在执行一个SQL语句时MySQL不能确定要扫描的范围，InnoDB表同样会锁全表，

例如：update table set num=1 where name like “a%”。

两种类型最主要的差别就是InnoDB支持事务处理与外键和行级锁。而MyISAM不支持。所以MyISAM往往就容易被人认为只适合在小项目中使用。

3、MyISAM与InnoDB性能测试

下边两张图是官方提供的MyISAM与InnoDB的压力测试结果

可以看出，随着CPU核数的增加，InnoDB的吞吐量反而越好，而MyISAM，其吞吐量几乎没有什么变化，显然，MyISAM的表锁定机制降低了读和写的吞吐量。

4、事务支持与否

MyISAM是一种非事务性的引擎，使得MyISAM引擎的MySQL可以提供高速存储和检索，以及全文搜索能力，适合数据仓库等查询频繁的应用；

InnoDB是事务安全的；

事务是一种高级的处理方式，如在一些列增删改中只要哪个出错还可以回滚还原，而MyISAM就不可以了。

5、MyISAM与InnoDB构成上的区别

（1）每个MyISAM在磁盘上存储成三个文件：

第一个文件的名字以表的名字开始，扩展名指出文件类型，.frm文件存储表定义。第二个文件是数据文件，其扩展名为.MYD (MYData)。第三个文件是索引文件，其扩展名是.MYI (MYIndex)。

（2）基于磁盘的资源是InnoDB表空间数据文件和它的日志文件，InnoDB 表的大小只受限于操作系统文件的大小，一般为 2GB。

6、MyISAM与InnoDB表锁和行锁的解释

MySQL表级锁有两种模式：表共享读锁（Table Read Lock）和表独占写锁（Table Write Lock）。什么意思呢，就是说对MyISAM表进行读操作时，它不会阻塞其他用户对同一表的读请求，但会阻塞对同一表的写操作；而对MyISAM表的写操作，则会阻塞其他用户对同一表的读和写操作。

InnoDB行锁是通过给索引项加锁来实现的，即只有通过索引条件检索数据，InnoDB才使用行级锁，否则将使用表锁！行级锁在每次获取锁和释放锁的操作需要消耗比表锁更多的资源。在InnoDB两个事务发生死锁的时候，会计算出每个事务影响的行数，然后回滚行数少的那个事务。当锁定的场景中不涉及Innodb的时候，InnoDB是检测不到的。只能依靠锁定超时来解决。

7、是否保存数据库表中表的具体行数

InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table 时，InnoDB要扫描一遍整个表来计算有多少行，但是MyISAM只要简单的读出保存好的行数即可。

注意的是，当count(*)语句包含where条件时，两种表的操作是一样的。也就是上述“6”中介绍到的InnoDB使用表锁的一种情况。

8、如何选择

MyISAM适合：（1）做很多count 的计算；（2）插入不频繁，查询非常频繁，如果执行大量的SELECT，MyISAM是更好的选择；（3）没有事务。

InnoDB适合：（1）可靠性要求比较高，或者要求事务；（2）表更新和查询都相当的频繁，并且表锁定的机会比较大的情况指定数据引擎的创建；（3）如果你的数据执行大量的INSERT或UPDATE，出于性能方面的考虑，应该使用InnoDB表；（4）DELETE FROM table时，InnoDB不会重新建立表，而是一行一行的删除；（5）LOAD TABLE FROM MASTER操作对InnoDB是不起作用的，解决方法是首先把InnoDB表改成MyISAM表，导入数据后再改成InnoDB表，但是对于使用的额外的InnoDB特性（例如外键）的表不适用。

要注意，创建每个表格的代码是相同的，除了最后的 TYPE参数，这一参数用来指定数据引擎。

其他区别：

1、对于AUTO_INCREMENT类型的字段，InnoDB中必须包含只有该字段的索引，但是在MyISAM表中，可以和其他字段一起建立联合索引。

2、DELETE FROM table时，InnoDB不会重新建立表，而是一行一行的删除。

3、LOAD TABLE FROMMASTER操作对InnoDB是不起作用的，解决方法是首先把InnoDB表改成MyISAM表，导入数据后再改成InnoDB表，但是对于使用的额外的InnoDB特性(例如外键)的表不适用。

4、 InnoDB存储引擎被完全与MySQL服务器整合，InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池。

5、对于自增长的字段，InnoDB中必须包含只有该字段的索引，但是在MyISAM表中可以和其他字段一起建立联合索引。

6、清空整个表时，InnoDB是一行一行的删除，效率非常慢。MyISAM则会重建表。

参考大佬博文

MySQL存储引擎MyISAM与InnoDB区别总结整理-腾讯云开发者社区-腾讯云

MySQL存储引擎InnoDB、MyISAM和MEMORY介绍详解和区别-腾讯云开发者社区-腾讯云

7、其他引擎介绍

Federated 引擎：访问远程表Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。
Merge引擎：管理多个MyISAM表构成的表集合
NDB引擎：MySQL集群专用存储引擎也叫做 NDB Cluster 存储引擎，主要用于 MySQL Cluster 分布式集群环境，类似于 Oracle 的 RAC 集群