mysql进阶（三）

MySQL架构和存储引擎

1. MySQL架构

MySQL8.0服务器是由连接池、服务管理⼯具和公共组件、NoSQL接⼝、SQL接⼝、解析器、优化器、缓存、存储引擎、⽂件系统组成。MySQL还为各种编程语⾔提供了⼀套⽤于外部程序访问服务器的连接器。整体架构图如下所⽰：

2. 连接层

连接层的作⽤是处理客⼾端的连接，主要学习MySQLServer如何管理连接，包括对可⽤连接接⼝的描述和服务器如何使⽤连接处理线程。

2.1 ⽹络端⼝和连接管理线程

mysql是一个网络服务，通过ip和端口号就可以找到网络上指定的一个mysql服务，程序在启动的时候就可以向操作系统申请一个端口。操作系统只负责转发。通常，一个进程申请一个端口对外提供服务。

2.2 客⼾端连接线程管理

连接管理器线程在接收到每个客⼾端连接后，把请求转发到真正的执⾏线程，每个请求都对应⼀个执⾏线程，该线程处理连接的⾝份验证和具体请求。执⾏线程使⽤线程池技术进⾏缓存，当⼀个请求需要处理时，先从线程池中查找是否有可⽤的线程，如果没有则新创建⼀个，当连接结束时，如果线程池没有满，则把当前线程放⼊线程池，主要的作⽤是提⾼线程的复⽤，减少创建线程造成的系统开销从⽽提⾼效率。

可以通过以下⼏个系统变量和状态变量控制和监视服务器管理客⼾端连接的线程：

• 系统变量 thread_cache_size 决定了线程池缓存的⼤⼩。默认情况下，服务器在启动时会⾃动调整这个值，但也可以通过选项⽂件明确指定⼤⼩，值为0时禁⽤缓存，此时为每个新连接创建执⾏⼀个线程，并在连接断开时释放；

• 有些复杂的SQL语句在执⾏过程中可能会有深层递归从⽽消耗更多的内存，通过设置 thread_stack=N 调整线程堆栈⼤⼩；

• 要查看缓存中的线程数以及超过缓存数后新创建的线程数，通过状态变量 Threads_cached和Threads_created 查看；

3.3 连接量管理

• 系统变量 max_connections 可以控制服务器允许同时连接的最⼤客⼾端数，当服务器达到 max_connections 指定的连接数时会拒绝所有新的连接请求，同时会增加状态变量 Connection_errors_max_connections 的值；

• mysqld实际上允许 max_connections +1 个客⼾端连接。额外的连接为拥有 CONNECTION_ADMIN 权限的帐⼾(管理员)使⽤，即使普通连接达到了数量，管理员也可以连接到服务器进⾏管理操作; max_connections 的

• 在部署为主从复制的环境中，从节点的连接数也会计⼊ max_connections 中，如果连接达到上限主从复制将会失败；

• m ax_connections 具体数据和服务器的硬件有关，⽐如可⽤的内存、每个连接消耗的内存，每个连接的⼯作负载、响应时间、可⽤⽂件描述符的数量等等。

3. 服务层

数据库服务层是整个数据库服务器的核⼼，主要包括了服务管理和公共组件、NoSQL和SQL接⼝、解析器、查询优化器和缓存等部分

3.1 服务管理和公共组件

MySQL提供了多种功能服务以满⾜不同使⽤场景下的需要，常⽤的服务如下：

• Backup&Recovery：备份与恢复

• Security：安全，

• Replication：主从复制，

• Cluster：MySQL集群，

• Partitioning：表分区，

• InstanceManager：实例管理，

• Administrator：MySQL管理员，

• MigrationToolkit：迁移⼯具包。

3.2 NoSQL接⼝与SQL接⼝

主要负责接收客⼾端发送的各种SQL语句和命令，并将SQL发送到其他部分，然后把接收到的结果返回给客⼾端。

3.3 Parser(语法分析器)

语法分析器的主要作⽤是将客⼾端发来的SQL语句中的关键字和⾃定义字段进⾏提取、解析，最终将SQL语句转换为⼀棵解析树，分析的过程中包含词法分析和语法分析；词法分析，主要是对关键字进⾏提取，⽐如 select/update/delete/create... ；语法分析，主要判断SQL语句是否满⾜语法规则，如果语法错误则异出异常，也就是我们常⻅的ERROR1064(42000):Youhavean error in your SQLsyntax。

3.4 Optimizer(查询优化器)

通过语法校验的SQL语句将进⼊查询优化器处理阶段，查询优化器会将解析树转化为查询计划，⼀般情况下，⼀条查询可以有很多种执⾏⽅案，查询优化器会根据执⾏计划匹配合适的索引，选择最佳的执⾏⽅案，最终把确定要执⾏的SQL交给执⾏器调⽤存储引擎API。

TIPS: 优化后的SQL语句在条件查询时可能与程序员写的条件过滤顺序不同，但最终的返回结果⼀致。

3.5 Caches&Buffers(缓存)

MySQL的缓存主要的作⽤是为了提升查询的效率，当服务器接收到⼀个先进⼊缓存查询当前SQL语句在缓存中是否存在，缓存以 key 和 select 查询语句时，会 value 的形式存储，key是具体的 SQL语句，value是结果的集合，如果命中缓存，直接返回结果，⽆法命中缓存，则进⼊分析器进⾏正常查询流程。

这⾥需要说明的是，缓存数据对应的数据在被更新之后将会失效，尤其在写多读少的场景中，缓存会频繁失效与新增，命中率⾮常低，因此MySQL5.6之后服务层缓存功能默认关闭，⽽且在 MySQL8.0中服务层缓存被官⽅删除。