1 mysql 基本功能

1.1、mysql连接器的工作流程:

1.2、查看连接状态:

show processlist;
Note:客户端太长时间没动静 就自动断开 这个时间是由wait_timeout参数控制的,默认8h

长连接短链接

长连接是链接成功后,如果客户端持续有请求,则使用同一个链接[尽量使用长连接,因为每次建立链接过程是很复杂的]
短链接则是每次执行完很少的几次查询后就断开链接了,下次查询则重新建立一个链接

1.3、使用长连接的困惑以及解决方案

为什么长连接占用内存涨的特别快

这是因为mysql在执行过程中临时使用的内存是管理在链接对象里面的。
这些资源会在链接断开的时候才释放。所以长时间累积下来就导致内存占用太大，被系统强制杀掉(OOM[Out Of Memory]),从现象来看就是mysql异常重启了。

怎么去解决使用长连接占用内存涨的特别快的问题

定期断开长连接。使用一段时间，或者程序里面判断执行过一个占用内存大的查询后,断开链接.之后要查询再重新链接.

如果使用mysql5.7或更新的版本，可以在每次执行一个较大的操作后，通过执行 mysql_reset_connection来重新初始化链接资源。这个过程中不需要重新链接和重新做权限验证，但是会将链接恢复到刚刚创建完时的状态.
mysql_reset_connection

1.4、查询缓存

mysql拿到一个查询请求后,会先到查询缓存里面看看,之前执行过该语句 就会以key value的形式存储 key = 查询的sql语句 value= 查询结果, 查询缓存 只要一个表有更新操作就会被清空 除非业务有静态表很长时间才更新一次 才适合使用查询缓存.

MySQL提供的按需使用的方式
query_cache_type参数 设置成 DEMAND

显式制定使用查询缓存的语句(mysql8.0版本直接删除了查询缓存功能模块)
mysql> select SQL_CACHE * from T where ID=10；

1.5、分析器

步骤1:对sql语句做解析
“词法分析” 你输入的是由多个字符串和空格组成的一条sql语句,mysql需要识别出里面的字符串分别是什么,代表什么。
“语法分析” 判断你输入的sql语句是否满足mysql的语法

1.6、优化器

当表中有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联 join的时候,决定个个表的链接顺序.
举例说明:
mysql> select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;
既可以先从表 t1 里面取出 c=10 的记录的 ID 值，再根据 ID 值关联到表 t2，再判断 t2 里面 d 的值是否等于20
也可以先从表 t2 里面取出 d=20 的记录的 ID 值，再根据 ID 值关联到 t1，再判断 t1 里面 c 的值是否等于10

这两种执行方法的逻辑结果时一样的，但是执行的效率会有不同，而优化器的作用就是决定选择哪一个方案

1.6、执行器

开始执行sql的时候
判断是否有对表t的执行权限
没有索引的执行流程

调用 InnoDB 引擎接口取这个表的第一行，判断 ID 值是不是1，如果不是则跳过，如果是则将这行存在结果集中
调用引擎接口取"下一行"，重复相同的判断逻辑，直到取到这个表的最后一行

执行器将上述遍布过程中所有满足条件的行组成的记录集作为结果集返回给客户端。

有索引的执行流程

第一调用的是"取满足条件的第一行"这个接口，
之后循环取"满足条件的下一行"

2 优化连接池

连接池运行机制
MySQL连接器中的连接池，用以提高数据库密集型应用程序的性能和可扩展性，默认启用。MySQL连接器负责管理连接池中的多个连接，自动创建、打开、关闭和破坏连接，多个连接的创建，可满足多客户端的频繁连接，连接的重复使用获得最佳性能。
MySQL连接器 每三分钟运行一次后台作业，并从池中删除闲置（未使用）超过三分钟的连接。池清理释放客户端和服务器端的资源。这是因为在客户端每个连接都使用一个Socket，而在服务器端每个连接都使用一个Socket和一个线程。

max_connections，MySQL最大并发连接数，默认值是151，最大连接数上限是16384；

• 经验：实际连接数是最大连接数的 85% 较为合适。
  设置 max_used_connections 方法：

– 查询数据库目前设置的最大并发连接数是多少
SHOW VARIABLES LIKE ‘max_connections’;

– 查询数据库目前实际连接的并发数是多少
SHOW STATUS LIKE ‘max_used_connections’;

– 在MySQL配置文件 /etc/my.cnf 中设置 max_connections=3000，表示修改最大连接数为3000。

注意：需要重启 MySQL 才能生效。
– MySQL为每个连接创建缓冲区，所以不应该盲目上调最大连接数。

如果最大连接数达到了上面设置的 3000，会消耗大约 800M 内存。

其他连接池设置：

开启连接池： Pooling=true，默认开启
复用时重置连接状态： ConnectionReset=True
保持连接设置： CacheServerProperties=True
连接超时回收(秒)： ConnectionLifeTime=300
支持的最大连接数量： Max Pool Size=100
保持最小的连接数量： Min Pool Size=10

3. 优化请求堆栈

back_log，存放执行请求的堆栈大小，默认值是50。
– 该值设置为最大并发连接数的 20%～30% 较为合适。
设置 back_log 方法：
– 在MySQL配置文件 /etc/my.cnf 中，设置 back_log=600
– 修改后需要重启 MySQL 才能生效。

4. 优化请求堆栈

back_log，存放执行请求的堆栈大小，默认值是50。
– 该值设置为最大并发连接数的 20%～30% 较为合适。
设置 back_log 方法：
– 在MySQL配置文件 /etc/my.cnf 中，设置 back_log=600
– 修改后需要重启 MySQL 才能生效。

back_log
在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。
也就是说，如果MySql的连接数达到max_connections时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源。
将会报：unauthenticated user | xxx.xxx.xxx.xxx | NULL | Connect | NULL | login | NULL 的待连接进程时.
back_log值不能超过TCP/IP连接的侦听队列的大小。
若超过则无效，查看当前系统的TCP/IP连接的侦听队列的大小命令：cat /proc/sys/net/ipv4/tcp_max_syn_backlog，目前系统为1024。
对于Linux系统推荐设置为大于512的整数。
修改系统内核参数，可以编辑/etc/sysctl.conf去调整它。
如：net.ipv4.tcp_max_syn_backlog = 2048，改完后执行sysctl -p 让修改立即生效。
查看mysql 当前系统默认back_log值，命令：
show variables like ‘back_log’;

5. 修改连接超时时间

wait-timeout，超时时间，单位是秒，连接默认超时为8小时，连接长期不用不销毁，比较浪费资源。
– 经验：设置超时时间为 10 分钟 wait-timeout=600。

7. 优化内存缓冲池

缓冲池运行机制
– 在MySQL5.5之前，广泛使用的和默认的存储引擎是MyISAM。MyISAM使用操作系统缓存来缓存数据。InnoDB需要innodb buffer pool中处理缓存，所以非常需要有足够的InnoDB buffer pool空间。
– 缓冲区分为 热数据区 / 冷数据区，两者空间占比约为 7/3，每区中的数据集依使用频率按顺序依次排列。
当一个新的查询结果出现后，首先考虑存放到冷数据区，当冷数据区的结果集使用达到一定频率，会被改存到热数据区，使用频率最好的数据集会被存放到热区的首位，当然也有热区转到冷区的状况。
InnoDB 缓冲池不仅仅是一个缓存，MySQL InnoDB buffer pool 包含四部分：
– 数据缓存，InnoDB 数据页面；
– 索引缓存，索引数据；
– 缓冲数据，脏页（在内存中修改尚未写入到磁盘的数据）；
– 内部结构，如自适应哈希索引，行锁等。

innodb_buffer_pool_instances，内存缓冲池。
– buffer_pool 把需要缓冲的数据 hash 到不同的缓冲池中，这样可以并行的内存读写。通过减少争用不同线程对缓存页面进行读写的争用，将缓冲池划分为多个单独的实例可以提高并发性。
– MySQL 5.7、MySQL 8.0 下 innodb_buffer_pool_instances 默认为 1，若 MySQL 存在高并发和高负载访问，设置为 1 则会造成大量线程对 buffer_pool 的单实例互斥锁竞争，这样会消耗一定量的性能的。

– innodb_buffer_pool_instances 建议设置为 cpu核心数。
innodb_buffer_pool_chunk_size，缓冲池每块大小，默认128M。
– pool_chunk_size 一般不做改动，使用默认值就可以。
innodb_buffer_pool_size，缓冲池的承载总量。
– innodb_buffer_pool_size 可以缓存索引和行数据，值越大、IO读写就越少；
– 设置规则：innodb_buffer_pool_size = （innodb_buffer_pool_chunk_size * {N}块 ）* innodb_buffer_pool_instances
– 如果单纯的做数据库服务，该参数可以设置到电脑物理内存的80%；
– 为了更好的配合 pool_instance，pool_size 需要设置为 pool_instance 和 pool_chunk_size 的整数倍，这样可以被 pool_instance 整除，为每个 buffer pool 实例平均分配内存。如果设置的值不是倍数，MySQL会自动将 pool_size 调整为 pool_chunk_size 的倍数。