一. 前言
当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。
二. 单表优化
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量。
字段
- 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNED
- VARCHAR的长度只分配真正需要的空间
- 使用枚举或整数代替字符串类型
- 尽量使用TIMESTAMP而非DATETIME,
- 单表不要有太多字段,建议在20以内
- 避免使用NULL字段,很难查询优化且占用额外索引空间 用整型来存IP
索引
索引并不是越多越好,要根据查询有针对性的创建,考虑在WHERE和ORDER BY命令上涉及的列建立索引,可根据EXPLAIN来查看是否用了索引还是全表扫描
- 应尽量避免在WHERE子句中对字段进行NULL值判断,否则将导致引擎放弃使用索引而进行全表扫描
- 值分布很稀少的字段不适合建索引,例如"性别"这种只有两三个值的字段
- 字符字段只建前缀索引
- 字符字段最好不要做主键
- 不用外键,由程序保证约束
- 尽量不用UNIQUE,由程序保证约束
- 使用多列索引时主意顺序和查询条件保持一致,同时删除不必要的单列索引
查询SQL优化
可通过开启慢查询日志查找出较慢的SQL。
- 不做列运算:
SELECT id WHERE age+1=10
,任何对列的操作都将导致全表扫描.它包括数据库教程函数,计算表达式等等,查询时尽量将操作移至等号右边 - SQL语句尽可能简单:一条SQL只能在一个cpu进行运算;大语句拆分成小语句,减少锁时间;一条大SQL可以堵死整个库
- 不用 SELECT *
- 少用 JOIN
- 避免 %xxx式查询
- 不用函数和触发器,在应用程序实现
- OR改写成IN:OR的效率是 n 级别,IN的效率是 log(n)级别。IN的个数建议控制在200以内
- 使用同类型进行比较:比如’123’和’123’比,123和123比
- 尽量避免在WHERE 子句中使用
!= <>
操作,否则将导致引擎放弃索引使用全表扫描 - 对于连续数值,使用
BETWEEN
而不用IN - 列数据不要拿全表,要使用 LIMIT进行分页,每页数量页不要太大
引擎
目前广泛使用的是MyISAM引擎和InnoDB两种引擎。
MyISAM
适合SELECT密集型的表,不支持事务。
InnoDB
适合insert和update密集型的表,支持事务。
二. 读写分离
也是目前常用的优化,从库读主库写,一般不要采用双主或多主引入很多复杂性,尽量采用文中的其他方案来提高性能。同时目前很多拆分的解决方案同时也兼顾考虑了读写分离。
MySQL数据库 + Docker主从同步搭建配置:https://blog.csdn.net/qq_43030934/article/details/129669236
Django+Docker实现MySQL读写分离基本使用介绍:https://blog.csdn.net/qq_43030934/article/details/129671074
三. 缓存
缓存可以发生在这些层次:
- MySQL内部:在系统调优参数介绍了相关设置
- 数据访问层:比如MyBatis针对SQL语句做缓存,而Hibernate可以精确到单个记录,这里缓存的对象主要是持久化对象Persistence
Object - 应用服务层:这里可以通过编程手段对缓存做到更精准的控制和更多的实现策略,这里缓存的对象是数据传输对象Data Transfer
Object - Web层:针对web页面做缓存
- 浏览器客户端:用户端的缓存
四. 分库分表
分库分表的中心思想都是将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。
1.垂直拆分
1.1垂直分库
以表为依据,根据业务将不同表拆分到不同库中。所以拆分完的每个库的表结构都不一样。每个库的数据也不一样。所有库的并集是全量数据。
1.2垂直分表
以字段为依据,根据字段属性将不同字段拆分到不同表中。并且每个表的结构都不一样。每个表的数据也不一样,一般通过一列(主键/外键)关联。所有表的并集是全量数据。
2. 水平拆分
2.1 水平分库
以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。在水平分库中每个库的表结构都一样。每个库的数据都不一样。所有库的并集是全量数据。
2.2 水平分表
以字段为依据,按照一定策略,将一个表的数据拆分到多个表中。特点:每个表的表结构都一样。每个表的数据都不一样。所有表的并集是全量数据。
在业务系统中,为了缓解磁盘IO及CPU的性能瓶颈,到底是垂直拆分,还是水平拆分;具体是分库,还是分表,都需要根据具体的业务需求具体分析。
五. 升级硬件
Scale up,这个不多说了,根据MySQL是CPU密集型还是I/O密集型,通过提升CPU和内存、使用SSD,都能显著提升MySQL性能。