图源(鹅厂技术架构师公众号)
MySQL执行顺序:
FROM:确定数据来源。
JOIN:执行表之间的连接操作。
WHERE:过滤记录。
GROUP BY:对记录进行分组。
HAVING:对分组结果进行过滤。
SELECT:选择要返回的列。
DISTINCT:去除重复记录(如果有)。
ORDER BY:对结果排序。
LIMIT:限制返回的记录数量。
分表分库的演进
系统随着用户量的提升,整个分库分表有以下阶段,随着数据库QPS,TPS的维度逐渐发生变化进行扩展
1.单库单表:用户量少的时候,单库单表可以扛住整个系统的需求
2.索引优化:用户量开始上升,通过索引优化,根据用户数据量建立索引区分度更高的索引,联合索引,覆盖索引等操作,减少回表操作,减少磁盘IO,可以降低mysql的cpu消耗,以及减少mysql缓冲数据的驱逐,LRU策略。
3.分表
分表,大众点评分表在主从之后大众点评订单系统分库分表实践 - 美团技术团队,应该是在主从依旧不能支撑系统性能,再考虑分表。图里应该是在微服务粒度已经很细的情况下,进行提前分表
看看gpt怎么说
• 提前分表:提前分表可以为未来的扩展做好准备,但也可能导致系统过早复杂化。过早分表可能会带来额外的开发、测试和维护成本。
• 后期分表:在业务量增长到一定程度后再分表,这样可以根据实际的性能瓶颈和数据特点进行更合理的分表设计。但这也可能导致在系统架构调整过程中出现更多挑战,尤其是在已经存在主从复制架构的情况下。
4.主从数据库配合
数据库的瓶颈已经因QPS太高造成的CPU瓶颈,之前的性能跟不上了,阿里云RDS可以在中间件级别实现主从分离,从库分担读的压力,多加几个从库。分担读的压力,从而降低QPS,CPU压力。主从库也顶不住了,检查数据库的配置,数据库配置4核心8g比较低,升级更高的配置。
5.缓存
缓存可以发生在,主从索引优化之前,表里的维度应该是数据库的读性能开始出现瓶颈,这个时候通过大量的cache优化,降低mysql查询引起的 cpu,磁盘IO操作太多的问题。进而降低读维度的性能瓶颈。
6.分库分表
随着读写维度都到了一定性能瓶颈,这个时候就需要考虑通过分库分表来降低cpu,磁盘IO的瓶颈,以及内存锁的瓶颈。分库分表可以降低, 磁盘 I/O,锁竞争,内存的压力。
https://zhuanlan.zhihu.com/p/535713197
https://zhuanlan.zhihu.com/p/93643428
大众点评订单系统分库分表实践 - 美团技术团队