文章目录

前言
一、为什么要分库分表？
二、分库分表的策略：
- 2.1 垂直切分：
- - 2.2.1 垂直分库：
  - 2.2.2 垂直分表：
  - 2.2.3 垂直拆分的优缺点:
- 2.2 水平切分：
- - 2.2.1 库内分表:
  - 2.2.2 分库分表:
  - 2.2.3 水平切分优缺点:
三、分库分表的实现方案：
- 3.1 数据库代理类中间件：
- 3.2 数据源代理实现：
四、数据迁移：
- 4.1 停机迁移：
- 4.1 不停机迁移：
总结：
参考：

前言

随着单库中业务数据的增加，数据库的查询QPS越来越高，相应的，对数据库的读写所需要的时间也越来越多，数据库的读写性能可能会成为业务发展的瓶颈。对应的，就需要做数据库性能方面的优化。如果单表数据量过大，当数据量超过一定量级后，常规的优化手段已经不起作用了，比如：SQL调优、添加索引、主从复制、读写分离，这是量变产生了质变，这时候就需要去换个思路来解决问题，既然单台数据库无法容纳如此多的数据，那么就把这些数据分而治之，分散到不同的表甚至不同的库中去，以此解决单台数据库的性能瓶颈问题。

一、为什么要分库分表？

关系型数据库以MySQL为例，单机的存储能力、连接数是有限的，它自身就很容易会成为系统的瓶颈。当单表数据量在百万以里时，我们还可以通过添加从库、优化索引提升性能。一旦数据量朝着千万以上趋势增长，再怎么优化数据库，很多操作性能仍下降严重。为了减少数据库的负担，提升数据库响应速度，缩短查询时间，这时候就需要进行分库分表。分库分表有一下几个方面的优势：

扩展性：当应用的数据量增长到单个数据库无法处理的规模时，分库分表可以提供更大的扩展性。通过将数据分布在多个数据库和数据表中，可以增加存储容量和吞吐量，以满足大规模并发请求。
性能：拆分数据到多个数据库和数据表中可以提高查询和写入操作的性能。每个数据库和数据表都处理部分数据，减轻了单个数据库的负载压力，允许更高效的查询和数据操作。
可用性：通过分库分表，可以实现多个独立实例，提高整体系统的可用性。如果一个数据库或数据表发生故障，其他数据库和数据表仍然可用，保持部分功能仍能正常运行，提高了系统的容错能力。
管理和维护：大规模单一数据库的管理和维护成本往往很高。通过分库分表，可以将数据划分为更为管理和维护的单元，更便于对每个单元进行备份、恢复、优化和维护操作。
安全性：分库分表可以提供更好的数据安全性。敏感或机密的数据可以存储在单独的数据库中，并进行额外的安全措施和权限管理，减少数据泄露和风险。

需要注意的是，分库分表并非在所有情况下都是必要的。分库分表需要综合考虑应用需求、数据模型、查询模式、数据一致性和系统复杂性等因素来决定是否进行分库分表，以及如何进行拆分和管理。

二、分库分表的策略：

分库分表就是要将大量数据分散到多个数据库中，使每个数据库中数据量小响应速度快，以此来提升数据库整体性能。核心理念就是对数据进行切分（Sharding），以及切分后如何对数据的快速定位与整合。针对数据切分类型，大致可以分为：垂直（纵向）切分和水平（横向）切分两种。

2.1 垂直切分：

垂直切分又细分为垂直分库和垂直分表；

2.2.1 垂直分库：

垂直分库是基于业务分类的，和我们常听到的微服务治理观念很相似，每一个独立的服务都拥有自己的数据库，需要不同业务的数据需接口调用。而垂直分库也是按照业务分类进行划分，每个业务有独立数据库。
在这里插入图片描述

2.2.2 垂直分表：

垂直分表是基于数据表的列为依据切分的，改变表结构，增加表的数量，是一种大表拆小表的模式。
在这里插入图片描述
数据库是以行为单位将数据加载到内存中，这样拆分以后核心表大多是访问频率较高的字段，而且字段长度也都较短，可以加载更多数据到内存中，增加查询的命中率，减少磁盘IO，以此来提升数据库性能。

2.2.3 垂直拆分的优缺点:

优点：

数据隔离：垂直拆分可以将不同类型或功能的数据分离到不同的数据库中。这样可以避免不同数据之间的冲突、干扰和复杂性，提高数据的隔离性和独立性。
性能提升：将热点数据与不常用的数据分离开来，可以对热点数据进行优化，提高查询和操作的性能。例如，将经常被查询的表放在高性能的服务器上，提供更快的响应时间。
安全性提高：通过垂直拆分，可以将核心数据和敏感数据放置在独立的数据库中，并应用更严格的安全措施和权限控制。这样可以降低数据泄露和风险，提高数据的安全性。
管理和维护的简化：垂直拆分将不同类型的数据分散到多个数据库中，简化了管理和维护的复杂性。可以更专注地管理每个数据库，并根据不同需求进行备份、优化和维护操作。

缺点：

数据关联与一致性：垂直拆分容易导致数据之间的关联问题和一致性的挑战。如果需要跨数据库进行查询和操作，会增加开发和维护的复杂度，并可能引入数据不一致的风险。
扩展性限制：垂直拆分可能对扩展性产生限制。如果一个特定表的数据量增长迅速，而其他表的数据却不增长或增长较慢，可能导致某些数据库的负载过重，需要重新调整拆分策略。
跨库查询与事务：由于数据被拆分到不同的数据库中，跨库查询和事务的处理变得更加复杂和耗费资源。需要设计合适的机制来支持跨库操作和确保数据一致性。

总的来说，垂直拆分的优点包括数据隔离、性能提升、安全性增强和管理简化。但同时也带来了数据关联和一致性的挑战，以及对扩展性和跨库操作的限制。因此，在进行垂直拆分时需要仔细考虑业务需求和数据模型，确保拆分的合理性和可行性。

2.2 水平切分：

水平切分将一张大数据量的表，切分成多个表结构相同（表结构不变），而每个表只占原表一部分数据，然后按不同的条件分散到多个数据库中。水平切分又分有库内分表和分库分表。

2.2.1 库内分表:

库内分表虽然将表拆分，但子表都还是在同一个数据库实例中，只是解决了单一表数据量过大的问题，并没有将拆分后的表分布到不同机器的库上，还在竞争同一个物理机的CPU、内存、网络IO。

在这里插入图片描述

2.2.2 分库分表:

分库分表则是将切分出来的子表，分散到不同的数据库中，从而使得单个表的数据量变小，达到分布式的效果。

2.2.3 水平切分优缺点:

优点：

扩展性：水平切分允许将数据行分布在多个数据库或数据表中，使得系统能够处理更大的数据量和更高的并发请求。通过横向扩展，可以提升系统的性能和容量。
并发性能：由于数据行被分散处理，每个数据库或数据表只负责部分数据，可以并行处理并发请求，提高系统的响应速度和并发读写能力。
高可用性：通过将数据行复制到不同的数据库或数据表中，水平切分提供了冗余备份机制，从而提高了系统的可用性。当某个节点或分片发生故障时，可以从其他节点获取数据，实现障转移与恢复。
数据隔离：水平切分使得不同数据行分布在不同的数据库或数据表中，实现了数据的隔离和分离。这种隔离性可以提高系统的稳定性和可靠性，减少某个数据行的故障对其他数据行的影响。

缺点：