分库分表最全详解(图文全面总结)

news2024/9/27 12:16:36

请添加图片描述

分库分表

分库分表是数据库设计、和管理中的一种策略，主要解决随着数据量、和并发访问量的增加而带来的性能、和扩展性问题。

分库分表，主要就是两种常用手段：“分库”、和“分表”。

如下图所示：
请添加图片描述
分库（Database Sharding）：将数据按照某种规则，分散到多个独立的数据库中，每个数据库称为一个“分库”。

分表（Table Sharding）：将一个大表的数据按照某种规则，分散到多个小表中，每个小表称为一个“分片”、或“分表”。

为什么要分库分表
在系统不断发展、数据量急剧增加的情况下，传统的数据库架构往往难以应对性能和扩展性的问题。

特别是当单表的数据量达到千万、甚至亿级别时，即使使用了索引，查询性能也会受到影响。
请添加图片描述
为了解决这一问题，分库分表是一种有效的策略。

分库分表通过将数据，按照某种策略分配到多个数据库节点、或表中，提高了查询和写入性能，从而，增强系统的可扩展性和容错能力。

分库分表实现
通过用数据库分库分表中间件，比如：ShardingSphere、MyCat…等，开发者可以方便地实现：分库分表。

分库分表旨在，通过将大表、或大数据库的数据，切分为多个较小的部分，从而提升性能。

如下图所示：
请添加图片描述
核心步骤，如下：

第一步：首先分析数据

确定分库分表的必要性，比如：分析当前数据库的性能瓶颈，确定是否需要进行分库分表。

以及，评估数据量的增长趋势、和未来的扩展需求。

第二部：确定拆分类型

然后，根据业务特点，选择合适的分片策略（如：哈希分片、范围分片、列表分片…等）。

哈希分片（Hash Sharding）

根据某个字段（如用户ID），进行哈希运算，将数据均匀分布到不同的分片中。

适用于：需要均匀分布数据，且无法预知数据分布特点的场景。

范围分片（Range Sharding）

根据某个字段的值范围进行分片，例如按时间范围（比如：年、月、日）、或按数值范围进行分片。

适用于：数据有明显的范围划分的场景。

列表分片（List Sharding）

根据字段的具体值进行分片，例如：按地区、类别等。

适用于：数据有明确分类的场景。

组合分片（Composite Sharding）

结合多种分片策略，例如：先按地域分片，再按用户ID哈希分片。

第三步：实现数据拆分

采用数据库分库分表中间件，如ShardingSphere…等，简化分库分表的实现。

ShardingSphere 是一个分布式数据库中间件解决方案，支持：分库分表、读写分离、和数据治理…等方案。

假设有一个电子商务系统，包括：用户信息表（users）和订单信息表（orders），我们希望将用户信息表和订单信息表分别存储在两个不同的数据库中。

如下所示：
请添加图片描述
可以通过ShardingSphere的配置文件定义数据源和实际数据节点，实现表的垂直拆分：

schemaName: ecommerce

dataSources:
  user_db:
    url: jdbc:mysql://localhost:3306/user_db
    username: root
    password: password
  order_db:
    url: jdbc:mysql://localhost:3306/order_db
    username: root
    password: password

shardingRule:
  tables:
    users:
      actualDataNodes: user_db.users
    orders:
      actualDataNodes: order_db.orders

然后，在应用层通过 ShardingSphere 提供的 DataSource 连接不同的数据库，进行数据操作。


// 加载垂直拆分配置文件
        DataSource dataSource = YamlShardingSphereDataSourceFactory.createDataSource(new File("vertical-sharding.yml"));

        // 查询用户信息
        String userSql = "SELECT * FROM users WHERE user_id = ?";
        try (Connection conn = dataSource.getConnection();
             PreparedStatement pstmt = conn.prepareStatement(userSql)) {
            pstmt.setLong(1, 1L);
            try (ResultSet rs = pstmt.executeQuery()) {
                while (rs.next()) {
                    System.out.println("User ID: " + rs.getLong("user_id") + ", Username: " + rs.getString("username"));
                }
            }
        }