第106讲：Mycat实践指南：范围分片下的水平分表详解

文章目录

- 1.Mycat水平拆分的分片规则
- 2. Mycat水平拆分之范围分片
- - 2.1.使用范围分片水平分表的背景
  - 2.2.水平分表范围分片案例
  - 2.3.准备测试的表结构
  - 2.4.配置Mycat实现范围分片的水平分表
  - - 2.4.1.配置Schema配置文件
    - 2.4.2.配置Rule分片规则配置文件
    - 2.4.3.配置Server配置文件
    - 2.4.4.重启Mycat
  - 2.5.写入数据观察水平分表效果

1.Mycat水平拆分的分片规则

Mycat水平分库分表，都是对表中的数据量进行拆分的，将一个数据库中的表数据拆分到多个数据库实例中，并不能实现将一个表在当前数据库中拆成多个表。

Mycat的分片规则都已经写好了，我们直接来调用即可，无需认为编写。

水平拆分主要是根据分片规则进行逻辑上的拆分，常用的水平拆分分片规则如下：

范围分片
- 根据表中的数据量大小，决定将表中的数据拆分到那些分片上，例如0~500w条数据拆分到分片1,500w-1000w数据拆分到分片2。
取模分片
- 根据数据量与节点数量的求模运算，根据运算结果，决定数据存储的分片，例如插入第50条数据，节点有4个，那么就是50÷4=12余2，余数2就是该条数据写入的分片ID。
一致性Hash分片
- 所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置，有效的解决了分布式数据的拓容问题。
枚举分片
- 通过在配置文件中配置可能的枚举值, 指定数据分布到不同数据节点上, 本规则适用于按照省份、性别、状态拆分数据等业务
日期分片
- 根据日期时间来进行分库分表，常见的有按月分表，每个月产生一个新表。

2. Mycat水平拆分之范围分片

2.1.使用范围分片水平分表的背景

平台库下有一张表的数据量非常多，目前已经达到了600w行数据，查询效率很低，数据量越大，索引的结构就越高，性能会有所下降。

基于这种情况，我们决定针对这张业务表进行水平分表，分表后，原表的数据量就会被分到多张表中，缓解单表的压力，将该表的数据拆分到多个数据库实例中存放，0_{500万的数据在分片1中，500}100万的数据在分片2中。

水平分表，如果不想将表数据拆分到多个数据库实例中，只想在本库新增一张表，来存放后期产生的数据，这种情况就不能通过Mycat实现了，Mycat只能跨实例分表，无法在本实例下分表。

2.2.水平分表范围分片案例

在db_1数据库下有一张table1表，其数据量已经达到500w行，查询效率较低，现需要对这张表进行水平分表，0_{500w行的数据写入到分片1的数据库实例中，500}1000w行的数据写入到分片2的数据库实例中。

2.3.准备测试的表结构

配置水平分表前，需要将要分的表在所有的分片上创建出来。

如果是生产环境的某张表进行水平分表，比如说表数据400w行都在分片1中读写的，水平分表时，分片1中的数据可以不动，按照范围，400w以后的数据在分表完成后，会自动路由到分片2上，因此只需要在所有的分片上准备好表结构即可，旧数据就在原实例。

当然也可以手动进行分表，就是开发同事会比较麻烦。

分片节点数依旧是2个，还是之前垂直分库分表时使用的两套双主双从集群。

1.在两个分片上创建数据库
[root@mysql-1 ~]# mysql -uroot -p123456 -P3306 -h 192.168.20.11 -e "create database db_2;"
[root@mysql-1 ~]# mysql -uroot -p123456 -P3307 -h 192.168.20.11 -e "create database db_2;"

2.在两个分片上创建表结构
[root@mysql-1 ~]# mysql -uroot -p123456 -P3306 -h 192.168.20.11 -e "use db_2; create table table1 (id int,name varchar(10));"
[root@mysql-1 ~]# mysql -uroot -p123456 -P3307 -h 192.168.20.11 -e "use db_2; create table table1 (id int,name varchar(10));"

2.4.配置Mycat实现范围分片的水平分表

2.4.1.配置Schema配置文件

我们针对table1这张表进行水平分表时，要为其同时指定上两个分片，然后再为其指定分片规则，同时指定两个分片后，Mycat根据分片规则路由到不同的分片上。

[root@mysql-1 ~]# vim /data/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
         <!--定义逻辑库 库名叫做db_shopping 该逻辑库关联dn1这个数据节点-->
        <schema name="db_2" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
            <!--定义逻辑表 将table1这张大表水平拆分到dn1、dn2这两个分片上 并且分片规则使用auto-sharding-long-->
            <table name="table1" dataNode="dn1,dn2" rule="auto-sharding-long"/>
        
        </schema>  

        <!--定义数据节点 也就是分片 一个分片会关联一个数据主机组 然后对应真实的数据库名称-->
        <dataNode name="dn1" dataHost="mysqlcluster-1" database= "db_2" />          
        <dataNode name="dn2" dataHost="mysqlcluster-2" database= "db_2" />          

        <!--定义数据主机 在这个标签下定义具体的读写操作路由的数据库实例地址 schema、table划分如何指定的是该数据主机关联的数据节点 那么对应的库、表都会被存储在数据主机定义的数据库实例中-->
        <dataHost name="mysqlcluster-1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
                <!--定义写操作路由的数据库实例-->
                <writeHost host="c1-1-master3306" url="192.168.20.11:3306" user="root" password="123456">
                        <!--定义读操作路由的数据库实例-->
                        <readHost host="c1-1-slave3308" url="192.168.20.11:3308" user="root" password="123456" />
                </writeHost> 
                <!--备用的主库 也是提供写操作的数据库，当主库c1-1-master3306故障后 备用库开始提供写操作-->
                <writeHost host="c1-2-master3306" url="192.168.20.12:3306" user="root" password="123456">
                        <!--备用主库的从库 从始至终 只要备用主库不故障 会一直提供读服务-->
                        <readHost host="c1-2-slave3308" url="192.168.20.12:3308" user="root" password="123456" />
                </writeHost> 
        </dataHost>  

        <dataHost name="mysqlcluster-2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
                <writeHost host="c2-1-master3307" url="192.168.20.11:3307" user="root" password="123456">
                        <readHost host="c2-1-slave3309" url="192.168.20.11:3309" user="root" password="123456" />
                </writeHost> 
                <!--备用主库db3 主库db1故障后 开始提供写操作-->
                <writeHost host="c2-2-master3307" url="192.168.20.12:3307" user="root" password="123456">
                        <!--备用主库的从库 从始至终 只要备用主库不故障 会一直提供读服务-->
                        <readHost host="c2-2-slave3309" url="192.168.20.12:3309" user="root" password="123456" />
                </writeHost> 
        </dataHost>  

</mycat:schema>

2.4.2.配置Rule分片规则配置文件

在Rule分片规则配置文件中，我们要配置主要是根据表中的那个字段进行范围分片，如果做范围分片的字段也是id字段，就不需要调整这个配置文件，只需要调整范围分片中传入的参数。

如果同时由多个表需要范围分片，并且做范围分片的字段都是不同的，我们也可以自己定义一个分片规则，只是给分片规则改个名而已，然后指定做分片的字段，指定调用哪一个函数即可，范围分片的函数是rang-long，在配置文件下面有显示。

[root@mysql-1 ~]# vim /data/mycat/conf/rule.xml 
	<!--分片规则的名称-->>
    <tableRule name="auto-sharding-long">
        <rule>
            <!--要对哪个字段进行分片-->>
            <columns>id</columns>
            <!--使用那种类型的分片 指定某类型分片所对应的函数-->>
            <algorithm>rang-long</algorithm>
        </rule>
    </tableRule>

    <!--特定类型所对应的函数名称-->>
    <function name="rang-long"
        class="io.mycat.route.function.AutoPartitionByLong">
        <!--分片规则函数传入的参数 从这里看会传入一个文件 这个文件应该就是要定义的范围-->>
        <property name="mapFile">autopartition-long.txt</property>
    </function>

范围分片的函数需要把autopartition-long.txt这个文件的内容，作为传参，该文件中定义的就是分片的范围。

该文件的含义：1M=10000 -K=1000，默认参数0_{500M也就是0}500w之间的数据路由到分片1，500-1000M的数据路由到分片2，1000-1500M的数据路由到分片3

=0指的是我们再Schema配置文件中声明的第一个分片dn1，以此类推，Rule配置文件中定义的分片id都是从0开始的。

我们的需求刚好就是0_500w和5001000w，并没有说1000-1500W的数据如何路由，并且我们也没有第三个分片节点，因此我们需要配置这个文件，将第三个分片删除，否则启动Mycat将会是啊比，我们也可以根据自己实际的情况来配置分片范围。

[root@mysql-1 conf]# vim autopartition-long.txt
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1

2.4.3.配置Server配置文件

[root@mysql-1 ~]# vim /data/mycat/conf/server.xml
    <user name="root" defaultAccount="true">
        <!--登录用户的密码-->
        <property name="password">123456</property>
        <!--该用户登录后可以显示那些Schema-->
        <property name="schemas">db_2</property>
    </user>

2.4.4.重启Mycat

[root@mysql-1 ~]# mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...

2.5.写入数据观察水平分表效果

1）写入0~500W的数据观察是否会落在分片1中

[root@mysql-1 ~]# mysql -uroot -p123456 -P8066 -h 192.168.20.11
mysql> use db_2;
mysql> insert into table1 (id,name) values (100,'abc');
mysql> insert into table1 (id,name) values (100000,'abc');

0~500W之间的数据成功被分到了分片1这个集群中，水平分表成功。

2）写入0~500W的数据观察是否会落在分片1中

[root@mysql-1 ~]# mysql -uroot -p123456 -P8066 -h 192.168.20.11
mysql> insert into table1 (id,name) values (7000000,'abc');
mysql> insert into table1 (id,name) values (9000078,'abc');