文章目录
- 1.分库分表
- 2.mycat 入门
- 2.1 概述
- 2.2 案例：水平分表
- 1）准备工作
- 2）配置
- 3）启动并测试
- 3.mycat 配置详解
- 3.1 schema.xml
- 3.2 rule.xml
- 3.3 server.xml
- 4.mycat 分片：垂直拆分
- 1）准备工作
- 2）配置
- 3）启动并测试
- 4）全局表
- 5.mycat 分片：水平拆分
- 6.mycat 管理和监控
- 6.1 9066管理端口
- 6.2 mycat-web
- 7.mycat 读写分离
- 7.1 一主一从
- 7.2 双主双从
1.分库分表
分库分表带来的问题
2.mycat 入门
2.1 概述
官网：http://www.mycat.org.cn/
注：先安装JDK，再解压mycat即可
注：lib中有mysql的jar包，需要根据mysql的版本进行更换
注：mycat在逻辑上进行分片处理，并不储存真正的数据
2.2 案例：水平分表
1）准备工作
准备三台mysql服务器，并创建同名的数据库，只建库，不要建表
在其中一台服务器上安装mycat（也可以再准备一台虚拟机进行操作）
- 安装jdk
- 配置环境变量
- 解压mycat
2）配置
编辑以下两个配置文件
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">
<table name="student" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
</schema>
<dataNode name="dn1" dataHost="dataHost1" database="testdb" />
<dataNode name="dn2" dataHost="dataHost2" database="testdb" />
<dataNode name="dn3" dataHost="dataHost3" database="testdb" />
<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.9.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.9.8:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="dataHost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.9.9:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="123456">
</writeHost>
</dataHost>
</mycat:schema>
3）启动并测试
配置完毕，启动mycat。启动后，可查看日志
连接mycat与连接mysql基本一样
# 建表
create table STUDENT (
id bigint(20) not NULL ,
name varchar(50) not NULL,
sex char(1) not NULL,
primary key (id)
) engine=innodb default charset=utf8;
# 此时分别查看三个真实数据库，会发现已创建好了相同的表结构
插入数据测试
# 插入三条数据
insert into STUDENT (id,name,sex) values(1,'tom','M');
insert into STUDENT (id,name,sex) values(2,'marry','F');
insert into STUDENT (id,name,sex) values(3,'jack','M');
插入三条数据后分别查看三个真实数据库，发现可能只在其中一个库中插入了数据
这是由 schema.xml 中配置的 rule=“auto-sharding-long” 分片规则决定的
这个分片规则定义在 rule.xml 中，追踪到 autopartition-long.txt 文件
插入新数据id为 5000001，则会插入到对应的物理数据库中，如果超过1500M后，则会报异常
3.mycat 配置详解
3.1 schema.xml
3.2 rule.xml
3.3 server.xml
4.mycat 分片：垂直拆分
1）准备工作
在上例的基础上进行配置，在三台mysql服务器上创建同名的数据库 appdb，只建库，不要建表。
数据库表说明：
- ad_promotion：首页轮播图广告位
- app_info：app信息
- app_category：app类别
- app_version：app版本
- data_dictionary：数据字典
- backend_user：后台用户
- dev_user：开发者用户
2）配置
分片说明
- 数据节点1：
- app_info ：app信息
- app_category ：app类别
- app_version ：app版本
- data_dictionary ：数据字典
- 数据节点2：
- backend_user ：后台用户
- dev_user ：开发者用户
- 数据节点3：
- ad_promotion ：首页轮播图广告位
schema.xml
#APPDB表示库名
<schema name="APPDB" checkSQLschema="true" sqlMaxLimit="100">
<table name="app_info" dataNode="dn1" primaryKey='id'/>
<table name="app_category" dataNode="dn1" primaryKey='id'/>
<table name="app_version" dataNode="dn1" primaryKey='id'/>
<table name="data_dictionary" dataNode="dn1" primaryKey='id'/>
<table name="backend_user" dataNode="dn2" primaryKey='id'/>
<table name="dev_user" dataNode="dn2" primaryKey='id'/>
<table name="ad_promotion" dataNode="dn3" primaryKey='id'/>
</schema>
#appdb表示连接的数据库名
<dataNode name="dn1" dataHost="dataHost1" database="appdb" />
<dataNode name="dn2" dataHost="dataHost2" database="appdb" />
<dataNode name="dn3" dataHost="dataHost3" database="appdb" />
server.xml
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">APPDB</property>
<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">123456</property>
<property name="schemas">APPDB</property>
<property name="readOnly">true</property>
</user>
3）启动并测试
在mycat端，统一用脚本建表、导入数据
如果在虚拟机里执行app_table.sql需要把脚本上传到某个目录下
如:opt目录下
xxx表示脚本目录的地址 如:source /opt/app_table.sql
# 建表
mysql> source /xxx/app_table.sql
# 导入数据
mysql> source /xxx/app_data.sql
测试以下sql语句
# 查询数据字典表
SELECT * FROM DATA_DICTIONARY;
# 连接查询，查询app信息
SELECT a.id,softwareName,APKName,valueName
FROM APP_INFO a
INNER JOIN DATA_DICTIONARY d
ON a.status = d.valueId
WHERE d.typeCode= 'APP_STATUS';
# 连接查询，查询管理员信息，报错截图如下
SELECT u.id,userCode,u.creationDate,valueName
FROM BACKEND_USER u
INNER JOIN DATA_DICTIONARY d
ON u.userType = d.valueId
WHERE d.typeCode= 'USER_TYPE';
4）全局表
如果连接查询的表处于不同的分片，则会报错
比如数据字典表，其他表可能都会引用它，则应该把它设置为全局表，让它在每个分片上都存在
重新配置后，重启mycat，还需要把物理数据库中的表全部删除，重新执行建库脚本，再进行测试
编辑 schema.xml
<table name="data_dictionary" dataNode="dn1,dn2,dn3" primaryKey='id' type="global"/>
注意：
- 修改 schema.xml 后，重启mycat
- 删除每个分片上的数据表，重新执行建库脚本等
- 对全局表进行更新等操作后，其他分片上的全局表也会进行同步
5.mycat 分片：水平拆分
在上一个案例的基础上完成
schema.xml ，mod-long：通过对id取模运算把数据均匀的分散到分片上
server.xml ，让 root 也可以管理此逻辑库
重启mycat，测试略
6.mycat 管理和监控
6.1 9066管理端口
6.2 mycat-web
zookeeper
下载地址：https://archive.apache.org/dist/zookeeper/
安装步骤：
# 解压
tar -xf zookeeper-3.4.6.tar.gz -C /usr/local/
# 创建数据存放目录
mkdir /usr/local/zookeeper-3.4.6/data
# 配置文件
cp /usr/local/zookeeper-3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.6/conf/zoo.cfg
# 修改配置文件
vim /usr/local/zookeeper-3.4.6/conf/zoo.cfg
# 第12 行
dataDir=/usr/local/zookeeper-3.4.6/data
#启动
/usr/local/zookeeper-3.4.6/bin/zkServer.sh start
# 查看状态
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
安装 mycat-eye
# 解压
tar -xf Mycat-web.tar.gz -C /usr/local/
# 启动
cd /usr/local/mycat-web/
sh start.sh
# 网页访问
http://192.168.9.3:8082/mycat/
启动 zookeeper、mycat-eye，访问网页
7.mycat 读写分离
7.1 一主一从
两台虚拟机，先配置好一主一从，再配置 mycat
- 配置好一主一从后，在主库的DDL操作会同步到从库中
- 在主库测试建库、建表、插入数据
mycat 配置说明
- writeHost 节点、readHost 节点
- balance 属性（一般设置为1或3，在一主一从配置中1和3都一样）
- 读写分离的配置中不用配置逻辑表，默认会加载物理数据库中的所有表为逻辑表
配置 schema.xml
writeHost 和eadHost 节点中的 name 不要相同
server.xml
重启mycat，登录并测试
- 连接 mycat，测试新增，主库和从库中都会有新增的数据
- 用navicat在从库中修改一条数据，在mycat 中测试查询，以验证读写是否分离
- 如果 schema.xml 中的负载均衡策略为2，则会随机查询到两个节点的数据
- 如果主库宕机了，查询操作正常，新增、修改、删除都会失败（一主一从并没有高可用）
7.2 双主双从
介绍
准备和规划
主机master1
- server-id：唯一值
- binlog-do-db：指定一个需要同步的库做测试即可，如 db01
- log-slave-updates
vim /etc/my.cnf
server-id=1
log-bin=mysql-bin
#选择要同步的数据库名 只能在这个数据库进行同步
#不写就是全部数据库
binlog-do-db=mytest
log-slave-updates
#重启数据库
systemctl restart mysqld
主机master2
- 和 master1 对比，也就是 server-id 不同
vim /etc/my.cnf
server-id=3
log-bin=mysql-bin
#选择要同步的数据库名 只能在这个数据库进行同步
#不写就是全部数据库
binlog-do-db=mytest
log-slave-updates
#重启数据库
systemctl restart mysqld
分别在两台主库上都创建同名的用户，用于主从复制，查看主库状态（记录 binlog文件和位置）
#登录mysql
mysql -uroot -p
# 创建用户，并授予主从复制权限
mysql> create user 'my'@'%' identified with mysql_native_password by 'Bdqn_8888';
mysql> grant replication slave on *.* to 'my'@'%';
mysql> SHOW MASTER STATUS;
从机slave1
- 只需要配置 server-id
vim /etc/my.cnf
#从机id
server-id=2
#重启数据库
systemctl restart mysqld
从机slave2
- 和 slave1对比，也就是server-id不同
vim /etc/my.cnf
#从机id
server-id=4
#重启数据库
systemctl restart mysqld
分别在两台从库上设置其关联的主库
#登录从库mysql
mysql -uroot -p
#分别在两台从库上设置其关联的主库
mysql> CHANGE MASTER TO
master_host='192.168.9.6',
master_user='my',
master_password='Bdqn_8888',
master_port=3306,
master_log_file='mysql-bin.000001',
master_log_pos=591;
mysql> START SLAVE;
mysql> SHOW SLAVE STATUS\G;
分别在两台主库上配置互相复制
两台主机进行复制 1号机连接3号机 3号机连接1号机
mysql> CHANGE MASTER TO
master_host='192.168.9.4',
master_user='my',
master_password='Bdqn_8888',
master_port=3306,
master_log_file='mysql-bin.000001',
master_log_pos=591;
mysql> START SLAVE;
mysql> SHOW SLAVE STATUS\G;
测试（在navicat中测试即可）
-
在 master1 执行建库、建表语句，会自动同步到其他三台服务器
-
在 master2 执行新增语句，会自动同步到其他三台服务器
# 建库建表添加数据
mysql> create database mytest;
mysql> use mytest;
mysql> create table person(
id int(10) primary key not null auto_increment,
name varchar(50) not null,
gender char(1) not null
)engine=innodb default charset=utf8mb4;
mysql> insert into person values (null,'tom','m'),(null,'jack','m'),(null,'marry','f');
此时双主双从搭建完毕，下面在 mycat 进行读写分离的配置
#先安装JDK在解压mycat
tar -xf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz -C /usr/local
schema.xml
#schema.xml配置文件位置
cd /usr/local/mycat/conf
#备份
cp schema.xml schema.xml.bak
vim schema.xml
<!--mytest -->
<schema name="MYTEST" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1" >
</schema>
<dataNode name="dn1" dataHost="dataHost1" database="mytest" />
<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100" >
<heartbeat>select user()</heartbeat>
<writeHost host="master1" url="jdbc:mysql://192.168.9.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="Bdqn_8888">
<readHost host="slave1" url="jdbc:mysql://192.168.9.4:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="Bdqn_8888">
</readHost>
</writeHost>
<writeHost host="master2" url="jdbc:mysql://192.168.9.5:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="Bdqn_8888">
<readHost host="slave2" url="jdbc:mysql://192.168.9.7:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="Bdqn_8888">
</readHost>
</writeHost>
</dataHost>
server.xml
vim server.xml
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">MYTEST</property>
<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">123456</property>
<property name="schemas">MYTEST</property>
<property name="readOnly">true</property>
</user>
开启mycat
/usr/local/mycat/bin/mycat start
日记检测
tail -f /usr/local/mycat/logs/wrapper.log
重启mycat服务测试
测试1：
-
修改 slave1 的数据、修改 slave2 的数据，在 mycat 中 select 看看效果，会发现显示的数据来源于master2、slave1、slave2。
-
在 mycat 中 insert ，会发现都进行了数据同步。
测试2：
-
停止 master1 的 mysql 服务，在 mycat 中测试查询，会发现显示的数据来源于slave2。
-
在 mycat 中测试 insert，看能否执行写入，会发现数据写入了 master2、slave2。
