15天学习MySQL计划分库分表-监控-第十四天
1.介绍
1.问题分析
随着互联网及移动互联网的发展,应用系统的数据量也是成指数式增加,若采用但数据进行数据存储,存在以下性能瓶颈:
- IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络IO瓶颈。
- CPU瓶颈:排序,分组,连接查询,聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU出现瓶颈。
分库分表的中心思想都是将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。
2.拆分策略
1.垂直拆分
2.水平拆分
3.实现技术
- shardingJDBC:基于AOP原理,在应用程序中对本地执行的SQL进行拦截,解析,改写,路由处理。需要自行编码配置实现,只支持java语句,性能较高。
- MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及前者。
2.mycat概述
1.简介
MyCat是开源的,活跃的,基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat,对于开发老根本感觉不到mycat的存在。
优势:
- 性能可靠稳定
- 强大的技术团队
- 体系完善
- 社区活跃
2.安装
mycat是采用Java语言开发的开源数据库中间件,支持windows和Linux运行环境,下面介绍mycat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。
- MySQL
- JDL
- mycat
- 准备JDK二进制tar包
- 解压
- 设置环境变量
- java -version 测试
- 准备MyCat包
- 解压
- 将lib下的jar包进行替换与当前JDK相同的版本
3.mycat概念
3.mycat入门
由于tb_order表中的数据量很大,磁盘IO及容量都达到了瓶颈,现在需要对tb_order表进行数据分片,分为三个数据节点,每一个节点主机位于不同的服务器上,具体的结构,参考下图:
1.部署环境
2.配置过程
- 在三个数据库创建三个相同的库名
- 创建一个用户
- 修改scheam配置文件
- 修改server文件
- 启动mycat文件
- 连接mycat服务
- 测试分表
3.分片数据库配置(scheam.xml)
[root@localhost bin]# vi /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="DB01" checkSQLschema="true" sqlMaxLimit="100">
<table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
</schema>
<dataNode name="dn1" dataHost="dhost1" database="test" />
<dataNode name="dn2" dataHost="dhost2" database="test" />
<dataNode name="dn3" dataHost="dhost3" database="test" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
</mycat:schema>
4.分片用户配置(server.xml)
配置mycat的用户及用户的权限信息
[root@localhost bin]# vi /usr/local/mycat/conf/server.xml
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">DB01</property>
</user>
5.连接mycat测试
[root@localhost ~]# mysql -h192.168.2.1 -P8066 -uroot -p
mysql> use DB01;
mysql> CREATE TABLE TB_ORDER (
id BIGINT(20) NOT NULL,
title VARCHAR(100) NOT NULL ,
PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;
INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1');
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2');
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3');
INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001');
INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000');
INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');
4.mycat配置
1.schema.xml
schema.xml作为mycat中最重要的配置文件之一,涵盖了mycat的逻辑库,逻辑表,分片规则,分片某节点及数据源的配置。
主要包含以下三组标签
- schema标签
- datanode标签
- datahost标签
1.shcema标签
schema标签用于定义mycat实例中的逻辑库,一个mycat实例中,可以有多个逻辑库,可以通过scheam标签来进行划分。Mycat中的逻辑库的概念,等同于MySQL中的database概念,需要操作一个逻辑库下的表时,也需要切换逻辑库(use)
核心属性:
- name:指定自定义的逻辑库库名
- checkSQLschema:在SQL语句操作时指定了数据库名称,执行时是否自动去除;true:自动去除,false:不自动去除
- sqlMaxlimit:如果未指定limit进行查询,列表查询模式查询多少条记录
2.schema标签(table)
table标签定义了mycat中逻辑schema下的逻辑表,所有需要拆分的表都需要在table标签中定义。
核心属性:
- name:定义逻辑表表名,在该逻辑库下唯一
- dataNode:定义逻辑表所属的dataNode,该属性需要与dataNode标签中name对应;多个datanode逗号分割
- rule:分片规则的名字,分片规则名字是在rule.xml中定义的
- primaryKey:逻辑表对应真实表的主键
- type:逻辑表的类型,目前逻辑表只有全局表和普通表,如果未配置,就是普通表;全局表,配置为global
3.datanode标签
datanode标签中定义了mycat中的数据节点,也就是我们通常说的数据分片。一个datanode标签就是一个独立的数据分片。
核心属性:
- name:定义数据节点名称
- datahost:数据实例主机名称,引用自datahost标签中name属性
- database:定义分片所属数据库
4.datahost标签
该标签在mycat逻辑库中作为底层标签存在,直接定义了具体的数据库实例,读写分离,心跳语句。
核心属性:
- name:唯一标识,供上层标签使用
- maxCon/minCon:最大连接数/最小连接数
- balance:负载均衡策略,取值0,1,2,3
- writetype:写操作分发方式(0:写操作转发到第一个writehost,第一个挂了就切换到第二个;1:写操作随机分发到配置的writehost上)
- dbdriver:数据库驱动,支持native,jdbc
2.rule.xml
rule.xml中定义所有拆分表的规则,在使用过程中可以灵活的使用分片算法,或者对同一个分片算法使用不同的参数,它让分片过程可配置化。主要包含两类标签:tableTule,Function。
3.server.xml
server.xml配置文件包含了mycat的系统配置信息,主要有两个重要的标签:system,user、
1.system标签
对应的系统配置项及其含义,参考资料
2.user标签
priviege权限设置字段:
dml='0000'=增 改 查 删
0为关闭,1为开启
5.mycat分片
1.垂直分表
场景:
在业务系统中,涉及以下表结构,但是由于用户与订单每天都会产生大量的数据,单台服务器的数据存储及处理能力是有限的,可以对数据库进行拆分,原有的数据库表如下。
流程:
- 分别在三台MySQL中创建数据库(shopping)
- 修改schema.xml
- 修改server.xml
- 测试:创建表,插入数据
schema.xml内容:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb_goods_base" dataNode="dn1" primaryKey="id"/>
<table name="tb_goods_brand" dataNode="dn1" primaryKey="id"/>
<table name="tb_goods_cat" dataNode="dn1" primaryKey="id"/>
<table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id"/>
<table name="tb_goods_item" dataNode="dn1" primaryKey="id"/>
<table name="tb_order_item" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb_order_master" dataNode="dn1,dn2,dn3" primaryKey="order_id" type="global"/>
<table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no"/>
<table name="tb_user" dataNode="dn3" primaryKey="id"/>
<table name="tb_user_address" dataNode="dn3" primaryKey="id"/>
<table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/>
<table name="tb_areas_city" dataNode="dn3" primaryKey="id"/>
<table name="tb_areas_region" dataNode="dn3" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="dhost1" database="shopping" />
<dataNode name="dn2" dataHost="dhost2" database="shopping" />
<dataNode name="dn3" dataHost="dhost3" database="shopping" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
</mycat:schema>
server.xml内容
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">SHOPPING</property>
</user>
2.水平分表
在业务系统中,有一张(日志表),业务系统每天都会产生大量的日志数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表进行拆分。
对tb_log表进行拆分
1.schema.xml配置
<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long"/>
</schema>
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />
2.server.xml的配置
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">SHOPPING,ITCAST</property>
</user>
6.分片规则
1.范围分片
根据指定的字段及其配置的范围与数据节点的对应情况,来决定该数据属于哪一个分片
自定义分片范围
2.取模分片
根据指定的字段值与节点数量进行求模运算,根据运算结构,来决定该数据属于哪个分片。
取模分片配置
3.一致性hash
所谓一致性哈希,相同的哈希因子计算值总是被划分到相同的分区表中,不会因为分区节点的增加而改变原来的数据的分区位置。
一致性hash配置
通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,本规则适用于按照省份,性别,状态拆分数据等业务。
枚举分片配置
5.应用指定算法
运行阶段由应用自主决定路由到那个分片,直接根据字符字串(必须是数字)计算分片
应用指定算法配置
6.固定hash算法
该算法类似于十进制的求模运算,但是为二进制操作,例如,取id的二进制低10位与11111111111进行位&运算。
固定hash算法配置
7.字符串hash解析
截取字符串中的指定位置的子字符串,进行hash算法,算出存储分片位置。
8.按天分片
按天来进行分片
9.按自然月分片
使用场景为按照月份来分片,每个自然月为一个分片
7.mycat管理与监控
1.mycat原理
2.mycat管理
mycat默认开通2个端口,可以在server.xml中进行修改
- 8066数据访问端口,即进行DML和DDL操作
- 9066数据库管理端口,即mycat服务管理控制功能,用于管理mycat的整个集群状态
mysql -h 192.168.2.1 -P 9066 -uroot -p123455
常用命令:
命令 | 含义 |
---|---|
show @@help | 查看mycat管理工具帮助文档 |
show @@version | 查看mycat的版本 |
reload @@config | 重载加载mycat的配置文件 |
show @@datasource | 查看mycat的数据源信息 |
show @@datanode | 查看mycat现有的分片系节点信息 |
show @@threadpool | 查看mycat的线程池信息 |
show @@sql | 查看执行的SQL |
show @@sql.sum | 查看执行的SQL统计 |
8.mycat-eye
1.介绍
mycat-web(mycat-eye)是对mycat-server提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接mycat,mysql监控,监控远程服务器(目前仅限于Linux系统)的cpu,内存,网络,磁盘。
mycat-eye运行过程中需要zookeeper,因此需要先安装zookeeper。
- zookeeper安装
- mycat-web安装
- web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍
核心:将单台数据库服务器器的数据分散(垂直拆分,水平拆分)存储在多台数据库中
2.mycat概述
mycat是一个开源的分库分表的中间件
3.mycat入门
入门程序
4.mycat配置
schema.xml,rule.xml,server.xml
5.mycat分片
分片规则:范围,取模,枚举,一致性hash,固定分片hash算法,字符串hash解析算法,按天分片,按自然月分片
6.mycat管理及监控
提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接mycat,mysql监控,监控远程服务器(目前仅限于Linux系统)的cpu,内存,网络,磁盘。
mycat-eye运行过程中需要zookeeper,因此需要先安装zookeeper。
- zookeeper安装
- mycat-web安装
- web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍
核心:将单台数据库服务器器的数据分散(垂直拆分,水平拆分)存储在多台数据库中
2.mycat概述
mycat是一个开源的分库分表的中间件
3.mycat入门
入门程序
4.mycat配置
schema.xml,rule.xml,server.xml
5.mycat分片
分片规则:范围,取模,枚举,一致性hash,固定分片hash算法,字符串hash解析算法,按天分片,按自然月分片
6.mycat管理及监控
原理,管理,监控工具