Mycat适用的场景很丰富,以下是几个典型的应用场景:
1.单纯的读写分离,此时配置最为简单,支持读写分离,主从切换
2.分表分库,对于超过1000万的表进行分片,最大支持1000亿的单表分片
3.多租户应用,每个应用一个库,但应用程序只连接mycat,从而不改造高程序本身,实现多租户化报表系统,借助于mycat的分表能力,处理大规模报表的统计。
4.替代hbash,分析大数据,作为海量数据实时查询的一种简单有效方案,比如100亿条频繁查询的记录需要在3秒内查询出来结果,除了基于主键的查询,还可能存在范围查询或其他属性查询,此时mycat可能是最简单有效的选择。
mycat长期路线图:
强化分布式数据库中间件的方面的功能,使之具备丰富的插件、强大的数据库只能优化功能、全面的系统监控能力、以及方便的数据运维工具,实现在线数据扩容、迁移等高级功能进一步挺进大数据计算领域,深度结合spark stream和storm等分布式实时流引擎,能够完成快速的巨表关联、排序、分组聚合等OLAP方向的能力,并集成一些热门常用的实时分析算法,让工程师以及DBA们更容易用mycat实现一些高级数据分析处理功能不断强化Mycat开源社区的技术水平,吸引更多的IT技术专家,使得Mycat社区成为中国的Apache,并将mycat推到Apache基金会,称为国内顶尖开源项目,最终能够让一部分志愿者成为专职的mycat开发者。
mycat可以简单概括为:
一个彻底开源的,面向企业应用开发的大数据集群。
支持事务、ACID、可以替代mysql的加强版数据库
一个可以视为mysql集群的企业级数据库,用来替代昂贵的oracle集群
一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品
mycat部署:
mycat安装目录结构说明:
bin:mycat命令,启动,重启,停止等运行目录
catlet:catlet为mycat的一个扩展功能
conf:mycat配置信息
lib:mycat引用的jar包,mycat是java开发的
logs:日志文件,包括mycat启动的日志和运行的日志
version.txt:mycat版本说明
mycat的常用配置文件:
mycat的配置文件都在conf目录里面,介绍以下几个常用的文件:
server.xml:mycat软件本身相关的配置文件,设置账号,参数等
schema.xml:mycat对应的物理数据库和数据库表的配置,读写分离,高可用,分布式策略定制,节点控制
rule.xml:mycat分片(分库分表)规则配置文件,记录分片规则列表,使用方法等
mycat日志:
mycat的日志文件都在logs目录里面*
wrapper.log:mycat启动日志
mycatl.log:mycat详细工作日志
mycat的读写分离实验
1. 环境准备及架构
mycat服务器上不能装mysql。客户端与mysql主从服务器安装mysql:
主机Node1作为客户端
主机Node2作为mycat服务器,不能装MySQL
主机Node3作为mysql主服务器
主机Node4作为mysql从服务器
客户端登录mycat访问的是mycat服务器,通过mycat服务器后台调取mysql服务器的数据。主记录写数据,从记录读数据。
架构如图:
2. 初始化环境
systemctl stop firewalld #防火墙
setenforce 0 #核心防护
3. 部署主从复制,客户端搭建mysql数据库
Node3主,Node4从。Node1客户端
数据库的安装参考我前面的博客,这里在数据库安装完成的前提下只做主从复制:数据库的安装(与主从复制原理与实现)
Node3开启二进制日志:
[root@Node3 ~]#:vim /etc/my.cnf
......
server-id=30
log-bin=/data/mysql/mysql-bin
#创建路径
[root@Node3 ~]#:mkdir /data/mysql -p
#修改权限
[root@Node3 ~]#:chown -R mysql.mysql /data
#重启
[root@Node3 ~]#:systemctl restart mysqld
[root@Node3 ~]#:systemctl status mysqld
● mysqld.service - MySQL Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
Active: active (running) since 三 2024-07-10 15:10:33 CST; 6s ago
Docs: man:mysqld(8)
......
Node4开启二进制日志:
同理,与Node3一样,只需要修改一个server-id
[root@Node4 ~]#:vim /etc/my.cnf
server-id=40
log-bin=/data/mysql/mysql-bin
#创建路径
[root@Node4 ~]#:mkdir /data/mysql -p
#修改权限
[root@Node4 ~]#:chown -R mysql.mysql /data
#重启,查看状态
[root@Node4 ~]#:systemctl restart mysqld
[root@Node4 ~]#:systemctl status mysqld
● mysqld.service - MySQL Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
Active: active (running) since 三 2024-07-10 15:14:02 CST; 11s ago
Docs: man:mysqld(8)
......
Node3操作:登录数据库,查看节点,添加一个用户test并授权:
[root@Node3 ~]#:mysql -uroot -pabc123 #用户名和密码(可以不遵守密码策略!但要现修改密码策略)
......
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 154 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
mysql> grant replication slave on *.* to test@'192.168.114.%' identified by 'Admin@123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
Node4操作:作为从,指定主服务器:
[root@Node4 ~]#:mysql -uroot -pabc123
mysql> CHANGE MASTER TO
-> MASTER_HOST='192.168.114.30',
-> MASTER_USER='test',
-> MASTER_PASSWORD='Admin@123',
-> MASTER_PORT=3306,
-> MASTER_LOG_FILE='mysql-bin.000001',
-> MASTER_LOG_POS=154;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
#启动
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
#查看状态,两个线程yes。
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.114.30
Master_User: test
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 449
Relay_Log_File: Node4-relay-bin.000002
Relay_Log_Pos: 615
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
......
测试主从:
把一个准备好的数据库文件导入到Node3主服务器中,看从服务器是否同步!
[root@Node3 ~]#:mysql -uroot -pabc123 -e "show databases"
mysql: [Warning] Using a password on the command line interface can be insecure.
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
[root@Node3 ~]#:mysql -uroot -pabc123 < hellodb_innodb.sql
mysql: [Warning] Using a password on the command line interface can be insecure.
[root@Node3 ~]#:mysql -uroot -pabc123 -e "show databases"
mysql: [Warning] Using a password on the command line interface can be insecure.
+--------------------+
| Database |
+--------------------+
| information_schema |
| hellodb |
| mysql |
| performance_schema |
| sys |
+--------------------+
主上有了hellodb数据库文件:
查看从是否同步:
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| hellodb |
| mysql |
| performance_schema |
| sys |
+--------------------+
5 rows in set (0.00 sec)
#查看一个数据表teachers
mysql> select * from hellodb.teachers;
+-----+---------------+-----+--------+
| TID | Name | Age | Gender |
+-----+---------------+-----+--------+
| 1 | Song Jiang | 45 | M |
| 2 | Zhang Sanfeng | 94 | M |
| 3 | Miejue Shitai | 77 | F |
| 4 | Lin Chaoying | 93 | F |
+-----+---------------+-----+--------+
#从上也同步了主上创建的test用户
mysql> select user,host from mysql.user;
+---------------+---------------+
| user | host |
+---------------+---------------+
| test | 192.168.114.% |
| mysql.session | localhost |
| mysql.sys | localhost |
| root | localhost |
+---------------+---------------+
4 rows in set (0.00 sec)
已同步!
4. 安装mycat
Node2
准备一个mycat安装包。在我的/data/下,这个是自己建的一个目录。
创建一个目录/apps/解压到该目录下:
[root@Node2 data]#:mkdir /apps
[root@Node2 data]#:tar xf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz -C /apps/
[root@Node2 data]#:cd /apps/
[root@Node2 apps]#:ls
mycat
#添加环境变量,也可以做软链接。目的是能够补全命令,而不必使用绝对路径
[root@Node2 apps]#:echo "PATH=/apps/mycat/bin:$PATH" > /etc/profile.d/mycat.sh
[root@Node2 apps]#:source /etc/profile.d/mycat.sh
启动mycat:
[root@Node2 apps]#:mycat
#只有以下参数
Usage: /apps/mycat/bin/mycat { console | start | stop | restart | status | dump }
[root@Node2 apps]#:mycat start
Starting Mycat-server...
#查看状态:
[root@Node2 apps]#:mycat status
Mycat-server is running (8372).
is running启动起来了
mycat安装成功!成功启动!
使用客户端Node1登录mycat测试:
-u用户名
-p密码,默认123456
-h主机,是Node2,我的ip为192.168.114.20
-P端口号,默认8066
[root@Node1 ~]#:mysql -uroot -p123456 -h192.168.114.20 -P8066
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.29-mycat-1.6.7.4-release-20200105164103 MyCat Server (OpenCloudDB)
Copyright (c) 2000, 2023, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB |
+----------+
1 row in set (0.00 sec)
mysql>
TESTDB虚表。客户端访问mycat是虚表。
5. 修改mycat配置文件使其与后端mysql主从服务器联系
进入/apps/mycat/conf/下。配置文件,修改server.xml文件,45行取消注释,修改一个端口号为3306,客户端不用指定8066端口号了,直接指定用户,密码,主机即可。
[root@Node2 apps]#:cd /apps/mycat/conf/
[root@Node2 conf]#:vim server.xml
......
<property name="serverPort">3306</property> <property name="managerPort">9066</property>
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
<property name="dataNodeIdleCheckPeriod">300000</property>
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property>
......
修改schema配置参数,文件清空,把下面配置复制进去,注意修改IP地址:
[root@Node2 conf]#:vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
<dataNode name="dn1" dataHost="localhost1" database="hellodb" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="host1" url="192.168.114.30:3306" user="root" password="Admin@123">
<readHost host="host2" url="192.168.114.40:3306" user="root" password="Admin@123"/>
</writeHost>
</dataHost>
</mycat:schema>
解释:
#dataNode:表存储到哪些节点,多个节点用逗号分隔。节点为下文dataNode设置的name
#dataNode标签: 定义mycat中的数据节点,也是通常说的数据分片,也就是分库相关配置
#database: 物理数据库中数据库名,该属性用于定义该分片属性哪个具体数据库实例上的具体库
#balance: 均衡负载的方式
#writeType: 写入方式
#host:用于标识不同实例,一般 writeHost 我们使用*M1,readHost 我们用*S1。
#url:后端实例连接地址。Native:地址:端口 JDBC:jdbc的url
#user:后端存储实例需要的用户名字
#password:后端存储实例需要的密码
重启并查看状态:会先开一下,如果有问题,还会再关闭,可以多看一下是否真正的起来
[root@Node2 conf]#:mycat restart
Stopping Mycat-server...
Stopped Mycat-server.
Starting Mycat-server...
[root@Node2 conf]#:mycat status
Mycat-server is running (8863).
[root@Node2 conf]#:mycat status
Mycat-server is running (8863).
[root@Node2 conf]#:mycat status
Mycat-server is running (8863).
6. 主从服务器创建一个root用户给mycat连接并授权
在主上创建好一个root用户后,从服务器也就同步了。
[root@Node3 ~]#:mysql -uroot -pabc123
......
mysql> GRANT ALL ON *.* TO 'root'@'192.168.114.%' IDENTIFIED BY 'Admin@123';
Query OK, 0 rows affected, 1 warning (0.01 sec)
在从上查看用户:同步过来了
[root@Node4 ~]#:mysql -uroot -pabc123
......
mysql> select user,host from mysql.user;
+---------------+---------------+
| user | host |
+---------------+---------------+
| root | 192.168.114.% |
| test | 192.168.114.% |
| mysql.session | localhost |
| mysql.sys | localhost |
| root | localhost |
+---------------+---------------+
5 rows in set (0.01 sec)
主从两台服务器开启通用日志:都需要开通:
mysql> set global general_log=1;
Query OK, 0 rows affected (0.00 sec)
7. 测试读写分离
两台服务器实时(tail -f 日志文件)检测日志文件,在/var/lib/mysql/下有一个与主机名同名的日志文件:
主:Node3.log
从:Node4.log
监控:主服务器监控写操作,从服务器监控读操作:在主从服务器上实时查看通用日志
使用Node1客户端访问mycat,插入一条数据到表teachers。再查看表数据。观察主从的日志变化,是否在主上能看得到写操作,在从上能看得到读的操作。进而实现读写分离试验。
客户端登录mycat服务器:不需要端口号了
[root@Node1 ~]#:mysql -uroot -p123456 -h192.168.114.20
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 73
Server version: 5.6.29-mycat-1.6.7.4-release-20200105164103 MyCat Server (OpenCloudDB)
Copyright (c) 2000, 2023, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
客户端登录mycat,进入数据库TESTDB:查看teachers表,查看表结构,插入数据,再查看数据
[root@Node1 ~]#:mysql -uroot -p123456 -h192.168.114.20
......
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB |
+----------+
1 row in set (0.00 sec)
#进入数据库
mysql> use TESTDB
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
#查看数据
mysql> select * from teachers;
+-----+---------------+-----+--------+
| TID | Name | Age | Gender |
+-----+---------------+-----+--------+
| 1 | Song Jiang | 45 | M |
| 2 | Zhang Sanfeng | 94 | M |
| 3 | Miejue Shitai | 77 | F |
| 4 | Lin Chaoying | 93 | F |
+-----+---------------+-----+--------+
4 rows in set (0.01 sec)
#查看结构
mysql> desc teachers;
+--------+----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------+----------------------+------+-----+---------+----------------+
| TID | smallint(5) unsigned | NO | PRI | NULL | auto_increment |
| Name | varchar(100) | NO | | NULL | |
| Age | tinyint(3) unsigned | NO | | NULL | |
| Gender | enum('F','M') | YES | | NULL | |
+--------+----------------------+------+-----+---------+----------------+
4 rows in set (0.00 sec)
#插入数据
mysql> insert into teachers values(5,'zs',18,'M');
Query OK, 1 row affected (0.03 sec)
mysql> select * from teachers;
+-----+---------------+-----+--------+
| TID | Name | Age | Gender |
+-----+---------------+-----+--------+
| 1 | Song Jiang | 45 | M |
| 2 | Zhang Sanfeng | 94 | M |
| 3 | Miejue Shitai | 77 | F |
| 4 | Lin Chaoying | 93 | F |
| 5 | zs | 18 | M |
+-----+---------------+-----+--------+
5 rows in set (0.00 sec)
查看主从日志:
主服务器日志:写入操作:
[root@Node3 ~]#:tail -f /var/lib/mysql/Node3.log
从服务器日志:读取操作:
[root@Node4 ~]#:tail -f /var/lib/mysql/Node4.log
实现了mycat读写分离!
---end---