MyCat主从数据库集群搭建

news2024/11/19 15:22:59

1 背景

      最近工作需要对比几种数据库技术方案，主从读写分离集群也是其中之一。接着上一篇文章《MySQL主从数据库搭建》基础上继续搭建MyCat主从集群。

2 MyCat

      什么是MyCat?MyCat是数据库中间件，就是介于数据库和应用之间，进行数据处理与交互的中间服务。可以对数据进行分片处理，从原有一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。
在这里插入图片描述
      如上图所示，数据被分到多个分片数据库后，应用如果需要读取数据，就需要处理多个数据源的数据。如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会花大量的工作来处理分片的问题，最重要的是每个应用 处理将是完全的重复造轮子。
      所以有了数据库中间件，应用只需要集中于业务处理，大量的通用的数据聚合，事务，数据源切换都有中间件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。
      MyCat可以做主从也可以做分库分表，本文主要记录主从集群搭建方式。

2.1 部署架构

      目前我的虚拟机环境已有docker环境，MySQL主从集群环境，已经制作了MyCat镜像，并且虚拟出来1个MyCat服务实例。
在这里插入图片描述

2.2 配置文件

      配置主从数据库集群最重要的就是修改schema.xml文件

2.3.1 schema.xml

      这是我这边的测试配置，可以根据具体情况适当修改。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1" dataNode="dn1">
            <table name="test_table_1" primaryKey="id" autoIncrement="false" dataNode="dn1" />
            <table name="test_table_2" primaryKey="id" autoIncrement="false" dataNode="dn1" />
            <table name="test_table_3" primaryKey="id" autoIncrement="false" dataNode="dn1" />
        </schema>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />

        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>

                <writeHost host="master1" url="jdbc:mysql://172.16.17.231:3306?characterEncoding=utf8" user="root" password="123456">
                    <readHost host="slave1" url="jdbc:mysql://172.16.17.232:3306?characterEncoding=utf8" user="root" password="123456" />
                </writeHost>
        </dataHost>
</mycat:schema>

      这里我解释一下上述配置文件中出现标签的含义。
1 schema 标签 schema标签用于定义MyCat实例中的逻辑库，MyCat可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用schema标签来划分这些逻辑库。如果不配置schema标签，所有的表配置，会属于同一个默认的逻辑库。

属性名值数量限制含义
dataNode任意String(0…1)用于绑定逻辑库到具体的database上
checkSQLschemaBoolean(1)用于移除SQL语句中表示schema的字符去掉
sqlMaxLimitInteger(1)用于限制SQL查询记录的条数

2 table标签 table标签定义了MyCat中的逻辑表，所有需要拆分的表都需要在这个标签中定义。

属性名值数量限制含义
nameString(1)用于定义逻辑表的表名
dataNodeString(1…*)用于定义这个逻辑表所属的dataNode，该属性的值需要和dataNode标签中name属性的值相互对应
ruleString(0…1)用于指定逻辑表需要使用的规则名字，规则名字在rule.xml中定义，必须与tableRule标签中name属性的属性值一一对应。
ruleRequiredboolean(0…1)该属性用于指定表是否绑定分片规则，如果配置为true，但没有配置具体rule的话，程序会报错。
primaryKeyString(1)用于逻辑表对应真实表的主键
typeString(0…1)该属性定义了逻辑表的类型，目前逻辑表只有“全局表”和“普通表”两种类型
autoIncrementboolean(0…1)用于指定这个表使用自增长主键，这样MyCat才会不抛出分片键找不到的异常
subTablesString(1)
needAddLimitboolean(0…1)指定表是否需要自动在每个语句后面加上limit限制

3 dataNode标签 dataNode标签定义了MyCat中的数据节点，也就是通常说的数据分片。

属性名值数量限制含义
nameString(1)用于定义数据节点的名字，这个名字需要是唯一的，用来建立表和分片的对应关系
dataHostString(1)用于定义该分片属于哪个数据库实例
databaseString(1)用于定义该分片属性哪个具体数据库实例上的具体库

4 dataHost标签 该标签在MyCat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

属性名值数量限制含义
nameString(1)唯一标识dataHost标签，供上层的标签使用
maxConInteger(1)指定每个读写实例连接池的最大连接
minConInteger(1)指定每个读写实例连接池的最小连接，初始化连接池的大小
balanceInteger(1)负载均衡类型，0：不开启读写分离机制，所有读操作都发送到当前可用的writeHost上；1：全部的readHost与stand by writeHost参与select语句负载均衡，简单的说，当双主双从模式（M1->S1,M2-S2，并且M1与M2互为主备），正常情况下，M2,S1,S2都参与select语句的负载均衡；2：所有读操作都随机的在writeHost、readHost上分发；3：所有读请求随机的分发到writeHost对应的readHost执行，writeHost不负担读压力，注意balance=3只在1.4及其以后版本有，1.3没有
writeTypeInteger(1)负载均衡类型，0：所有写操作发送到配置的第一个writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后为准，切换记录在配置文件中：dnindex.properties；1：所有写操作都随机的发送到配置的writeHost，1.5以后废弃不推荐
dbTypeString(1)指定后端连接的数据库类型，目前支持二进制的mysql协议，还有其他使用JDBC连接的数据库。例如：MongoDB、Oracle、Spark等
dbDriverString(1)指定连接后端数据库使用的Driver，目前可选的值有native和jdbc
switchTypeInteger(1)-1：表示不自动切换；1：默认值，自动切换；2：基于MySQL主从同步状态决定是否切换；基于MySQL galary cluster的切换机制（适合集群）（1.4.1）

2.3.2 server.xml

      server.xml中的标签本就不多，这里就不再一一列举了。

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
        - you may not use this file except in compliance with the License. - You 
        may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
        - - Unless required by applicable law or agreed to in writing, software - 
        distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
        WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
        License for the specific language governing permissions and - limitations 
        under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <system>
        <property name="charset">utf8mb4</property>
        <property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
        <property name="ignoreUnknownCommand">0</property><!-- 0遇上没有实现的报文(Unknown command:),就会报错、1为忽略该报文，返回ok报文。
        在某些mysql客户端存在客户端已经登录的时候还会继续发送登录报文,mycat会报错,该设置可以绕过这个错误-->
        <property name="useHandshakeV10">1</property>
    <property name="removeGraveAccent">1</property>
        <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->
        <property name="sqlExecuteTimeout">300</property>  <!-- SQL 执行超时 单位:秒-->
                <property name="sequenceHandlerType">1</property>
        <!--<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
        INSERT INTO `travelrecord` (`id`,user_id) VALUES ('next value for MYCATSEQ_GLOBAL',"xxx");
        -->
        <!--必须带有MYCATSEQ_或者 mycatseq_进入序列匹配流程 注意MYCATSEQ_有空格的情况-->
        <property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
        <property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false -->
        <property name="sequenceHanlderClass">io.mycat.route.sequence.handler.HttpIncrSequenceHandler</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
        <!-- <property name="processorBufferChunk">40960</property> -->
        <!-- 
        <property name="processors">1</property> 
        <property name="processorExecutor">32</property> 
         -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
                <property name="processorBufferPoolType">0</property>
                <!--默认是65535 64K 用于sql解析时最大文本长度 -->
                <!--<property name="maxStringLiteralLength">65535</property>-->
                <!--<property name="sequenceHandlerType">0</property>-->
                <!--<property name="backSocketNoDelay">1</property>-->
                <!--<property name="frontSocketNoDelay">1</property>-->
                <!--<property name="processorExecutor">16</property>-->
                <!--
                        <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
                        <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
                        <property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //连接空闲检查
                        <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
                <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
                <property name="handleDistributedTransactions">0</property>

                        <!--
                        off heap for merge/order/group/limit      1开启   0关闭
                -->
                <property name="useOffHeapForMerge">0</property>

                <!--
                        单位为m
                -->
        <property name="memoryPageSize">64k</property>

                <!--
                        单位为k
                -->
                <property name="spillsFileBufferSize">1k</property>

                <property name="useStreamOutput">0</property>

                <!--
                        单位为m
                -->
                <property name="systemReserveMemorySize">384m</property>


                <!--是否采用zookeeper协调切换  -->
                <property name="useZKSwitch">false</property>

                <!-- XA Recovery Log日志路径 -->
                <!--<property name="XARecoveryLogBaseDir">./</property>-->

                <!-- XA Recovery Log日志名称 -->
                <!--<property name="XARecoveryLogBaseName">tmlog</property>-->
                <!--如果为 true的话 严格遵守隔离级别,不会在仅仅只有select语句的时候在事务中切换连接-->
                <property name="strictTxIsolation">false</property>
                <!--如果为0的话,涉及多个DataNode的catlet任务不会跨线程执行-->
                <property name="parallExecute">0</property>
        </system>

        <!-- 全局SQL防火墙设置 -->
        <!--白名单可以使用通配符%或着*-->
        <!--例如<host host="127.0.0.*" user="root"/>-->
        <!--例如<host host="127.0.*" user="root"/>-->
        <!--例如<host host="127.*" user="root"/>-->
        <!--例如<host host="1*7.*" user="root"/>-->
        <!--这些配置情况下对于127.0.0.1都能以root账户登录-->
        <!--
        <firewall>
           <whitehost>
              <host host="1*7.0.0.*" user="root"/>
           </whitehost>
       <blacklist check="false">
       </blacklist>
        </firewall>
        -->

        <user name="root" defaultAccount="true">
                <property name="password">123456</property>
                <property name="schemas">TESTDB</property>
                <property name="defaultSchema">TESTDB</property>
                <!--No MyCAT Database selected 错误前会尝试使用该schema作为schema，不设置则为null,报错 -->

                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
                <property name="defaultSchema">TESTDB</property>
        </user>

</mycat:server>

3 测试

      完成上述配置，重启MyCat，通过应用程序或者数据库客户端来验证一下是否生效。

docker restart mycat

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1032104.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

易点易动库存管理系统：引领库存用量控制新时代，助力企业节约成本

易点易动库存管理系统：引领库存用量控制新时代，助力企业节约成本

在现代企业经营中&#xff0c;库存管理一直是一个关键的环节。过多的库存会造成资金占用和浪费&#xff0c;而过少的库存则容易导致生产中断和客户满意度下降。为了解决这一难题&#xff0c;易点易动库存管理系统应运而生。 一、全面的库存数据管理 易点易动库存管理系统通过与…
阅读更多...
AP5193 DC-DC恒流转换器 消防应急 灯汽车灯 应急日光灯太阳能灯驱动IC

AP5193 DC-DC恒流转换器 消防应急 灯汽车灯 应急日光灯太阳能灯驱动IC

AP5193是一款PWM工作模式,高效率、外围简单、 内置功率MOS管&#xff0c;适用于4.5-100V输入的高精度 降压LED恒流驱动芯片。电流2.5A。AP5193可实现线性调光和PWM调光&#xff0c;线性调光 脚有效电压范围0.55-2.6V. AP5193 工作频率可以通过RT 外部电阻编程来设定&#xff0c…
阅读更多...
融云观察：AI Agent 是不是游戏赛道的下一个「赛点」？

融云观察：AI Agent 是不是游戏赛道的下一个「赛点」？

本周四 融云直播间&#xff0c;点击报名~ ChatGPT 的出现&#xff0c;不仅让会话成为了未来商业的基本形态&#xff0c;也把大家谈论 AI 的语境从科技产业转向了 AI 与全产业的整合。 关注【融云全球互联网通信云】了解更多 而目前最热衷于拥抱生成式 AI 的行业中&#xff0c…
阅读更多...
Springboot整合之Shiro和JWT技术实现无感刷新

Springboot整合之Shiro和JWT技术实现无感刷新

一、Shiro简介 Shiro是Java领域非常知名的认证&#xff08; Authentication &#xff09;与授权 &#xff08; Authorization &#xff09;框架&#xff0c;用以替代JavaEE中的JAAS功能。相 较于其他认证与授权框架&#xff0c;Shiro设计的非常简单&#xff0c;所以广受好 评。…
阅读更多...
互联网架构演进方向

互联网架构演进方向

目录 1 业务架构1.1 单体模式1.2 中台战略1.2.1 概述1.2.2 背景1.2.3 案例 1.3 总结与思考 2 数据架构2.1 单数据库2.2 主从读写2.3 分库分表2.4 高速缓存2.5 数据多样化2.5.1 分布式文件2.5.2 nosql2.5.3 搜索引擎2.5.4 架构特点 3、应用架构3.1 单机调优3.2 动静分离3.3 分布…
阅读更多...
【李沐深度学习笔记】矩阵计算（2）

【李沐深度学习笔记】矩阵计算（2）

课程地址和说明 线性代数实现p4 本系列文章是我学习李沐老师深度学习系列课程的学习笔记&#xff0c;可能会对李沐老师上课没讲到的进行补充。 本节是第二篇 矩阵计算 矩阵的导数运算 此处参考了视频&#xff1a;矩阵的导数运算 为了方便看出区别&#xff0c;我将所有的向量…
阅读更多...
MQ - 21 可观测性_消息轨迹功能的设计

MQ - 21 可观测性_消息轨迹功能的设计

文章目录 导图概述丢消息是怎么回事？消息的唯一标识唯一 ID 的生成方式消息轨迹的设计应该注意什么？消息轨迹的实现方案设计客户端轨迹数据记录服务端轨迹数据记录本地文件内置 Topic （推荐）第三方服务单机维度的存储引擎结论持久存储引擎的选择RabbitMQ 消息轨迹方案设计实…
阅读更多...
基于时序分析及约束(1)-时序约束是什么？

基于时序分析及约束(1)-时序约束是什么？

首先回答标题的问题&#xff1a; 时序约束是什么&#xff1f; 简单来讲&#xff0c;时序约束就是你要告诉综合工具&#xff0c;你的标准是什么。 综合工具应该如何根据你的标准来布线&#xff0c;以满足所以寄存器的时序要求。 为什么要做时序约束&#xff1f; 这里引用特权同…
阅读更多...
Linux 入门：基本指令

Linux 入门：基本指令

本篇文章来介绍我们在初学Linux时可以会碰倒的一些基本指令&#xff0c;让我们对这些指令有一个基本的了解。 目录 01. ls 指令 02. pwd 命令 03. cd 指令 04. touch 指令 05. mkdir 指令&#xff08;重要&#xff09; 06. rmdir指令 && rm 指令&#xff08;重…
阅读更多...
基于Yolov8的工业小目标缺陷检测（4）：SPD-Conv，低分辨率图像和小物体涨点明显

基于Yolov8的工业小目标缺陷检测（4）：SPD-Conv，低分辨率图像和小物体涨点明显

💡💡💡本文改进：SPD-Conv，处理低分辨率图像和小物体等更困难的任务时效果明显。 SPD-Conv | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.775 收录专栏： 💡💡💡深度学习工业缺陷检测 ：http://t.csdn.cn/fVSgs ✨✨✨提供工业缺陷检测性能提升…
阅读更多...
uniapp 内容展开组件

uniapp 内容展开组件

uni-collapse折叠面板并不符合需求&#xff0c;需要自己写一个。 效果展示&#xff1a; 代码&#xff1a; &#xff08;vue3版本&#xff09; <template><view class"collapse-view"><view class"collapse-content"><swiper:autopl…
阅读更多...
海外代理IP是什么？如何使用？

海外代理IP是什么？如何使用？

一、海外代理IP是什么&#xff1f; 首先&#xff0c;代理服务器是在用户和互联网之间提供网关的系统或路由器。它是一个服务器&#xff0c;被称为“中介”&#xff0c;因为它位于最终用户和他们在线访问的网页之间。 海外IP代理是就是指从海外地区获取的IP地址&#xff0c;用…
阅读更多...
YashanDB荣获“鼎新杯”数字化转型应用奖项

YashanDB荣获“鼎新杯”数字化转型应用奖项

近日&#xff0c;深算院YashanDB 团队与深燃集团联合共建的深圳燃气集团数据库国产化建设项目&#xff0c;荣获第二届“鼎新杯”数字化转型应用大赛信息技术应用创新赛道二等奖&#xff01;此次获奖&#xff0c;彰显了崖山数据库系统YashanDB自主领先的国产数据库技术优势和优秀…
阅读更多...
ZABBIX 6.4安装部署

ZABBIX 6.4安装部署

ZABBIX 6.4安装部署 zabbix的主要组成&#xff1a; 1、Zabbix Server6.4&#xff1a;Zabbix 服务端&#xff0c;是 Zabbix 的核心组件。它负责接收监控数据并触发告警&#xff0c;还负责将监控数据持久化到数据库中。 2、Zabbix Agent&#xff1a;Zabbix 客户端&#xff0c;部…
阅读更多...
好用的一站式MES系统有哪些？全面管理生产流程,实现工厂数字化转型

好用的一站式MES系统有哪些？全面管理生产流程,实现工厂数字化转型

在现代制造业中&#xff0c;MES制造执行系统已经成为了不可或缺的信息化工具。它为企业建立了规范化、集成化的生产信息管理平台&#xff0c;通过集成管理思想&#xff0c;帮助企业优化流程管控、数字化生产车间&#xff0c;从而显著提升了生产效率。那么&#xff0c;MES系统到…
阅读更多...
SpringBoot+Vue项目中session改变的问题解决

SpringBoot+Vue项目中session改变的问题解决

一&#xff0c;发现问题 项目是SpringbootVue的前后端分离项目&#xff0c;没有什么特殊的配置。在登录之后&#xff0c;会以sessionId为key存在httpSession中&#xff0c;然后后续请求就会现在Filter中看是否在HttpSession中查询到数据&#xff0c;如果查到才继续&#xff0c…
阅读更多...
目前很火的养猫微信小程序源码带流量主+搭建教程

目前很火的养猫微信小程序源码带流量主+搭建教程

目前很火的养猫微信小程序源码带流量主搭建教程。 搭建教程 进入小程序我们下载开发者工具 开发者工具安装好了 我们就把前端源码导入进开发者工具中 这里的APPID我们填写自己的小程序APPID 修改siteinfo.js里的uniacid和acid 这两个ID在刚才后端添加的小程序那里看 在把…
阅读更多...
【linux】shell脚本调试

【linux】shell脚本调试

前几天的一篇linux定时删除服务器日志 &#xff0c;有人读了&#xff0c;私信问题。说我写了脚本了&#xff0c;怎么去调试一下&#xff0c;类似于代码的debug。 那我们今天来聊聊。 执行脚本命令是&#xff1a; sh 脚本名 sh dele_log2.sh 执行并输出。 Shell 脚本调试选…
阅读更多...
7.2、如何理解Flink中的水位线(Watermark)

7.2、如何理解Flink中的水位线(Watermark)

目录 0、版本说明 1、什么是水位线&#xff1f; 2、水位线使用场景&#xff1f; 3、设计水位线主要为了解决什么问题&#xff1f; 4、怎样在flink中生成水位线&#xff1f; 4.1、自定义标记 Watermark 生成器 4.2、自定义周期性 Watermark 生成器 4.3、内置Watermark生…
阅读更多...
【Java 基础篇】Java线程异常处理详解

【Java 基础篇】Java线程异常处理详解

在多线程编程中&#xff0c;异常处理是一个至关重要的方面&#xff0c;它决定了你的多线程应用程序的稳定性和可靠性。在本篇博客中&#xff0c;我们将深入探讨Java中的线程异常处理&#xff0c;包括线程抛出的异常类型、如何捕获和处理异常以及最佳实践。 异常类型 在多线程…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023