【mysql数据库】mycat中间件

news2024/11/20 9:46:00

MyCat

简介

Mycat 是数据库 中间件 。

1、 数据库中间件

中间件 是一类连接软件组件和应用的计算机软件， 以便于软件各部件之间的沟通 。
例子 Tomcat web 中间件 。
数据库 中间件 连接 java 应用程序和数据库

2、 为什么要用 Mycat

① Java 与数据库紧耦合 。
② 高访问量高并发对数据库的压力 。
③ 读 写请求数据不一致。

作用

1、读写分离

基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT 查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

在这里插入图片描述

2、数据分片

垂直拆分 （分库） 、 水平拆分 （分表） 、 垂直 水平拆分 （分库分表）
在这里插入图片描述

3、多数据源整合

当一个项目需要用到多种数据源如Oracle、MySQL、SQL Server、 PostgreSQL时，可以利用Mycat进行整合，只需访问Mycat 这一个 数据源就行。

在这里插入图片描述

4、数据库路由器

Mycat基于MySQL 实例的连接池复用机制，可以让每个应用最大程度地共享一个MySQL实例的所有连接池，让数据库的并发访问能力大大提升。

原理

​ Mycat的原理中最重要的一个动 词是“拦截”，它拦截 了用户发送过来的 SQL 语句，首先对 SQL
语句做了 一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库 并将返回的结果做适当的处理，最终再返回给用户 。

逻辑库schema

业务开发人员通常在实际应用中并不需要知道中间件的存在，只需 要关注数据库，所以数据库中间件可以被当作一个或多个数据库集 群构成的逻辑库。

  • name：对应Server.xml中配置的逻辑库名TESTDB

  • checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去
    除，false：不自动去除。当该值设置为true时，如果我们执行语句select * from TESTDB.travelrecord;则MyCat会把语句修改为select * from travelrecord;即把表示schema的字
    符去掉，避免发送到后端数据库执行时报（ERROR 1146 (42S02): Table ‘testdb.travelrecord’
    doesn’t exist）。

  • sqlMaxLimit：当该值设置为某个数值时。每条执行的SQL语句，如果没有加上limit语句，MyCat
    也会自动的加上所对应的值。例如设置值为100，执行select * from TESTDB.travelrecord;的效果
    为和执行select * from TESTDB.travelrecord limit 100;相同设置该值的话，MyCat默认会把查询
    到的信息全部都展示出来，造成过多的输出。所以，在正常使用中，还是建议加上一个值，用于减
    少过多的数据返回。当然SQL语句中也显式的指定limit的大小，不受该属性的约束。需要注意的
    是，如果运行的schema为非拆分库的，那么该属性不会生效。需要手动添加limit语句。

  • dataNode：同时存在，指定默认存储节点，比如建表默认会创建到该节点下,对应dataNode下的
    name属性

注意：

逻辑库，与MySQL中的Database（数据库）对应，⼀个逻辑库中定义了所包括的Table。

逻辑表table

既然有逻辑库，就会有逻辑表。在分布式数据库中，对于应用来说，读写数据的表就是逻辑表。逻辑表可以分布在一个或多个分片库中，也可以不分片。

节点主机DataNode

将数据切分后，每个分片节点不一定会独占一台机器，同一台机器上可以有多个分片数据库，这样一个或多个分片节点所在的机器就是节点主机。为了规避单节点主机并发数量的限制,尽量将读写压力高的分片节点均匀地放在不同的节点主机上。

  • name：节点名称，可随意填写
  • dataHost：对应dataHost标签中name属性值
  • database：真实Mysql服务中创建的数据库名称

数据库主机DataHost

数据切分后，每个分片节点(dataNode)不一定都会独占一台机器， 同一机器上面可以有多个分片数据库，这样一个或多个分片节点 (dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主 机并发数限制，尽量将读写压力高的分片节点(dataNode)均衡的放 在不同的节点主机(dataHost)。

1、mysql读写分离集群搭建，要求主从复制至少三台，mycat独立一台

MySQL主从复制：

架构规划

192.168.99.116 master 主节点

192.168.99.117 slave1 从节点 

192.168.99.118 slave2 从节点

mycat配置 192.168.99.119

server.xml
<user name="root">
		<property name="password">123456</property>
		<property name="schemas">XCZDB</property>

	</user>
schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="XCZDB" checkSQLschema="true" sqlMaxLimit="100" dataNode="testNode">
    </schema>
        <dataNode name="testNode" dataHost="dtHost" database="t4" />
        <dataHost name="dtHost" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
            <!-- 心跳检测，检测服务器是否宕机 -->
            <heartbeat>select user()</heartbeat>
            <!--写节点-->
            <writeHost host="hostM1" url="192.168.99.116:3306" user="namida" password="Namida@123">
                <!--从节点-->
                <readHost host="hostS1" url="192.168.99.117:3306" user="namida" password="Namida@123" />
                <readHost host="hostS2" url="192.168.99.118:3306" user="namida" password="Namida@123" />
            </writeHost>
        </dataHost>
</mycat:schema>

cd /usr/local/mycat/bin
mycat console
测试

mycat添加数据

在这里插入图片描述

master数据库（连接名sql）

在这里插入图片描述

slave1：

在这里插入图片描述

slave2

在这里插入图片描述

2、mycat分片规则实现，要求有两个主从集群，一台mycat

​ a、范围分片练习
​ b、取模分片练习
​ c、一致性hash分片练习

架构规划
192.168.99.116 master1 主节点
192.168.99.117 slave1 从节点 
192.168.99.118 master1 主节点
192.168.99.121 slave2 从节点

a、范围分片练习

规则配置

autopartition-long.txt

# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
#1000M-1500M=2
schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="XCZDB" checkSQLschema="true" sqlMaxLimit="100" >
      <table name="test4" dataNode="dn1,dn2" rule="auto-sharding-long" />
    </schema>
        <dataNode name="dn1" dataHost="dtHost1" database="t4" />
        <dataNode name="dn2" dataHost="dtHost2" database="t4" />
        <dataHost name="dtHost1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
            <!-- 心跳检测，检测服务器是否宕机 -->
            <heartbeat>select user()</heartbeat>
            <!--写节点-->
            <writeHost host="hostM1" url="192.168.99.116:3306" user="namida" password="Namida@123">
                <!--从节点-->
                <readHost host="hostS1" url="192.168.99.117:3306" user="namida" password="Namida@123" />
            </writeHost>
        </dataHost>
         <dataHost name="dtHost2" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
            <!-- 心跳检测，检测服务器是否宕机 -->
            <heartbeat>select user()</heartbeat>
            <!--写节点-->
            <writeHost host="hostM2" url="192.168.99.118:3306" user="namida" password="Namida@123">
                <!--从节点-->
                <readHost host="hostS2" url="192.168.99.121:3306" user="namida" password="Namida@123" />
            </writeHost>
        </dataHost>
</mycat:schema>
测试

mycat写入数据

(5000011,test5)
在这里插入图片描述

查看master2

在这里插入图片描述

b、取模分片练习

修改rule.xml

count 2 代表有2个datanode

<tableRule name="mod-long">
		<rule>
			<columns>id</columns>
			<algorithm>mod-long</algorithm>
		</rule>
	</tableRule>
……
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!-- how many data nodes -->
		<property name="count">2</property>
	</function>

修改配置 文件 schema.xml

 <schema name="XCZDB" checkSQLschema="true" sqlMaxLimit="100" >
      <table name="test4" dataNode="dn1,dn2" rule="mod-long" />
    </schema>

mycat添加数据

11,master1
12,master0

在这里插入图片描述

master1中出现12

在这里插入图片描述

master2中出现11

在这里插入图片描述

c、一致性hash分片练习

rule.xml

<tableRule name="sharding-by-murmur">
		<rule>
			<columns>id</columns>
			<algorithm>murmur</algorithm>
		</rule>
	</tableRule>
	……
<function name="murmur"
		class="io.mycat.route.function.PartitionByMurmurHash">
		<property name="seed">0</property><!-- 默认是0 -->
		<property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
		<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->
		<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 -->
		<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 
			用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 -->
	</function>

schema.xml

<schema name="XCZDB" checkSQLschema="true" sqlMaxLimit="100" >
      <table name="test4" dataNode="dn1,dn2" rule="sharding-by-murmur" />
    </schema>

启动

./mycat console

mycat表test4添加数据

20,test3
21,test33

master1

在这里插入图片描述

master2

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1720374.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

免费，C++蓝桥杯等级考试真题--第2级

免费，C++蓝桥杯等级考试真题--第2级

C蓝桥杯等级考试真题–第2级
阅读更多...
java向上转型

java向上转型

介绍 代码 父类 package b;public class father_ {//father classString name"动物";int age10;public void sleep() {System.out.println("睡");}public void run() {System.out.println("跑");}public void eat() {System.out.println("…
阅读更多...
FreeRtos进阶——中断的内部逻辑

FreeRtos进阶——中断的内部逻辑

中断与非中断API的区别 BaseType_t xQueueSendToBack(QueueHandle_t xQueue,const void *pvItemToQueue,TickType_t xTicksToWait); BaseType_t xQueueSendToBackFromISR(QueueHandle_t xQueue,const void *pvItemToQueue,BaseType_t *pxHigherPriorityTaskWok…
阅读更多...
Unity之XR Interaction Toolkit如何使用XRSocketInteractable组件

Unity之XR Interaction Toolkit如何使用XRSocketInteractable组件

前言 在虚拟现实（VR）和增强现实（AR）开发中，交互性是提升用户体验的关键。Unity作为一个领先的游戏开发引擎，提供了多种工具支持VR/AR开发。Unity的OpenXR插件扩展了这一功能，提供了更强大和灵活的交互系统。其中一个非常有用的组件是XRSocketInteractable。本文将详细介…
阅读更多...
Flutter基础 -- Dart 语言 -- 基础类型

Flutter基础 -- Dart 语言 -- 基础类型

目录 0. 配置 1. 变量 1.1 弱类型 var Object dynamic 1.2 强类型 1.3 使用场景 var 简化定义变量 查询参数定义 返回的实例对象 2. 常量 final 和 const 2.1 相同点 类型声明可以省略 初始后不能再赋值 不能和 var 同时使用 2.2 不同点 const 需要确定的值 …
阅读更多...
深入解析HTTP方法与路由响应

深入解析HTTP方法与路由响应

新书上架~&#x1f447;全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我&#x1f446;&#xff0c;收藏下次不迷路┗|&#xff40;O′|┛ 嗷~~ 目录 一、HTTP方法概述 1. GET方法 2. POST方法 二、路由与响应处理 1. 路由的默认响应 2. 处…
阅读更多...
若依分页问题排查

若依分页问题排查

无限分页数据返回 一、问题排查1.1 代码排查1.2 sql排查1.3 原因分析 二、问题修复 项目使用了 若依的框架&#xff0c;前端反馈了一个问题&#xff0c;总记录条数只有 48条的情况下&#xff0c;传入的 页数时从6~~无穷大&#xff0c;每页大小为10, 此时还能返回数据&#xff0…
阅读更多...
音视频直播（一）

音视频直播（一）

协议基础篇 直播协议基础推流与拉流推流拉流 直播传输协议RTMP传输协议 && HTTP-FLV协议为什么RTMP做推流&#xff0c;反而很少做拉流&#xff1f;HTTP-FLV协议 RTSP协议HLS协议SRT协议 WebRTC协议应用于直播 直播协议基础 从网络上搜寻到的有关推流与拉流的示意图 从…
阅读更多...
树莓派5烧系统和ssh远程实现

树莓派5烧系统和ssh远程实现

1、硬件说明 树莓派5 64G micro SD卡读卡器 2、烧录系统过程记录 之前写过一篇pi4B烧录Ubuntu22.04的博客&#xff0c;这篇就简单记录备份下 2.1 去ubuntu官网在树莓派上安装Ubuntu | Ubuntu下载Ubuntu 桌面 24.04 LTS 我之前已经下好了就有个(1) 2.2 用读卡器把SD卡插到…
阅读更多...
【C++ ——— 哈希】位图 | 布隆过滤器

【C++ ——— 哈希】位图 | 布隆过滤器

文章目录 1、位图1.1位图概念 2.位图实现位图的应用1.一百亿个整数&#xff0c;设计算法找到只出现一次的整数?2.给两个文件&#xff0c;分别有一百亿个整数&#xff0c;我们只有1G内存该如何找到两个文件的交集&#xff1f;3.位图应用变形&#xff1a;一个文件有100亿个int&a…
阅读更多...
Java八股文：程序员的“面试经”还是技术壁垒？

Java八股文：程序员的“面试经”还是技术壁垒？

Java八股文&#xff1a;程序员的“面试经”还是技术壁垒&#xff1f; “八股文”&#xff0c;在中国古代科举考试中&#xff0c;指的是一种程式化的文章写作格式&#xff0c;内容空洞&#xff0c;缺乏创新。而如今&#xff0c;这个词语被赋予了新的含义&#xff0c;用来形容技术…
阅读更多...
systemctl 添加自定义系统服务

systemctl 添加自定义系统服务

以 “启动、停止、重启” boa web server为例&#xff1a; 1. 编写系统服务脚本 编写一个符合系统服务规范的脚本。这个脚本通常描述了服务的启动、停止、重启等行为。你可以使用shell、C、C、Java等语言来编写这个脚本。 # boa_server_run.sh&#xff1a;#!/bin/bashset -e …
阅读更多...
软考随记（二）

软考随记（二）

I/O系统的5种不同的工作方式&#xff1a; 程序控制方式&#xff1a; 无条件查询&#xff1a;I/O端口总是准备好接受主机的输出数据&#xff0c;或是总是准备好向主机输入数据&#xff0c;而CPU在需要时随时直接利用I/O指令访问相应的I/O端口&#xff0c;实现与外设的数据交换 …
阅读更多...
解决uni-app progress控件不显示问题

解决uni-app progress控件不显示问题

官方代码&#xff1a; <view class"progress-box"><progress :percent"80" show-info activeColor"red" stroke-width"10" /> </view> 进度条并不在页面中显示&#xff0c;那么我们需要给进度条加上宽高style"…
阅读更多...
Appium安装及配置（Windows环境）

Appium安装及配置（Windows环境）

在做app相关自动化测试&#xff0c;需要使用appium来做中转操作&#xff0c;下面来介绍一下appium的环境安装配置 appium官方文档&#xff1a;欢迎 - Appium Documentation 一、下载appium 下载地址&#xff1a;https://github.com/appium/appium-desktop/releases?page3 通…
阅读更多...
对未知程序所创建的 PDF 文档的折叠书签层级全展开导致丢签的一种解决方法

对未知程序所创建的 PDF 文档的折叠书签层级全展开导致丢签的一种解决方法

对需要经常查阅、或连续长时间阅读的带有折叠书签的 PDF 文档展开书签层级&#xff0c;提高阅览导航快捷是非常有必要的。 下面是两种常用书签层级全展开的方法 1、 FreePic2Pdf 1 - 2 - 3 - 4 - 5 - 6&#xff0c;先提取后回挂 2、PdgCntEditor 载入后&#xff0c;直接保存…
阅读更多...
如何选择国产数据库?

如何选择国产数据库?

ORACLE的强大是全方位的,作为甲方DBA,喝喝咖啡,看看报纸,开开会,临听一下ORACLE ACE吹水! 作为国企的DBA, CTO.基本上国企都算是传统行业,都是跑ERP系统,进销存系统.客户关系系统.基本上都是B2B业务. 直接面对普通老百姓的互联网业务非常少. 核心业务都是使用ORACLE,少量互联网…
阅读更多...
官网：管它日薄西山or蒸蒸日上，气质这块，必须拿捏死死的。

官网：管它日薄西山or蒸蒸日上，气质这块，必须拿捏死死的。

在日薄西山的时候&#xff0c;网站建设面临着许多困难和挑战。市场竞争激烈&#xff0c;用户需求多样化&#xff0c;技术更新迅速&#xff0c;这些都要求我们在网站建设中拥有高尚的气质。 而在蒸蒸日上的时刻&#xff0c;网站建设同样需要我们拿捏好气质。只有坚持下去&#…
阅读更多...
VScode远程连接linux服务器开发，误删了文件怎么找回。

VScode远程连接linux服务器开发，误删了文件怎么找回。

VScode远程连接linux服务器开发&#xff0c;误删了代码文件 因为远程服务器大家都在用&#xff0c;没有足够权限去折腾。找遍了没找到方法&#xff0c;就告诉我远程的文件本地没有缓存啊&#xff01;我就差点开始重写代码了。 后来被我发现了TIMELINE功能&#xff0c;这个功能…
阅读更多...
瓦罗兰特国际服 马来西亚服低价区有哪些 瓦罗兰特低价区排行

瓦罗兰特国际服 马来西亚服低价区有哪些 瓦罗兰特低价区排行

瓦罗兰特国际服 马来西亚服低价区有哪些 瓦罗兰特低价区排行 瓦罗兰特作为当今游戏圈内热度最高的一款游戏&#xff0c;在全世界范围内都有着许多的游戏玩家。游戏基础玩法延续了FPS经典的5v5玩法&#xff0c;同时开发商在不同的游戏角色上添加了不同的技能&#xff0c;使得游…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023