二、Mycat2 相关概念及读写分离

news2024/11/19 15:34:00

第三章 Mycat2 相关概念
3.1 概念描述
1、分库分表
按照一定规则把数据库中的表拆分为多个带有数据库实例,物理库,物理表访问路
径的分表。
解读：分库：一个电商项目，分为用户库、订单库等等。
分表：一张订单表数据数百万，达到 MySQL 单表瓶颈，分到多个数据库中
的多张表
2、逻辑库
数据库代理中的数据库,它可以包含多个逻辑表。
解读：Mycat 里定义的库，在逻辑上存在，物理上在 MySQL 里并不存在。有可能是
多个 MySQL 数据库共同组成一个逻辑库。类似多个小孩叠罗汉穿上外套，扮演一个大
人。
3、逻辑表
数据库代理中的表,它可以映射代理连接的数据库中的表(物理表)
解读：Mycat 里定义的表，在逻辑上存在，可以映射真实的 MySQL 数据库的表。可
以一对一，也可以一对多。
4、物理库
数据库代理连接的数据库中的库
解读：MySQL 真实的数据库。
5、物理表
数据库代理连接的数据库中的表
解读：MySQL 真实的数据库中的真实数据表。
6、拆分键
即分片键,描述拆分逻辑表的数据规则的字段
解读：比如订单表可以按照归属的用户 id 拆分，用户 id 就是拆分键
7、物理分表
指已经进行数据拆分的,在数据库上面的物理表,是分片表的一个分区
解读：多个物理分表里的数据汇总就是逻辑表的全部数据
8、物理分库
一般指包含多个物理分表的库
解读：参与数据分片的实际数据库
9、分库
一般指通过多个数据库拆分分片表,每个数据库一个物理分表,物理分库名字相同
解读：分库是个动作，需要多个数据库参与。就像多个数据库是多个盘子，分库就是
把一串数据葡萄，分到各个盘子里，而查询数据时，所有盘子的葡萄又通过 Mycat2 组
成了完整的一串葡萄。
10、分片表,水平分片表
按照一定规则把数据拆分成多个分区的表,在分库分表语境下,它属于逻辑表的一种
解读：安按照规则拆分数据，上个例子中的那串葡萄。
11、单表
没有分片,没有数据冗余的表,
解读：没有拆分数据，也没有复制数据到别的库的表。
12、全局表,广播表
每个数据库实例都冗余全量数据的逻辑表. 它通过表数据冗余,使分片表的分区与该表的数据在同一个数据库实例里,达到 join 运
算能够直接在该数据库实例里执行.它的数据一致一般是通过数据库代理分发 SQL 实现. 也有基于集群日志的实现
解读：例如系统中翻译字段的字典表，每个分片表都需要完整的字典数据翻译字段。
13、ER 表
狭义指父子表中的子表,它的分片键指向父表的分片键,而且两表的分片算法相同
广义指具有相同数据分布的一组表
解读：关联别的表的子表，例如：订单详情表就是订单表的 ER 表
14、集群
多个数据节点组成的逻辑节点.在 mycat2 里,它是把对多个数据源地址视为一个数据源
地址(名称),并提供自动故障恢复,转移,即实现高可用,负载均衡的组件。
解读：集群就是高可用、负载均衡的代名词
15、数据源
连接后端数据库的组件,它是数据库代理中连接后端数据库的客户端
解读：Mycat 通过数据源连接 MySQL 数据库
16、原型库(prototype)
原型库是 Mycat2 后面的数据库，比如 mysql 库
解读：原型库就是存储数据的真实数据库，配置数据源时必须指定原型库
3.2 配置文件
1、服务（server）
服务相关配置
（1） 所在目录
mycat/conf
在这里插入图片描述
默认配置即可
2、用户（user）
配置用户相关信息
（1） 所在目录
mycat/conf/users
（2） 命名方式
{用户名}.user.json
（3） 配置内容

vim mycat/conf/users/root.user.json
{
"ip":null,
"password":"123456",
"transactionType":"xa",
"username":"root",
"isolation":3
}
#字段含义
#ip：客户端访问ip，建议为空,填写后会对客户端的ip进行限制
# username：用户名
# password：密码
# isolation：设置初始化的事务隔离级别
READ_UNCOMMITTED:1
READ_COMMITTED:2
REPEATED_READ:3,默认
SERIALIZABLE:4
# transactionType：事务类型
可选值:
proxy 本地事务,在涉及大于 1 个数据库的事务,commit 阶段失败会导致不一致,但是兼容
性最好
xa 事务,需要确认存储节点集群类型是否支持 XA
可以通过语句实现切换
set transaction_policy = 'xa'
set transaction_policy = 'proxy' 可以通过语句查询
SELECT @@transaction_policy

、数据源（datasource）
配置Mycat连接的数据源信息
（1） 所在目录
mycat/conf/datasources
（2） 命名方式
{数据源名字}.datasource.json
（3） 配置内容

vim mycat/conf/datasources/ prototype. datasources.json
{
"dbType": "mysql",
"idleTimeout": 60000,
"initSqls": [],
"initSqlsGetConnection": true,
"instanceType": "READ_WRITE",
"maxCon": 1000,
"maxConnectTimeout": 3000,
"maxRetryCount": 5,
"minCon": 1,
"name": "prototype",
"password": "123456",
"type": "JDBC",
"url":
"jdbc:mysql://127.0.0.1:3306/mysql?useUnicode=true&serverTimezone=UTC",
"user": "root",
"weight": 0,
"queryTimeout":30,//mills
}
#字段含义
# dbType：数据库类型，mysql
# name：用户名
# password：密码
# type：数据源类型，默认 JDBC
# url：访问数据库地址
# idleTimeout：空闲连接超时时间
# initSqls：初始化sql
# initSqlsGetConnection：对于 jdbc 每次获取连接是否都执行 initSqls
# instanceType：配置实例只读还是读写
可选值:
READ_WRITE,READ,WRITE
#weight ：负载均衡权重
# 连接相关配置
"maxCon": 1000,
"maxConnectTimeout": 3000,
"maxRetryCount": 5,
"minCon": 1,

4、集群（cluster）
配置集群信息
（4） 所在目录
mycat/conf/clusters
（5） 命名方式
{集群名字}.cluster.json
（6） 配置内容

vim mycat/conf/clusters/prototype.cluster.json
{
"clusterType":"MASTER_SLAVE",
"heartbeat":{
"heartbeatTimeout":1000,
"maxRetryCount":3,//2021-6-4前是maxRetry，后更正为
maxRetryCount
"minSwitchTimeInterval":300,
"slaveThreshold":0
},
"masters":[ //配置多个主节点,在主挂的时候会选一个检测存活的数据源作
为主节点
"prototypeDs"
],
"replicas":[//配置多个从节点
"xxxx"
],
"maxCon":200,
"name":"prototype",
"readBalanceType":"BALANCE_ALL",
"switchType":"SWITCH"
可选
//
,
"timer":{ //MySQL集群心跳周期,配置则开启集群心跳,Mycat主动检测主从延迟以
及高可用主从切换
"initialDelay": 30,
"period":5,
"timeUnit":"SECONDS"
},
//readBalanceName:"BALANCE_ALL",
//writeBalanceName:"BALANCE_ALL",
}
#字段含义
# clusterType：集群类型
可选值:
SINGLE_NODE:单一节点
MASTER_SLAVE:普通主从
GARELA_CLUSTER:garela cluster/PXC 集群
MHA：MHA 集群
MGR：MGR 集群
# readBalanceType：查询负载均衡策略
可选值:
BALANCE_ALL(默认值)
获取集群中所有数据源
BALANCE_ALL_READ
获取集群中允许读的数据源
BALANCE_READ_WRITE
获取集群中允许读写的数据源,但允许读的数据源优先
BALANCE_NONE
获取集群中允许写数据源,即主节点中选择
# switchType：切换类型
可选值:
NOT_SWITCH:不进行主从切换
SWITCH:进行主从切换

4、逻辑库表（schema）
配置逻辑库表，实现分库分表
（7） 所在目录
mycat/conf/schemas
（8） 命名方式
{库名}.schema.json
（9） 配置内容

vim mycat/conf/schemas/mydb1.schema.json
#库配置
{
"schemaName": "mydb",
"targetName": "prototype"
}
# schemaName：逻辑库名
# targetName：目的数据源或集群
targetName自动从prototype目标加载test库下的物理表或者视图作为单表,prototype
必须是mysql服务器
#单表配置
{
"schemaName": "mysql-test",
"normalTables": {
"role_edges": {
"createTableSQL":null,//可选
"locality": {
"schemaName": "mysql",//物理库,可选
"tableName": "role_edges",//物理表,可选
"targetName": "prototype"//指向集群,或者数据源
}
}
......
#详细配置见分库分表

第四章 搭建读写分离
我们通过 Mycat 和 MySQL 的主从复制配合搭建数据库的读写分离，实现 MySQL 的
高可用性。我们将搭建：一主一从、双主双从两种读写分离模式。
4.1 搭建一主一从
一个主机用于处理所有写请求，一台从机负责所有读请求，架构图如下
在这里插入图片描述
1、搭建 MySQL 数据库主从复制
1 MySQL 主从复制原理
在这里插入图片描述
主机配置(atguigu01)

修改配置文件：vim /etc/my.cnf
#主服务器唯一ID
server-id=1
#启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
#设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
#设置logbin格式
binlog_format=STATEMENT

binlog 日志三种格式
在这里插入图片描述
从机配置(atguigu02)

修改配置文件：vim /etc/my.cnf
#从服务器唯一ID
server-id=2
#启用中继日志
relay-log=mysql-relay

4 主机、从机重启 MySQL 服务
5 主机从机都关闭防火墙
6 在主机上建立帐户并授权 slave

#在主机MySQL里执行授权命令
CREATE USER 'slave2'@'%' IDENTIFIED BY '123123';
GRANT REPLICATION SLAVE ON *.* TO 'slave2'@'%';
#此语句必须执行。否则见下面。
ALTER USER 'slave2'@'%' IDENTIFIED WITH mysql_native_password BY '123123';
flush privileges;
#查询master的状态
show master status;

在这里插入图片描述
#记录下File和Position的值
#执行完此步骤后不要再操作主服务器MySQL，防止主服务器状态值变化

7 在从机上配置需要复制的主机

#复制主机的命令
CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='123123',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

在这里插入图片描述
#启动从服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;
在这里插入图片描述

#下面两个参数都是Yes，则说明主从配置成功！
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes

8 主机新建库、新建表、insert 记录，从机复制

#建库语句
CREATE DATABASE mydb1;
#建表语句
CREATE TABLE mytbl(id INT,NAME VARCHAR(50));
#插入数据
INSERT INTO mytbl VALUES(1,"zhang3");

在这里插入图片描述
9 如何停止从服务复制功能

stop slave;

10 如何重新配置主从

stop slave;
reset master;

2、配置 Macat 读写分离
登录Mycat，创建逻辑库，配置数据源

#在Mycat里创建数据库mydb1
#创建db2逻辑库
create database mydb1;
#修改mydb1.schema.json 指定数据源 "targetName": "prototype"，配置主机数据源
vim /usr/local/mycat/conf/schemas/mydb1.schema.json

在这里插入图片描述
使用注解方式添加数据源

#登录Mycat，注解方式添加数据源，指向从机
/*+ mycat:createDataSource{ "name":"rwSepw",
"url":"jdbc:mysql://192.168.140.100:3306/mydb1?useSSL=false&characterEncodi
ng=UTF-8&useJDBCCompliantTimezoneShift=true", "user":"root",
"password":"123123" } */;
/*+ mycat:createDataSource{ "name":"rwSepr",
"url":"jdbc:mysql://192.168.140.99:3306/mydb1?useSSL=false&characterEncodin
g=UTF-8&useJDBCCompliantTimezoneShift=true", "user":"root",
"password":"123123" } */;
#查询配置数据源结果
/*+ mycat:showDataSources{} */;
更新集群信息,添加dr0从节点.实现读写分离
#更新集群信息,添加dr0从节点.
/*!
mycat:createCluster{"name":"prototype","masters":["rwSepw"],"replicas":["rw
Sepr"]} */;
#查看配置集群信息
/*+ mycat:showClusters{} */;
#查看集群配置文件
vim /usr/local/mycat/conf/clusters/prototype.cluster.json

在这里插入图片描述

readBalanceType
查询负载均衡策略
可选值:
BALANCE_ALL(默认值)
获取集群中所有数据源
BALANCE_ALL_READ
获取集群中允许读的数据源
BALANCE_READ_WRITE
获取集群中允许读写的数据源,但允许读的数据源优先
BALANCE_NONE
获取集群中允许写数据源,即主节点中选择
switchType
NOT_SWITCH:不进行主从切换
SWITCH:进行主从切换

3、重新启动 Mycat
4、验证读写分离
#（1）在写主机数据库表mytbl中插入带系统变量数据，造成主从数据不一致
INSERT INTO mytbl VALUES(2,@@hostname);
在这里插入图片描述
#（2）在Mycat里查询mytbl表,可以看到查询语句在主从两个主机间切换
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/955696.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

时序预测 | MATLAB实现基于QPSO-BiGRU、PSO-BiGRU、BiGRU时间序列预测

时序预测 | MATLAB实现基于QPSO-BiGRU、PSO-BiGRU、BiGRU时间序列预测

时序预测 | MATLAB实现基于QPSO-BiGRU、PSO-BiGRU、BiGRU时间序列预测 目录 时序预测 | MATLAB实现基于QPSO-BiGRU、PSO-BiGRU、BiGRU时间序列预测效果一览基本描述程序设计参考资料 效果一览 基本描述 1.时序预测 | MATLAB实现基于QPSO-BiGRU、PSO-BiGRU、BiGRU时间序列预测&a…
阅读更多...
LoRA大模型加速微调和训练算法解读

LoRA大模型加速微调和训练算法解读

理论 Lora( Low-Rank Adaotation)，低秩自适应模型微调的方法，它冻结预训练模型的权重，并将可训练的秩分解矩阵注入到transformer架构的每一层，从而大大减少下游任务的可训练参数的数量， 怎么微调下游任务:利用LoRA对…
阅读更多...
1.Python操作txt文本

1.Python操作txt文本

文章目录 1.Python读取一个txt文件的内容并将其写入到另一个txt文件2.Python读取一个未知编码的文件并将其设置为指定编码格式3.Python实现txt文件中字符串的替换 1.Python读取一个txt文件的内容并将其写入到另一个txt文件 # -*- encoding:gb2312 -*- import chardetdef read_…
阅读更多...
WebSocket 协议及其使用案例

WebSocket 协议及其使用案例

文章目录 前言一、初识 WebSocket 协议1.1 什么是 WebSocket 协议1.2 WebSocket 与 HTTP 的关系1.3 WebSocket 握手的过程1.4 WebSocket 解决了什么问题 二、WebSocket 数据帧格式2.1 WebSocket 数据帧格式图示2.2 各字段的详细说明 三、SpringBoot 项目中引入 WebSocket3.1 创…
阅读更多...
Meta语言模型LLaMA解读：模型的下载部署与运行代码

Meta语言模型LLaMA解读：模型的下载部署与运行代码

文章目录 llama2体验地址模型下载下载步骤准备工作什么是Git LFS下载huggingface模型 模型运行代码 llama2 Meta最新语言模型LLaMA解读，LLaMA是Facebook AI Research团队于2023年发布的一种语言模型，这是一个基础语言模型的集合。 体验地址 体验地址 …
阅读更多...
分布式锁实现一. 利用Mysql数据库update锁

分布式锁实现一. 利用Mysql数据库update锁

文章目录 分布式锁1、什么是分布式锁：2、分布式锁应该具备哪些条件： 基于数据库的分布式锁代码传送代码运行 分布式锁 1、什么是分布式锁： 分布式锁，即分布式系统中的锁。在单体应用中我们通过锁解决的是控制共享资源访问的问题…
阅读更多...
hp惠普光影精灵5笔记本HP Pavilion Gaming-15-dk0135tx原装出厂Win10系统

hp惠普光影精灵5笔记本HP Pavilion Gaming-15-dk0135tx原装出厂Win10系统

原厂系统自带所有驱动、出厂主题壁纸LOGO、Office办公软件、惠普电脑管家等预装程序 适用型号： 15-dk0011tx,15-dk0018tx,15-dk0019tx,15-dk0020tx,15-dk0021tx,15-dk0038tx 15-dk0039tx,15-dk0040tx,15-dk0041tx,15-dk0125tx,15-dk0126tx,15-dk0127tx 15-dk012…
阅读更多...
Python Opencv实践 - 霍夫线检测（Hough Lines）

Python Opencv实践 - 霍夫线检测（Hough Lines）

import cv2 as cv import numpy as np import matplotlib.pyplot as plt import randomimg cv.imread("../SampleImages/GreenBoard.jpg") print(img.shape) plt.imshow(img[:,:,::-1])#将图像转为二值图 gray cv.cvtColor(img, cv.COLOR_BGR2GRAY) plt.imshow(gra…
阅读更多...
【【萌新的STM32学习25--- USART寄存器的介绍】】

【【萌新的STM32学习25--- USART寄存器的介绍】】

萌新的STM32学习25- USART寄存器的介绍 STM32–USART寄存器介绍（F1） 控制寄存器1 （CR1） 位13： 使能USART UE 0： USART分频器和输出被禁止 1： USART模块使能 位12 ： 配置8个数据位…
阅读更多...
正中优配：股票xd什么意思

正中优配：股票xd什么意思

作为本钱市场中的重要一环，股票出资已经成为现代个人和组织出资的重要挑选之一。而在股票出资中，出资者常常会看到股票的价格上出现"xd"字样，这时候不少出资者就会疑问，这个"xd"到底是什么意思？对…
阅读更多...
Java“牵手”1688整店商品API接口数据，通过店铺ID获取整店商品详情数据，1688店铺所有商品API申请指南

Java“牵手”1688整店商品API接口数据，通过店铺ID获取整店商品详情数据，1688店铺所有商品API申请指南

1688平台店铺所有商品数据接口是开放平台提供的一种API接口，通过调用API接口，开发者可以获取1688整店的商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片、价格信息等详细信息 。 获取店铺所有商品接口API是一种用于获取电商平台上商品详…
阅读更多...
骨传导耳机音质怎么样、十大公认音质好的骨传导耳机推荐

骨传导耳机音质怎么样、十大公认音质好的骨传导耳机推荐

骨传导耳机的音质相比传统的耳塞式或耳罩式耳机会有所不同。下面是骨传导耳机音质和入耳式耳机音质的区别： 1、低频听感： 相对传统耳机而言，骨传导耳机的低频响应可能稍显不足。由于声音是通过振动传输到内耳，而不是通过直接振动…
阅读更多...
Python 实战之ChatGPT + Python 实现全自动数据处理/可视化详解

Python 实战之ChatGPT + Python 实现全自动数据处理/可视化详解

本文目录 一、引言 二、成果演示——口述式数据可视化 三、远原理述 四、实现过程 （一）环境配置 （二）申请OpenAI账号 （一）调用ChatGPT API （二）设计AI身份，全自动处理数据…
阅读更多...
基于食肉植物算法优化的BP神经网络（预测应用） - 附代码

基于食肉植物算法优化的BP神经网络（预测应用） - 附代码

基于食肉植物算法优化的BP神经网络（预测应用） - 附代码 文章目录 基于食肉植物算法优化的BP神经网络（预测应用） - 附代码1.数据介绍2.食肉植物优化BP神经网络2.1 BP神经网络参数设置2.2 食肉植物算法应用 4.测试结果：5…
阅读更多...
GPU编程（基于Python和CUDA）（二）——显示GPU信息

GPU编程（基于Python和CUDA）（二）——显示GPU信息

系列文章目录 GPU编程（基于Python和CUDA）（一）——零基础安装pycuda GPU编程（基于Python和CUDA）（二）——显示GPU信息 显示GPU信息 系列文章目录前言通过CUDA查看GPU信息使用pycuda查…
阅读更多...
使用openpyxl来创建一个月的日程表

使用openpyxl来创建一个月的日程表

首先你心里要有一张表的样子，openpyxl才能帮你创建出其余的29张。 import openpyxl from openpyxl.styles import Alignment, Font import calendar from datetime import datework_path rXX\YY\ZZ\日报-九月.xlsxtry:workbook openpyxl.load_workbook(work_path…
阅读更多...
The Annotated Transformer（Attention Is All You Need）

The Annotated Transformer（Attention Is All You Need）

"Attention is All You Need"[1] 一文中提出的Transformer网络结构最近引起了很多人的关注。Transformer不仅能够明显地提升翻译质量，还为许多NLP任务提供了新的结构。虽然原文写得很清楚，但实际上大家普遍反映很难正确地实现。 所以我们为此…
阅读更多...
不使用VH6501设备，通过VN1630等普通设备使用canConfigureBusOff函数进行busoff干扰测试

不使用VH6501设备，通过VN1630等普通设备使用canConfigureBusOff函数进行busoff干扰测试

** 特别注意一下，使用这个函数需要你的vector驱动在9.6以上以及支持 ISO CAN FD. ** 函数canConfigureBusOff 可以通过脚本的形式产生bus off，而VH6501可以通过干扰bit位来产生bus off(使用CANoe Demo - CANDisturbanceMain进行Bus Off测试)。 对于函数canConfigureBusOf…
阅读更多...
Cypress web自动化windows环境npm安装Cypress

Cypress web自动化windows环境npm安装Cypress

前言 web技术已经进化了，web的测试技术最终还是跟上了脚步，新一代的web自动化技术出现了？ Cypress可以对在浏览器中运行的任何东西进行快速、简单和可靠的测试。 官方地址https://www.cypress.io/,详细的文档介绍https://docs.cypress.io/g…
阅读更多...
openGauss学习笔记-56 openGauss 高级特性-DCF

openGauss学习笔记-56 openGauss 高级特性-DCF

文章目录 openGauss学习笔记-56 openGauss 高级特性-DCF56.1 架构介绍56.2 功能介绍56.3 使用示例 openGauss学习笔记-56 openGauss 高级特性-DCF DCF全称是Distributed Consensus Framework，即分布式一致性共识框架。DCF实现了Paxos、Raft等解决分布式一致性问题典…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023