ProxySQL + MySQL MGR 实现读写分离实战

news2024/10/7 20:31:41

文章目录

  • 前言
  • 1、ProxySQL 介绍
    • 1.1、ProxySQL 如何工作
    • 1.2、ProxySQL 工作原理
  • 2、ProxySQL 安装
  • 3、ProxySQL + MGR 读写分离
    • 3.1、读写分离配置
    • 3.2、读写分离测试
    • 3.3、SpringBoot 整合

前言

该文章实践之前,需要搭建MySQL MGR集群,关于 MySQL MGR 集群搭建,请参考该文章:
万字详解 MySQL MGR 高可用集群搭建

1、ProxySQL 介绍

1.1、ProxySQL 如何工作

ProxySQL 和 ShardingJDBC 类似竞品关系,国内使用 ShardingJDBC 更多,国外使用 ProxySQL 更多。
ProxySQL 主要能够提供:读写分离 + 故障转移
ShardingJDBC 主要能够提供:读写分离 + 分库分表
所以很多场景会考虑将 ProxySQL 和 ShardingJDBC + MySQL MGR 一起使用,通过 ProxySQL 提供读写分离 + 故障转移,通过 ShardingJDBC 提供分库分表(不需要再提供读写分离),非常优雅!

当我们搭建好了MGR集群,由于组复制的存在,保证每个节点的数据都是强一致的。不会出现主节点有数据,而从节点没有数据的情况。主节点可读可写,从节点只负责读操作,这是经典的MGR集群方案:
在这里插入图片描述
不过,试想这样一种情况,当主节点发生宕机,MGR集群虽然虽然可以自动进行故障转移,重新选举新的主节点,但是Java应用不能感知到数据库发生了宕机现象,依旧会把写操作发送给宕机的主节点,此时就会发生错误。
在这里插入图片描述
针对这种情况,ProxySQL就发挥出了作用,通过ProxySQL自动对MGR集群进行健康状态感知
在这里插入图片描述
使用ProxySQL时,如果主服务器发生了宕机,会将写入请求转移到故障转移到新晋升的主节点上,并且提供了读写分离功能。
在这里插入图片描述

1.2、ProxySQL 工作原理

ProxySQL对于MGR集群节点,都新增了一个数据库用户,例如:monitor。ProxySQL通过monitor用户定时发送select查询请求,判断当前数据库节点是否可以,如果出现3次不能执行select查询,就认为该节点产生故障,就需要从集群中移除。
在这里插入图片描述
不过此时有个问题,就是ProxySQL如何判断哪个节点是主,哪个节点是从呢?ProxySQL要求每个MGR集群中的节点都在各自服务器上创建视图,作用是收集当前节点运行状态,判断当前节点是主是从。
在这里插入图片描述
当ProxySQL知道了主从之后,此时Java应用进行SQL操作,就会被ProxySQL进行路由分发了!
在这里插入图片描述

2、ProxySQL 安装

我这里使用一台阿里云ECS(2核2G),开放22、6032、6033端口号。

首先,下载ProxySQL安装包,进行安装操作:

# 下载 ProxySQL 安装包
wget --no-check-certificate https://manongbiji.oss-cn-beijing.aliyuncs.com/ittailkshow/mgr/download/proxysql-2.2.0-1-centos7.x86_64.rpm

# 安装 ProxySQL
cd /home/
yum localinstall -y proxysql-2.2.0-1-centos7.x86_64.rpm

启动 ProxySQL 服务,可以发现启动完毕:

# 启动 ProxySQL
service proxysql start

在这里插入图片描述

安装MySQL YUM仓库源:

cd /home/
wget --no-check-certificate https://repo.mysql.com/mysql80-community-release-el7-5.noarch.rpm
yum localinstall -y mysql80-community-release-el7-5.noarch.rpm
sudo yum makecache fast

将 MySQL 8 下载地址调整为腾讯云镜像(否则下载速度KB维度):

# 修改配置
vim /etc/yum.repos.d/mysql-community.repo
# 将 mysql80-community 的 baseurl 内容替换如下
https://mirrors.cloud.tencent.com/mysql/yum/mysql-8.0-community-el7-x86_64/
# 将 mysql80-community 的 gpgcheck 内容替换为 0

在这里插入图片描述

配置好镜像后,安装好MySQL YUM源,就可以下载MySQL客户端了:

yum install -y mysql-community-client

3、ProxySQL + MGR 读写分离

3.1、读写分离配置

通过上述操作,前置准备已完成,此时链接上ProxySQL:

mysql -u admin -padmin -h 127.0.0.1 -P6032 --prompt='Admin> '

在这里插入图片描述

接着,将MGR集群节点配置到ProxySQL中,使用的是MGR节点的内网ip:

# 我的MGR集群的三个节点内网IP分别是:172.21.180.98 | 172.21.180.99 | 172.21.180.100
insert into mysql_servers(hostgroup_id,hostname,port) values (10,'172.21.180.98',3306);
insert into mysql_servers(hostgroup_id,hostname,port) values (10,'172.21.180.99',3306);
insert into mysql_servers(hostgroup_id,hostname,port) values (10,'172.21.180.100',3306);

# 启用上述配置 + 持久化保存
load mysql servers to runtime;
save mysql servers to disk;

在这里插入图片描述

接下来这步需要在MGR主节点上进行,配置会通过主节点同步到其他从属节点:

# 使用 sys 数据库
use sys;

# MySQL降低密码强度
set global validate_password.policy=0;
set global validate_password.length=4;

# 创建角色(monitor监听运行状态,proxysql是java应用连接账号)
CREATE USER 'monitor'@'%' IDENTIFIED BY "monitor@1025";
CREATE USER 'proxysql'@'%' IDENTIFIED BY "proxysql@1025";
GRANT ALL PRIVILEGES ON *.* TO 'monitor'@'%' ;
GRANT ALL PRIVILEGES ON *.* TO 'proxysql'@'%' ;
FLUSH PRIVILEGES;

从这里使用Navicat进入sys数据库,连接到MGR主节点上,创建视图(一段一段执行,用Navicat是因为避免控制台出现ERROR):
在这里插入图片描述

# 创建函数
CREATE FUNCTION my_id() RETURNS TEXT(36) DETERMINISTIC NO SQL RETURN (SELECT @@global.server_uuid as my_id);
# 函数:判断是否是主分区
CREATE FUNCTION gr_member_in_primary_partition()
	RETURNS VARCHAR(3)
	DETERMINISTIC
	BEGIN
	RETURN (SELECT IF( MEMBER_STATE='ONLINE' AND ((SELECT COUNT(*) FROM
	performance_schema.replication_group_members WHERE MEMBER_STATE NOT IN ('ONLINE', 'RECOVERING')) >=
	((SELECT COUNT(*) FROM performance_schema.replication_group_members)/2) = 0),
	'YES', 'NO' ) FROM performance_schema.replication_group_members JOIN
	performance_schema.replication_group_member_stats USING(member_id) where member_id=my_id());
END
# 创建视图
CREATE VIEW gr_member_routing_candidate_status AS SELECT
sys.gr_member_in_primary_partition() as viable_candidate,
IF( (SELECT (SELECT GROUP_CONCAT(variable_value) FROM
performance_schema.global_variables WHERE variable_name IN ('read_only',
'super_read_only')) != 'OFF,OFF'), 'YES', 'NO') as read_only,
Count_Transactions_Remote_In_Applier_Queue as transactions_behind, Count_Transactions_in_queue as 'transactions_to_cert'
from performance_schema.replication_group_member_stats where member_id=my_id();

此时,回到ProxySQL服务器控制台上,设置监控账号:

set mysql-monitor_username='monitor';
set mysql-monitor_password='monitor@1025';
insert into mysql_users(username,password,active,default_hostgroup,transaction_persistent) values('proxysql','proxysql@1025',1,10,1);

设置读写组:

# 主负责写、从负责读,当MGR主库切换后,代理自动识别主从。
# ProxySQL代理每一个后端MGR集群时,都必须为这个MGR定义写组10、备写组20、读组30、离线组40,
# 注意:max_transactions_behind 是设置延迟大小,可以给大点,建议自己去开个并行复制。
insert into mysql_group_replication_hostgroups (writer_hostgroup,backup_writer_hostgroup,reader_hostgroup,
offline_hostgroup,active,max_writers,writer_is_also_reader,max_transactions_behind) values (10,20,30,40,1,1,0,100);

启用规则:

load mysql servers to runtime;
save mysql servers to disk;
load mysql users to runtime;
save mysql users to disk;
load mysql variables to runtime;
save mysql variables to disk;

状态校验,编号为10是主节点,编号为30是从节点:

select hostgroup_id, hostname, port,status from runtime_mysql_servers;

在这里插入图片描述

进行读写分离配置:

# select for update走主节点,其他select走从节点
# 其他 insert update delete 走主节点
insert into mysql_query_rules(rule_id,active,match_digest,destination_hostgroup,apply)
VALUES (1,1,'^SELECT.*FOR UPDATE$',10,1),(2,1,'^SELECT',30,1);
# 配置加载 + 持久化
load mysql query rules to runtime;
save mysql query rules to disk;

3.2、读写分离测试

这里注意,进行读写分离实战测试时,要连接ProxySQL 6033端口,6032是Admin,6033才是客户端(Java程序也连6033!):

# 链接 ProxySQL 6033
mysql -uproxysql -pproxysql@1025 -h127.0.0.1 -P6033

# 创建一个test数据库,查询一条数据,写一条数据
use test;
select * from test;
insert into test values(20);
select * from test for update;

# 回到6032,查看路由日志
mysql -uadmin -padmin -h127.0.0.1 -P6032
select hostgroup,digest_text from stats_mysql_query_digest order by digest_text desc limit 10;

可以看到,读写分离成功!
在这里插入图片描述

3.3、SpringBoot 整合

到这里说一下大家可能关注的点,就是ProxySQL + MySQL MGR`整合完毕后,如何通过SpringBoot进行整合,其实很简单。

只需要将SpringBoot的yml配置文件中,连接到ProxySQL就可以了

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://123.56.41.203:6033/quick_chat?useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai&useSSL=false&rewriteBatchedStatements=true
    username: proxysql
    password: proxysql@1025

如果运行期间出现以下错误,要么mysql驱动版本号不对,要么就是ProxySQL需要调整了:

proxysql Caused by: java.sql.SQLException: Unknown system variable 'query_cache_size'

如果要调整ProxySQL,请执行如下命令,即可解决上述问题:

# 连接到Proxy 6032
mysql -uadmin -padmin -h127.0.0.1 -P6032

# 解决 Unknown system variable 'query_cache_size' 问题
update global_variables set variable_value='8.0.4 (ProxySQL)' where variable_name='mysql-server_version';
load mysql variables to run;save mysql variables to disk;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1797318.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java 18 新功能概述

Java 18 在 2022 年 3 月 22 日正式发布,Java 18 不是一个长期支持版本。 包含多项新特性和改进,如文件系统链接、文本块、表达式求值API、ForkJoinPool优化、Optional新方法等。 亮点还包括预览特性:Record Pattern Matching for Switch和增…

BIM分析简明教程

大多数建筑师和工程师都会遇到过建筑信息模型 (BIM) 的概念。 这是一种可以为你的公司带来巨大利益的方法。 建筑信息模型允许你集中项目的信息。 你可以将所有相关数据集中到一个数据库中,而不是处理大量文档。 这样做的好处是显而易见的。 随着你的项目变得越来越…

k8s:实现一个pod两个容器

# 制作两个容器的镜像 通过以下Dockerfile创建一个镜像 cd /chz/install/docker vim Dockerfile <<<< 内容如下&#xff1a; FROM centosRUN sed -i -e "s|mirrorlist|#mirrorlist|g" /etc/yum.repos.d/CentOS-* RUN sed -i -e "s|#baseurlhttp:/…

Typesense-开源的轻量级搜索引擎

Typesense-开源的轻量级搜索引擎 Typesense是一个快速、允许输入错误的搜索引擎&#xff0c;用于构建愉快的搜索体验。 开源的Algolia替代方案& 易于使用的弹性搜索替代方案 官网: https://typesense.org/ github: https://github.com/typesense/typesense 目前已有18.4k…

2024最值得入手的五款骨传导耳机推荐!走过路过不要错过!

耳机发展到现在已经经历了无数次的迭代更新。从有线耳机到如今的无线耳机以及骨传导耳机&#xff0c;功能也更加的全面&#xff0c;从当初的只是用来听音乐&#xff0c;到如今的追求音质、舒适、防水等功能&#xff0c;在无线耳机的市场中&#xff0c;骨传导耳机尤为受欢迎&…

如何提升推广链接辨识度与可信度?试试自定义链接后缀

各位大佬&#xff0c;咱今天来聊聊短信营销这个事儿。这可是好多企业都在用的营销手段啊&#xff0c;一条几分钱的短信&#xff0c;就能搭起用户和企业的桥梁&#xff0c;能增强粘性、促成交易或者推动复购&#xff0c;那真是高覆盖、低成本、高效率。 但现在问题来了&#xf…

短剧系统投流版开发,为运营公司投流业务赋能

短剧系统投流版开发是一项复杂的任务&#xff0c;旨在为运营公司的投流业务提供强大的技术支持和赋能。以下是一些关键步骤和考虑因素&#xff0c;以确保短剧系统投流版的成功开发&#xff1a; 一、明确业务需求与目标 首先&#xff0c;需要深入了解运营公司的业务需求、目标…

分享:618学习狂欢节活动来啦——大数据培训班

618狂欢学习节 限时优惠大放送 活动时间&#xff1a;6月1日—6月18日

opencv-python(一)

1. 图片加载与显示 import cv2 import numpy as npif __name__"__main__":rose cv2.imread(./rose.jpeg)print(rose.shape)print(type(rose))cv2.imshow(rose,rose) # 弹出窗口cv2.waitKey() # 等待键盘输入&#xff0c;任意输入&#xff0c;触发这行代码&#xff…

回溯--字母迷宫

1.题目描述 字母迷宫游戏初始界面记作 m x n 二维字符串数组 grid&#xff0c;请判断玩家是否能在 grid 中找到目标单词 target。 注意&#xff1a;寻找单词时 必须 按照字母顺序&#xff0c;通过水平或垂直方向相邻的单元格内的字母构成&#xff0c;同时&#xff0c;同一个单…

十、C语言:数据存储(大端小端存储,整型、浮点型存储)

一、大端存储与小端存储 大端字节序&#xff1a; 数据的低位字节序内容存放在高地址处&#xff0c;高位字节序内容存放在低地址处 小端字节序&#xff1a; 数据的低位字节序内容存放在低地址处&#xff0c;高位字节序内容存放在高地址处 //每个地址单元对应一个字节 二、 整型存…

通过一次下载任务抓包分析TCP/IP协议

TCP/IP协议分析 一、实验简介 本实验主要讲解TCP/IP协议的应用&#xff0c;通过一次下载任务&#xff0c;抓取TCP/IP数据报文&#xff0c;对TCP连接和断开的过程进行分析&#xff0c;查看TCP“三次握手”和“四次挥手”的数据报文&#xff0c;并对其进行简单的分析。 二、实…

告别冗长代码:Java Lambda 表达式如何简化你的编程

在现代软件开发中&#xff0c;高效和简洁的代码变得越来越重要。Java作为一门成熟而广泛使用的编程语言&#xff0c;一直在不断进化&#xff0c;以满足开发者的需求。Java 8的推出标志着一次重要的飞跃&#xff0c;其中最引人注目的特性之一便是Lambda表达式。 Lambda表达式为J…

网络协议三

数据中心 一、DNS 现在网站的数目非常多&#xff0c;常用的网站就有二三十个&#xff0c;如果全部用 IP 地址进行访问&#xff0c;恐怕很难记住 根 DNS 服务器 &#xff1a;返回顶级域 DNS 服务器的 IP 地址 顶级域 DNS 服务器&#xff1a;返回权威 DNS 服务器的 IP 地址 …

60V大功率半桥GaN半桥驱动器替代LMG1210

1. 产品特性&#xff08;替代LMG1210&#xff09; ➢ 工作频率高达 10MHz ➢ 20ns 典型传播延迟 ➢ 5ns 高侧/低侧匹配 ➢ 两种输入控制模式 ➢ 具有可调死区时间的单个 PWM 输入、 独立输入模式 ➢ 1.5A 峰值拉电流和 3A 峰值灌电流 ➢ 内置 5V LDO ➢ 欠压保护 ➢ 过…

前端怎么预览pdf

1.背景 后台返回了一个在线的pdf地址&#xff0c;需要我这边去做一个pdf的预览&#xff08;需求1&#xff09;&#xff0c;并且支持配置是否可以下载&#xff08;需求2&#xff09;&#xff0c;需要在当前页就能预览&#xff08;需求3&#xff09;。之前我写过一篇预览pdf的文…

人工智能智能体的五大能力等级:从工具到超人

在人工智能(AI)的世界中,智能体的性能和能力可以被划分为不同的等级。这些等级从简单的工具到超越人类能力的超人智能体。本文将探讨AI智能体的五个能力等级,以及每个等级的关键技术、性能、能力和使用场景。 等级 0:无AI的基础工具 在这个阶段,我们没有真正的AI,只有…

目标检测——铁轨表面裂纹数据集

引言 亲爱的读者们&#xff0c;您是否在寻找某个特定的数据集&#xff0c;用于研究或项目实践&#xff1f;欢迎您在评论区留言&#xff0c;或者通过公众号私信告诉我&#xff0c;您想要的数据集的类型主题。小编会竭尽全力为您寻找&#xff0c;并在找到后第一时间与您分享。 …

【数据结构】——线性表(顺序表)——内有代码详解

目录 一、引言 二、线性表 2.1 定义 2.2 特点 三、顺序表 3.1 顺序表的概念 3.2 顺序表的特点 3.3 顺序表的定义 3.3.1 静态定义 3.3.2 动态定义 3.4 顺序表的初始化 3.4.1 静态初始化 3.4.2 动态初始化 3.5 顺序表的销毁 3.6 顺序表元素的打印 3.7 顺序表的插入…

眼精星票据识别系统,助您快速识别票据

有没有遇到过这样的情况&#xff1a;手头一堆票据、证件和卡片&#xff0c;看着就头疼&#xff0c;更别提一一整理成数据了。说真的&#xff0c;这简直就是个无尽的噩梦&#xff01;好在&#xff0c;现在有了眼精星票证识别系统&#xff0c;一切都变得轻松起来。记得上次&#…