『Mysql集群』Mysql高可用集群之读写分离(二)

news2024/10/20 19:22:14

前言

主从复制: 解决了Mysql的单点故障问题以及提高MySQL的整体服务性能.

读写分离: 解决的是数据库的读性能问题,分担主库的压力,提高系统的可用性和稳定性。

分库分表: 数据库分表可以解决单表海量数据的查询性能问题,分库可以解决单台数据库的并发访问压力问题。

主从复制在前篇文章中已经讲过,此篇主要讲解读写分离.

读写分离实现有哪几种方案?

  • Atlas  奇虎360的一个开源中间代理,是在mysql官方mysql-proxy 0.8.2的基础上进行了优化,增加一些新的功能特性。 项目地址: https://github.com/Qihoo360/Atlas ,该项目当前已经有4.4k的点赞量。
  • Cobar 阿里提供的一个中间件,已经停止更新。项目地址:https://github.com/alibaba/cobar 

  • Mycat 前身就是cobar,活跃度比较高,完全使用java语言开发。 项目地址:https://github.com/MyCATApache/Mycat-Server ,该项目当前已经有8.3k的点赞量,但现在发现Myscat的下载地址 http://dl.mycat.org.cn/2.0/ 已经访问不了,感觉应该是不维护了。
  • Mysql Proxy 一个轻量的中间代理,是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,依靠内部一个lua脚本实现读写语句的判断。项目地址: https://github.com/mysql/mysql-proxy ,该项目已经六七年没有维护了,官方也不建议应用于生成环境。
  • MySQL Router 是MySQL官方提供的一个轻量级中间件, 最早是作为 MySQL-Proxy的替代方案出现的,官方推荐使用MySQLRouter. 项目地址: https://github.com/mysql/mysql-router
  •  ......

案例:Atlas配置读写分离

介绍
Atlas 是由 Qihoo 360 公司 Web 平台部基础架构团队开发维护的一个基于 MySQL 协议的数据中间层项目。它在 MySQL 官方推出的 MySQL - Proxy 0.8.2 版本 的基础上,修改了大量 bug ,添加了很多功能特 性。该项目在 360 公司内部得到了广泛应用,很多 MySQL 业务已经接入了 Atlas 平台,每天承载的读写请 求数达几十亿条。同时,有超过 50 家公司在生产环境中部署了 Atlas
安装
# 下载rpm
wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm

# 卸载rpm包
rpm -e Atlas

# 安装rpm包
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm 
安装好了,它会默认在 /usr/local/mysql - proxy 下给你生成 4 个文件夹
[root@vm log]# cd /usr/local/mysql-proxy
[root@vm mysql-proxy]# ll
总用量 0
drwxr-xr-x 2 root root  75 10月 16 17:44 bin
drwxr-xr-x 2 root root  22 10月 16 18:10 conf
drwxr-xr-x 3 root root 331 10月 16 17:44 lib
drwxr-xr-x 2 root root  38 10月 16 18:17 log
  • bin 目录下放的都是可执行文件
    • encrypt是用来生成MySQL密码加密的,在配置的时候会用到

    • mysql-proxy MySQL 自己的读写分离代理
    • mysql-proxyd 360 弄出来的,后面有个 “d” ,服务的启动、重启、停止。都是用他来执行的
  • conf 目录下放的是配置文件
    • test.cnf 只有一个文件,用来配置代理的,可以使用vim来编辑
  • lib 目录下放的是一些包,以及Atlas的依赖
  • log 目录下放的是日志,如报错等错误信息的记录
配置

进入bin目录,使用encrypt来对数据库的密码进行加密,我的MySQL数据的用户名是root,密码是root,我需要对密码进行加密

[root@vm mysql-proxy]# /usr/local/mysql-proxy/bin/encrypt root
DAJnl8cVzy8=

配置Atlas,使用vim进行编辑

[root@vm mysql-proxy]# vim /usr/local/mysql-proxy/conf/test.cnf

进入后,可以在Atlas进行配置,360写的中文注释都很详细,根据注释来配置信息,其中比较重要,需要说明的配置如下:

这是用来登录到Atlas的管理员的账号与密码,与之对应的是“#Atlas监听的管理接口IP和端口”,也就是说需要设置管理员登录的端口,才能进入管理员界面,默认端口是2345,也可以指定IP登录,指定IP后,其他的IP无法访问管理员的命令界面。方便测试,我这里没有指定IP和端口登录。
# 管理接口的用户名
admin-username = hero
# 管理接口的密码
admin-password = hero

这是用来配置主数据的地址与从数据库的地址,这里配置的主数据库是130,从数据库是131

#Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
proxy-backend-addresses = 192.168.68.132:3306

#Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
proxy-read-only-backend-addresses = 192.168.68.133:3306@1

这个是用来配置MySQL的账户与密码的,我的MySQL的用户是root,密码是root,刚刚使用Atlas提供的工具生成了对应的加密密码

#用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码! 
pwds = root:DAJnl8cVzy8=

这是设置工作接口与管理接口的,如果ip设置的”0.0.0.0”就是说任意IP都可以访问这个接口,当然也可以指定IP和端口,方便测试我这边没有指定,工作接口的用户名密码与MySQL的账户对应的,管理员的用户密码与上面配置的管理员的用户密码对应

#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345
启动
[root@vm mysql-proxy]# /usr/local/mysql-proxy/bin/mysql-proxyd test start

使用如下命令,进入Atlas的管理模式 mysql -h127.0.0.1 -P2345 -uhero -phero,能进去说明Atlas正常运行,因为它会把自己当成一个MySQL数据库,所以在不需要数据库环境的情况下,也可以进入到MySQL数据库模式。

[root@vm gorgor]# mysql -h127.0.0.1 -P2345 -uhero -phero
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.99-agent-admin

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

 可以访问“help”表,来看MySQL管理员模式都能做些什么。可以使用SQL语句来访问

mysql> select * from help;
+----------------------------+---------------------------------------------------------+
| command                    | description                                             |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help         | shows this help                                         |
| SELECT * FROM backends     | lists the backends and their state                      |
| SET OFFLINE $backend_id    | offline backend server, $backend_id is backend_ndx's id |
| SET ONLINE $backend_id     | online backend server, ...                              |
| ADD MASTER $backend        | example: "add master 127.0.0.1:3306", ...               |
| ADD SLAVE $backend         | example: "add slave 127.0.0.1:3306", ...                |
| REMOVE BACKEND $backend_id | example: "remove backend 1", ...                        |
| SELECT * FROM clients      | lists the clients                                       |
| ADD CLIENT $client         | example: "add client 192.168.1.2", ...                  |
| REMOVE CLIENT $client      | example: "remove client 192.168.1.2", ...               |
| SELECT * FROM pwds         | lists the pwds                                          |
| ADD PWD $pwd               | example: "add pwd user:raw_password", ...               |
| ADD ENPWD $pwd             | example: "add enpwd user:encrypted_password", ...       |
| REMOVE PWD $pwd            | example: "remove pwd user", ...                         |
| SAVE CONFIG                | save the backends to config file                        |
| SELECT VERSION             | display the version of Atlas                            |
+----------------------------+---------------------------------------------------------+
16 rows in set (0.00 sec)

mysql>
测试

主库user表数据

从库user表数据

在Atlas 执行查询user的数据发现,只能查出从库的数据,测试成功。

root@vm gorgor]# mysql -uroot -proot -P1234 --protocol=tcp -e"use gorgor; select * from user;"
mysql: [Warning] Using a password on the command line interface can be insecure.
+----+--------+-----+---------------------+-------------+
| id | name   | age | create_time         | update_time |
+----+--------+-----+---------------------+-------------+
|  1 | gorgor |  30 | 2024-10-15 15:56:25 | NULL        |
|  2 | fairy  |  28 | 2024-10-15 17:47:56 | NULL        |
+----+--------+-----+---------------------+-------------+

案例:MySQL Router配置读写分离【要求】

介绍
MySQL Router 最早是作为 MySQL-Proxy 的替代方案出现的。作为一个轻量级中间件, MySQL Router 可在应用程序和后端 MySQL 服务器之间提供透明路由和负载均衡,从而有效提高 MySQL 数据库服务的高可 用性与可伸缩行。
MySQL Router 2.0 是其初始版本,适用于 MySQL Fabric 用户,但已被弃用,不再支持。
MySQL Router 2.1 为支持 MySQL InnoDB Cluster 而引入, MySQL Router 8.0 则是 MySQL Router 2.1上的扩展 ,版本号与 MySQL 服务器版本号保持一致。即 Router 2.1.5 作为 Router 8.0.3 (以及 MySQL Server 8.0.3 )发布, 2.1.x 分支被 8.0.x 取代。这两个分支完全兼容。当前最新版本为 8.0.17 MySQL 烈建议使用 Router 8 MySQL Server 8 5.7 一起使用。

一个简单的MySQL Router部署图如下。

安装 
wget http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-Router/mysql-router-8.0.20-el7-x86_64.tar.gz
MySQL Router 的安装过程依赖于所使用的操作系统和安装介质,二进制包的安装通常非常简单,而源码包则需要先编译再安装。例如在 Linux 上的安装最新的 MySQL Router 二进制包,只需要用 mysql 用户 执行一条解压命令就完成了:
tar zxf mysql-router-8.0.20-el7-x86_64.tar.gz
配置

在mysql-router-8.0.20-el7-x86_64的conf文件下,创建mysqlrouter.conf并写入如下内容:

[logger]
level = INFO
 
[routing:secondary]
bind_address = localhost
bind_port = 7001
destinations = 192.168.68.133:3306,192.168.68.134:3306
routing_strategy = round-robin
 
[routing:primary]
bind_address = localhost
bind_port = 7002
destinations = 192.168.68.132:3306
routing_strategy = first-available
  1. 这里设置了两个路由策略:

    • 通过本地7001端口,配置读取服务,循环连接到192.168.68.133:3306、192.168.68.134:3306三个实例,由round-robin路由策略所定义;

    • 通过本地7002端口,配置写入服务,并设置首个可用策略。

      • 首个可用策略:使用目标列表中的第一个可用服务器,即当192.168.68.132:3306可用时,所有7002端口的连接都转发到它,否则转发到后面的服务器,以此类推。Router不会检查数据包,也不会根据分配的策略或模式限制连接

  2. 因此应用程序可以据此确定将读写请求发送到不同的服务器。

  3. 本例中可将读请求发送到本地7001端口,将读负载均衡到两台服务器。同时将写请求发送到7002,这样只写一个服务器,从而实现的读写分离

启动
./mysqlrouter -c mysqlrouter.conf &
测试
mysql -uroot -proot -P7001 --protocol=tcp -e"select @@hostname"

由上可见,发送到本地7001端口的请求,被循环转发到两个服务器,而发送到本地7002端口的请求,全部被转发到192.168.68.132:3306。

routing_strategy是MySQL Router的核心选项,从8.0.4版本开始引入,当前有效值为first-available、next-available、round-robin、round-robin-with-fallback。

顾名思义,该选项实际控制路由策略,即客户端请求最终连接到哪个MySQL服务器实例。相对于以前版本mode的选项,routing_strategy选项更为灵活,并且不能同时设置routing_strategy和mode,静态路由的设置只能选择其中之一。对于InnoDB Cluster而言,该设置时可选的,缺省使用round-robin策略。

  • round-robin:每个新连接都以循环方式连接到下一个可用的服务器,以实现负载平衡。

  • round-robin-with-fallback:用于InnoDB Cluster。每个新的连接都以循环方式连接到下一个可用的secondary服务器。如果secondary服务器不可用,则以循环方式使用primary服务器。

  • first-available:新连接从目标列表路由到第一个可用服务器。如果失败,则使用下一个可用的服务器,如此循环,直到所有服务器都不可用为止。

  • next-available:与first-available类似,新连接从目标列表路由到第一个可用服务器。与first-available不同的是,如果一个服务器被标记为不可访问,那么它将被丢弃,并且永远不会再次用作目标。重启Router后,所有被丢弃服务器将再次可选。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2219509.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity Apple Vision Pro 保姆级开发教程-准备阶段

视频教程: Unity PolySpatial 开发Apple Vision Pro教程, 三十分钟快速了解 Unity Vision Pro 中文课堂教程地址: Unity3D Vision Pro 开发教程【保姆级】 | Unity 中文课堂 开发Apple Vision Pro 使用原生开发和unity 开发有什么区别 如果你的项目需要…

IT监控平台可视化:3D机房与设备监控的革新实践

在信息化高速发展的今天,IT运维行业面临着前所未有的挑战。随着数据中心规模的不断扩大和设备复杂度的日益提升,如何高效、准确地监控和管理这些设备,成为了运维团队亟待解决的问题。IT监控平台的可视化功能,尤其是3D机房与设备监…

客户案例 | Ansys与台积电和微软合作加速光子仿真

Ansys与台积电和微软展开合作,将硅光子器件的仿真和分析速度提高10倍以上 主要亮点 借助使用NVIDIA图形处理单元(GPU)的Microsoft Azure虚拟机,Ansys Lumerical™ FDTD 3D电磁仿真的光子器件仿真速度实现了10倍提升 凭借Azure云…

零基础Java第八期:一维数组(1)

目录 一、 一维数组的基本概念 1.1. 什么是数组 1.2. 数组的创建及初始化 1.3. 数组的使用 二、数组是引用类型 2.1. 初始JVM的内存分布 2.2. 基本类型变量与引用类型变量 2.3. 引用变量的理解 2.4. null 三、数组的应用场景 3.1. 作为函数的参数 3.2. 作为函数的返…

【数据结构】顺序表与链表的区别和各自特点

顺序表与链表的区别 一、结构上二、使用上随机访问在随机位置插入删除空间利用率缓存利用率 应用场景 一、结构上 顺序表: 顺序表的内核是一个数组,所以顺序表在逻辑上,和在物理上都是线性的。 链表: 链表是通过一个个独立的空间…

Linux性能调优之使用BPF工具观测CPU性能指标

写在前面 博文内容涉及工具来自《BPF Performance Tools》 一书,CPU性能指标涉及: 系统短期创建的线程进程跟踪进程线程的CPU运行时长,脱离时长统计线程的运行队列长度,等待延时时间,有多少线程在等待,多核…

python语言入门必须要学习的模块化编程案例游戏---画图案例(三)【源码大全】

彩虹五角星 import turtle #引用turtle库 q turtle.Pen() #构造画笔 turtle.bgcolor("black") …

java基于SpringBoot+Vue+uniapp微信小程序的自助点餐系统的详细设计和实现(源码+lw+部署文档+讲解等)

项目运行截图 技术框架 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念,提供了一套默认的配置,让开发者可以更专注于业务逻辑而不是配置文件。Spring Boot 通过自动化配置和约…

(悬臂)梁结构固有频率理论求解

文章目录 0、背景1、梁固有频率的理论解法1.1 简支梁和悬臂梁1.2 其他支撑形式的梁2、支座带旋转弹簧的悬臂梁固有频率求解3、算例及仿真0、背景 为了给风电塔筒结果的ABAQUS模型中添加支座弹簧,需要先搞清楚ABAQUS中弹簧单元的性质。很遗憾,网络上关于土弹簧的资料很少,帮…

【Linux】从 fork() 到 exec():理解 Linux 进程程序替换的魔法

1.前言 进程程序替换是指一个进程用另一个新的可执行程序来替换当前正在执行的程序,这个过程通过通过exec系列函数完成。在Linux或UNIX系统中,进程程序替换通常发生在一个进程通过fork()创建了子进程之后,子进程用exec()函数加载和执行另一个…

HTTP(HyperText Transfer Protocol)协议

前言 HTTP作为应用层协议,定义了客户端与服务器之间的通信规则,使得浏览器或其他客户端程序能够请求并获取Web服务器上的超文本信息。 在分布式、协作式的超媒体信息系统中,HTTP协议扮演着核心角色,它支持了信息的组织、检索和呈现…

ChatGPT01-preivew体验报告:内置思维链和多个llm组合出的COT有啥区别呢?丹田与练气+中学生物理奥赛题测试,名不虚传还是名副其实?

一个月前,o1发布的时候,我写了篇文章介绍 逻辑推理能力堪比博士生,OpenAI发布全新AI模型系列: o1 - 大模型或许进入新阶段,还翻译了官方的介绍 解密OpenAI o1是如何让LLMs获得逻辑推理能力的 - CoT * RL,也…

Ribbon客户端负载均衡策略测试及其改进

文章目录 一、目的概述二、验证步骤1、源码下载2、导入IDE3、运行前修改配置4、策略说明5、修改策略 三、最终结论四、改进措施1. 思路分析2. 核心代码3. 测试页面 一、目的概述 为了验证Ribbon客户端负载均衡策略在负载节点失效的情况下,是否具有故障转移的功能&a…

学习 UE5 的一些前置操作总结

随着 Unity, Godot 这些引擎都玩抽象,主动捅自己一刀后,UE5 的风头不可谓不盛,本着多学一点免得失业的思路方针,咱也研究了一下 UE5 引擎,然后发现想要开始使用 UE5 ,包含了很多前置操作,这里总…

Java项目-基于springboot框架的家具商城系统项目实战(附源码+文档)

作者:计算机学长阿伟 开发技术:SpringBoot、SSM、Vue、MySQL、ElementUI等,“文末源码”。 开发运行环境 开发语言:Java数据库:MySQL技术:SpringBoot、Vue、Mybaits Plus、ELementUI工具:IDEA/…

使用Yolov10和Ollama增强OCR

1. 训练自定义 Yolov10 数据集 利用物体检测增强 OCR 的第一步是在数据集上训练自定义 YOLO 模型。YOLO(只看一遍)是一种功能强大的实时对象检测模型,它将图像划分为网格,使其能够在一次前向传递中识别多个对象。这种方法非常适合…

AI大模型开发架构设计(14)——基于LangChain大模型的案例架构实战

文章目录 基于LangChain大模型的案例架构实战1 LangChain 顶层架构设计以及关键技术剖析LangChain 是什么?LangChain的主要功能是什么?LangChain 顶层架构设计LangChain 典型使用场景:QA 问答系统LangChain 顶层架构设计之 Model I/OLangChain 顶层架构…

No.17 笔记 | XXE漏洞:XML外部实体注入攻击

1. XXE漏洞概览 XXE(XML External Entity)是一种允许攻击者干扰应用程序对XML输入处理的漏洞。 1.1 XXE漏洞比喻 想象XML解析器是一个听话的机器人,而XXE就是利用这个机器人的"过分听话"来获取不应该获取的信息。 1.2 XXE漏洞危…

基于SSM汽车零部件加工系统的设计

管理员账户功能包括:系统首页,个人中心,员工管理,经理管理,零件材料管理,产品类型管理,产品信息管理,产品出库管理,产品入库管理 员工账号功能包括:系统首页…

spring-cloud-alibaba-nacos-config2023.0.1.*启动打印配置文件内容

**背景:**在开发测试过程中如果可以打印出配置文件的内容,方便确认配置是否准确;那么如何才可以打印出来呢; spring-cloud-alibaba-nacos-config 调整日志级别 logging:level:com.alibaba.cloud.nacos.configdata.NacosConfigD…