图形化探索:快速改造单实例为双主、MGR、读写分离等架

news2024/11/15 23:29:15

单机GreatSQL/MySQL调整架构为多副本复制的好处有哪些?为什么要调整?

file

  1. 性能优化:如果单个GreatSQL服务器的处理能力达到瓶颈,可能需要通过主从复制、双主复制或MGR,以及其他高可用方案等来提高整体性能。通过将读请求分发到多个服务器,可以大大提高并发处理能力。
  2. 高可用性:如果您的应用程序不能接受服务中断,那么多副本可以帮助您实现高可用性的故障切换。当主服务器发生故障时,可以快速切换到从服务器或另一个主服务器,以保持服务的连续性。
  3. 读写分离和业务数据测试:单机GreatSQL在做一致性备份时,往往对性能和负载产生压力,主从、多主、或MGR可以选择从节点来备份。数据恢复或者测试,可以优先在从服务器进行数据回放测试等。

请查看手动部署介绍: GreatSQL从单机到MGR扩展纪实 https://mp.weixin.qq.com/s/ewIx_avO5R6GDGmyDmPMLg

适用场景:

1、单机GreatSQL/MySQL改造为主从或者双主复制

2、单机GreatSQL/MySQL改造为MGR组复制

3、GreatSQL/MySQL主从改造为MGR组复制

4、基于备份做GreatSQL/MySQL数据库升级测试

具体步骤

通过GreatADM可视化的方法,屏蔽手动命令操作的复杂度,快速完成单实例的向多主、多副本的架构分钟级的调整升级。

场景支持:支持纳管的实例的架构改造,或者数据库软件版本的升级功能。

思路如下:通过sysbench压入单机数据,通过备份单机数据,恢复到新的架构中,使用sysbench直接连接新的架构做压测,查看是否可正常运行验证数据可用性。(本次演示采用GreatSQL单机企业版本操作)

步骤如下:

1、使用GreatADM针对单实例做全量备份

2、选择备份的数据和确定要改造或升级的版本

3、选择不同架构和软件包构建新架构(本次演示单机向双主、MGR的变更)

4、恢复数据完成新架构改造

5、sysbench压测查数据可用性

环境信息如下:

数据库主机IP实例端口目标架构主机IP实例端口
单机172.17.134.683307主从、双主、双主多从172.17.134.60/613307
单机172.17.134.683307MGR(1台主机3实例)172.17.134.613307/3308/3309
图形化工具GreatADM-6.0版本
物理备份工具xtrabackup-8.0.32

添加2台主机172.17.134.60/61到GreatADM中,如下

file

file

准备工作:sysbench创建压测数据到单实例

file

登录数据库,创建sysbench测试数据50张表,每表1w行数据。

$ sysbench --test=oltp_read_write.lua --mysql-user=greatdb --mysql-password='xxxxx' --mysql-host=172.17.134.68 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  prepare

通过SQL窗口查看对应的表信息

file

完成测试数据的创建,接下来进行单节点的备份操作。

一、做数据库全量备份

使用GreatADM针对单实例做全量备份,选择【备份管理】执行单节点的全量备份,在备份之前首先需要配置备份方式。因为GreatADM支持HDFS、FTP、COS对象存储、LOCAL本地、远端备份服务器5种类的备份集存储方式。

file

这里我们选择【LOCAL本地存储】即将数据直接备份放置在数据库所在的主机,指定本地路径下。【本地路径】是最终备份集存储的路径,我们命名为:/backup,需要在数据库的服务器上创建目录,并授权。

file

创建备份集存储的目录,使用root创建,并调整目录权限,保证和添加服务时创建的【管理用户】,同一个属组,确保GreatADM以greatsql普通用户备份时,有权限写入/backup。

$ mkdir /backup ;  
$ chown greatsql.greatsql  /backup;

接下来,执行【手动备份】并配置备份项。

file

GreatADM支持多种数据库架构的备份,且可以按照用户需求,选择备份不同项目的数据库,以及按需选择数据库主节点、或从节点备份。

file

在配置项中,同时支持【压缩备份】,【加密备份】,【并行备份】,以及备份超时平台层的【超时提醒】消息等

file

执行备份,日志输出如下 ,整个备份分为4个阶段即

【收集信息】--收集数据库的版本和数据文件路径等信息

【备份预检查】--检查备份工具和数据库版本是否匹配,备份配置项是否有效

【执行备份】--执行执行一致性的物理热备

【上传到存储】--如果配置远程网络存储,则进行备份集的网络传输。

file

完成备份,如下生成的备份记录

file

完成备份之后,可点击【备份详情】查看本次备份的配置信息等。

操作系统路径下对应的备份集,与数据库实例同在一台服务器的不同路径下。

file

二、恢复为双主复制架构

基于备份做架构变更,基于全量物理备份做数据的恢复,和新架构的变更创建。基于全量备份恢复导172.17.134.60、61两台主机,来改造成新的主从,或者双主架构。步骤如下:

首先选中【序号1】刚刚完成的【单机601全量备份】,点击【备份恢复】选项

file

弹出要恢复为哪种架构,这里目前可选的有4种,同时支持2种恢复架构的类型,即【恢复物理机数据库】和【资源池方式】也就是资源隔离方式。 这里,我们选择物理机恢复出双主架构。点击【主备副本】选择【恢复物理机数据库】

file

接下来配置恢复出的新架构,属于哪个【项目】,所选择的【数据库软件包版本】,以及备份工具包,GreatSQL兼容开源的xtrabackup,这里我们就默认选择GreatADM已经上传的xtrabackup-8.0.32版本。主机选择172.17.134.60、172.17.134.61两台主机。鉴于之前部分传统的企业客户,有多个副本的需求场景下,GreatADM提供了双主下,再次扩展副本的能力。如果在双主复制的架构下,仍想扩展1个从副本,则可以在添加节点之后,选择【添加从节点】选项,扩展副本数

file

默认允许用户混合主从副本安装在同一台物理主机上,用端口做区分如下示意图,则可以在双主下各创一个从副本。形成双主双从,这里仅作演示。

file

实际我们仍按双主架构来进行架构恢复。进入新架构的部署预检查页面,如图,主要是涉及操作系统配置标准化、规范化、依赖包等检查。

file

通过之后进行下一步,完成新架构的初始化,并在初始化之后,做数据的恢复。

file

完成架构调整的双主结构拓扑如下

file

实例属性信息如下

file

同时保留了原始节点,此时可将原始的单机移除,到此完成架构的改造和变更。数据中的用户名、密码等和原始单机数据库完全相同一致。可直接点点击【登录】验证。

file

完成单机改造为新的双主复制结构。

三、恢复为MGR架构

同样,选择单机601的备份集, 删除之前172.17.134.60、61的数据库,释放主机资源。之前鉴于项目中有用户主机资源不足,考虑主机采用多实例混合部署在1台上的情况,我们顺便测下GreatADM是否支持重复利用主机,混合部署多个实例。

file

选择【备份恢复】,恢复架构中,选择【paxos高可用复制】,选择【物理数据库】

file

进入paxos配置项中,我们仍选择【default】默认项目,对应的软件包版本可选择升级的新版本,在做架构改造时,同时进行数据库的版本升级工作。此处,我们重复使用172.17.134.61这台主机,分别使用3307、3308、3309三个端口来区分3个实例。如下:

file

预检查之后的拓扑图预留和端口信息如下:

file

安装部署过程和日志信息如下:

file

安装之后拓扑如下:

file

完成单机向paxos高可用(组复制)的改造和数据恢复。查看当前172.17.134.61主机的运行状态和负载,也验证了GreatADM支持混合部署多实例到1台主机。

file

file

四、验证数据的可用性

使用sysbench压测新恢复的架构,对应的sysbench库的表等可直接压测使用,无数据异常。

$ sysbench --test=oltp_read_write.lua --mysql-user=greatsql --mysql-password='xxxxx' --mysql-host=172.17.134.61 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  run

file

五、总结

改造的意义:如果您需要存储和处理大量数据,且读写负载较高,单个MySQL服务器可能无法满足需求,或为了满足跨地域访问的需求,可以将单机数据库,改造成可跨多个数据中心采用异步复制、或半同步、以及强同步等方式,既可以保证数据库的多副本容灾,又可提升业务的读写效率,规避了单点故障对业务的影响和负载。

GreatADM提供的能力和价值:且在改造升级过程中,借助GreatADM管理平台,图形化改造,大大降低了架构改造的难度和效率。避免DBA手动黑屏命令方式的操作的繁冗复杂的操作命令,减少业务停机时长,同时释放人工操作的压力。

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库,具备高性能、高可靠、高易用性、高安全等多个核心特性,可以作为MySQL或Percona Server的可选替换,用于线上生产环境,且完全免费并兼容MySQL或Percona Server。

相关链接: GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区:

image

社区有奖建议反馈: https://greatsql.cn/thread-54-1-1.html

社区博客有奖征稿详情: https://greatsql.cn/thread-100-1-1.html

(对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~)

技术交流群:

微信&QQ群:

QQ群:533341697

微信群:添加GreatSQL社区助手(微信号:wanlidbc )好友,待社区助手拉您进群。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1211967.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SoftwareTest7 - JUnit 是个啥 ? 他跟 Selenium 有什么关系 ?

JUnit 是个啥 ? 他跟 Selenium 有什么关系 ? 一 . 相关注解1.1 Test1.2 BeforeEach1.3 BeforeAll1.4 AfterEach1.5 AfterAll 二 . 断言2.1 assertEquals2.2 assertNotEquals2.3 assertTrue / assertFalse : 断言结果为真/假2.4 assertNull / assertNotNull : 断言结果为空 / …

数据结构—内部排序(下)

文章目录 8.内部排序(下)(6).归并排序#1.先做合并#2.再来排序#3.代码实现#4.稳定性与时间复杂度分析 (7).快速排序#1.算法思想#2.代码实现#3.稳定性与时间复杂度分析 (8).基数排序#1.算法思想#2.稳定性和时间复杂度分析 小结 8.内部排序(下) (6).归并排序 那我们的时间复杂度还…

【评论送书】十本架构师成长和软件架构技术相关的好书(可以任选)

正文开始前给大家推荐个网站,前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 参与规则 本次送书1~5本参与方式:关注博主、点赞、收藏、评论(从评论区…

Maven:通过相对路径向jar中添加依赖项

问:我有一个专有的jar,我想把它作为一个依赖项添加到我的pom中。 但我不想把它添加到存储库中。原因是我希望常用的maven命令(如mvn compile等)能够开箱即用。(无需要求开发人员自己将其添加到某个存储库中)。 我希望jar在源代码控制中的第三方库中&…

idea菜单栏任务栏放缩比例修改

在编辑自定义VM选项中增加 -Dide.ui.scale0.8 参数 Help -> Edit Custom VM Options

Visual Studio Code配置c/c++环境

Visual Studio Code配置c/c环境 1.创建项目目录2.vscode打开项目目录3.项目中添加文件4.文件内容5.配置编译器6.配置构建任务7.配置调试设置 1.创建项目目录 d:\>mkdir d:\c语言项目\test012.vscode打开项目目录 3.项目中添加文件 4.文件内容 #include <iostream> u…

Linux C 编程入门 (GCC 和 Makefile的使用和编写)

Linux C 编程入门 在 Windows 下我们可以使用各种各样的 IDE 进行编程&#xff0c;比如强大的 Visual Studio。Ubuntu 下也有一些可以进行编程的工具&#xff0c;但是大多都只是编辑器&#xff0c;也就是只能进行代码编辑&#xff0c;如果要编译的话就需要用到 GCC 编译器&…

基于opencv+tensorflow+神经网络的智能银行卡卡号识别系统——深度学习算法应用(含python、模型源码)+数据集(二)

目录 前言总体设计系统整体结构图系统流程图 运行环境模块实现1. 训练集图片处理1&#xff09;数据加载2&#xff09;图像处理 2. 测试图片处理1&#xff09;图像读取2&#xff09;图像处理 相关其它博客工程源代码下载其它资料下载 前言 本项目基于从网络获取的多种银行卡数据…

AR贴纸特效SDK,无缝贴合的虚拟体验

增强现实&#xff08;AR&#xff09;技术已经成为了企业和个人开发者的新宠。它通过将虚拟元素与现实世界相结合&#xff0c;为用户提供了一种全新的交互体验。然而&#xff0c;如何将AR贴纸完美贴合在人脸的面部&#xff0c;同时支持多张人脸的检测和标点及特效添加&#xff0…

【Android 】android13 新权限获取 读写文件权限

android13 新权限获取 参考&#xff1a;Android 13(API 33)读写SD卡权限的调整适配 - Mr,Han - 博客园 android在 获取文件读写权限&#xff08;尤其是音视频、图片等等资源&#xff09;的权限获取逻辑更换了。 必须申请如下权限&#xff1a; public static final String READ…

RedisTemplate乱码问题

其实这是在解决一个项目问题是发现的&#xff0c;因为原开发者的大意&#xff0c;造成了系统出现严重的逻辑问题。 因为系统系统采用分模块开发&#xff0c;某模块使用Spring提供的RedisTemplate进行值的读写&#xff0c;另一位使用了框架基于Jedis的一套公用方法进行值的读写…

java springboot application中设置正确的数字密码连不上数据库问题解决

说一个真实存在的问题 就是 有时候 我们在配置文件中设置了正确的数据库密码 但是 就是连不上 比如 我在application.yml配置文件中配置了一个数据库密码 这里 我们写的是 0127 然后 我们在程序中 读取并打印出来 看看系统拿到的到底是个什么&#xff1f; 但怪了 系统给我们…

选择墨西哥专线双清包税前需要了解什么?

选择墨西哥专线双清包税前&#xff0c;需要了解以下几个方面的情况&#xff1a; 1. 墨西哥市场的需求和特点&#xff1a;首先需要了解墨西哥的市场需求和特点&#xff0c;包括消费者对于产品的偏好、消费习惯、购买力等。对于汽配零件行业来说&#xff0c;需要了解墨西哥汽车市…

【考研数据结构代码题6】构建二叉树及四大遍历(先中后层)

题目&#xff1a;请你编写完整的程序构建一棵二叉树并对其进行先序遍历、中序遍历、后序遍历与层次遍历&#xff0c;分别打印并输出遍历结果 难度&#xff1a;★★★ 二叉树的存储结构 typedef struct Node{char data;//数据域struct Node* left;//左子树struct Node* right;//…

Masked Relation Learning for DeepFake Detection

一、研究背景 1.现有deepfake检测方法大多关注于局部伪影或面部不协调&#xff0c;较少挖掘局部区域间的关系。 2.现有关系挖掘类的工作往往忽略了关系信息的传播。 3.遮挡建模在减轻信息冗余的同时促进高级语义信息&#xff08;诱导性偏差较小&#xff09;的挖掘&#xff0c;有…

java常用的几个图片处理工具对Tiff文件的支持

ImageMagick 官网 https://imagemagick.org/&#xff0c; 支持多种格式。命令行工具很适合调试。功能很强大. 还有一款工具GraphicsMagick 是从ImageMagick的基础上研发出来的。 OpenCV 官网 https://opencv.org/ &#xff0c; github地址https://github.com/opencv/opencv&…

ruoyi若依前端请求接口超时,增加响应时长

问题&#xff1a; 前端查询请求超时 解决&#xff1a; 找到request.js的timeout属性由10秒改成了20秒&#xff0c;因为默认是10秒&#xff0c;请求肯定是超出了10秒 祝您万事顺心&#xff0c;没事点个赞呗&#xff0c;关注一下也行啊&#xff0c;有啥要求您评论哈

父组件用ref获取子组件数据

子组件 Son/index.vue 子组件的数据和方法一定要记得用defineExpose暴露&#xff0c;不然父组件用ref是获取不到的&#xff01;&#xff01;&#xff01; <script setup> import { ref } from "vue"; const sonNum ref(1); const changeSon () > {sonNum.…

FSOD论文阅读 - 基于卷积和注意力机制的小样本目标检测

来源:知网 标题:基于卷积和注意力机制的小样本目标检测 作者:郭永红&#xff0c;牛海涛&#xff0c;史超&#xff0c;郭铖 郭永红&#xff0c;牛海涛&#xff0c;史超&#xff0c;郭铖&#xff0e;基于卷积和注意力机制的小样本目标检测 [J/OL]&#xff0e;兵工学报. https://…