【MySQL】MySQL复制与高可用水平扩展架构实战(MySQL专栏启动)

news2024/11/19 21:23:28

📫作者简介:小明java问道之路,专注于研究 Java/ Liunx内核/ C++及汇编/计算机底层原理/源码,就职于大型金融公司后端高级工程师,擅长交易领域的高安全/可用/并发/性能的架构设计与演进、系统优化与稳定性建设。

    

📫 热衷分享,喜欢原创~ 关注我会给你带来一些不一样的认知和成长。

     

🏆 InfoQ签约作者、CSDN专家博主/后端领域优质创作者/内容合伙人、阿里云专家/签约博主、51CTO专家 🏆

     

🔥如果此文还不错的话,还请👍关注、点赞、收藏三连支持👍一下博主~ 

本文目录

本文目录

本文导读

一、什么是MySQL复制

1、什么是复制

2、MySQL数据库的复制方式

3、复制可以解决的问题

3.1、数据分布

3.2、负载均衡

3.3、备份

3.4、高可用性和故障切换

3.5、MySQL版本切换

二、MySQL 复制的配置实战

三、如何避免单点数据库服务器失效

1、异步复制(async replication)

2、半同步复制(semi-synchronous replication)

3、多源复制(multisource replication)

4、延迟复制(delayed replication)

总结 


本文导读

本文简单介绍几种复制方式复制在生产中解决的实际问题,MySQL复制的配置流程和MySQL复制类型,不会深入到 MTBF、MTTR平均故障间隔、平均修复时间等等以及MMM 集群架构、MHA 集群架构等等产线实际应用的架构,也不会深入复制的原理,本文主要是带读者建立完整的MySQL 复制的知识体系,后续会通过单独的文章讲解:

MySQL 复制工作原理(待补充)、MySQL 高可用架构与企业级实战(待补充)。

一、什么是MySQL复制

1、什么是复制

MySQL的复制是构建大规模、高性能应用程序的基础,称为“水平扩展”架构。生产环境通常为服务器配置一个或多个备用数据库以同步数据。

复制是将一台服务器(即MySQL数据库)的数据与其他服务器同步。

一个主数据库的数据可以同步到多个备用数据库,备用数据库本身也可以配置为另一个服务器的主数据库。主数据库和备用数据库之间有许多不同的组合。

可以通过复制将读取操作指向备用数据库,以获得更好的读取扩展。

但是,对于写操作,复制不适合扩展写操作。在一个主数据库和多个从数据库的架构中,写入操作将被多次执行。此时,整个系统的性能取决于写入操作的最慢部分。

注:本文为了追求正确 master 改为 main,slave 改为 secondary。 

2、MySQL数据库的复制方式

MySQL支持两种复制方法:基于行的复制和基于语句的复制。

基于语句的复制(也称为逻辑复制)自 MySQL 3.23 以来就已经存在,基于行的复制是在 MySQL 5.1 中增加的新特性

两种方法都通过在主数据库上记录二进制日志并在备用数据库上同步写日志来实现异步数据复制

这意味着备用数据库上的数据可能在同一时间点与主数据库不一致,主数据库和备用数据库之间的延迟无法保证。一些大型语句可能会导致备用数据库延迟几秒钟、几分钟甚至几小时。

3、复制可以解决的问题

3.1、数据分布

MySQL 引入的基于行的复制后,比传统的基于语句的复制模式带来更大的带宽压力。这种情况对于复制操作可以随时停止或开始,并在不同的地理位置(如两地三中心)分发数据备份。

3.2、负载均衡

MySQL复制可以将读取操作分发到多个服务器,以优化读取密集型应用程序。实施方便,可以通过简单的代码修改来实现负载平衡。

3.3、备份

对于备份,复制是一项重要的技术补充(但是不能代替redo log、bin log等)。

3.4、高可用性和故障切换

复制可以帮助应用程序避免MySQL单点故障(例如两地三中心:生产中心、同城容灾中心、异地容灾中心),故障切换系统可以显著减少停机时间。

3.5、MySQL版本切换

使用更高版本的MySQL作为备用数据库,以确保在升级所有实例之前可以在备用数据库中按预期执行查询,最后逐步切换主库。

这里面一般使用的方法分为4步,1、首先主备都使用低版本库,2、切换备库的时候,双写主备库,查还是低版本,3、切换备库的时候,双写主备库,查使用高版本备库,4、完全使用没问题的主备高版本库。

二、MySQL 复制的配置实战

MySQL复制实现非常简单。基本步骤如下:

1、创建复制所需的帐户和权限;

在 main(MASTER )数据库中创建一个用户,并给予其适当的权限。备用数据库I/O线程使用此用户名连接到主数据库,并读取其二进制日志。

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO repl@192.168.0.% IDENTIFIED BY 'password',;

2、要从主库 main 复制数据副本,可以使用逻辑备份工具mysqldump、mysqlpump或物理备份工具克隆插件;(配置主库和备库一般是DBA的工作)

3、使用命令 CHANGE MASTER TO 建立复制关系(启动复制)

4、使用命令 SHOW SLAVE STATUS 观察复制状态(当执行完 CHANGE MASTER TO ,需要通过 SHOW SLAVE STATUS 检查复制是否正确)

三、如何避免单点数据库服务器失效

MySQL 复制一般分为以下几种类型:异步复制、半同步复制、多源复制、延迟复制。

本文简单介绍几种复制方式,不会深入到  MTBF/(MTBF+MTTR),平均故障间隔、平均修复时间以及MMM 集群架构、MHA 集群架构等等产线实际应用的架构,也不会深入复制的原理,本文主要是带读者建立完整的MySQL 复制的知识体系,后续会通过单独的文章讲解:

MySQL 复制工作原理(待补充)、MySQL 高可用架构与企业级实战(待补充)。

1、异步复制(async replication)

在异步复制中,主库 main 不关心从库 secondary 是否接收二进制日志,因此主库 main不依赖从库 secondary 。您可以认为 main secondary 是两个独立工作的服务器,数据最终将通过二进制日志保持一致。

异步复制性能最好,因为对数据库本身几乎没有开销,除非主从延迟非常大,并且转储线程需要读取大量二进制日志文件。

如果企业对数据一致性的要求较低,则可以在发生故障时容忍数据丢失。推荐异步复制,它具有最好的性能(例如微博业务,虽然它对性能要求很高,但通常可以容忍数据丢失)。而核心交易业务系统通常最关心数据安全,如监控业务和报警系统。

2、半同步复制(semi-synchronous replication)

半同步复制分为有损和无损,有损半同步一般没有使用场景。半同步复制要求在主事务提交过程中至少有 N 个从库 secondary 接收二进制日志,这样当主库 main  停机时,至少有 N 台从库 secondary 中的数据是完整的。

无损半同步复制 WAIT ACK 发生在事务提交之前。即使从库 secondary 没有收到二进制日志,主库 main 也已关闭,由于异常尚未提交,因此数据本身对外界不可见,也不存在丢失的问题。

因此,对于任何有数据一致性要求的业务,如核心订单业务、银行、保险、证券等与资金密切相关的业务,必须使用无损半同步复制。通过这种方式,数据是安全和有保障的,并且即使发生故障,从库 secondary 也拥有完整的数据副本。

3、多源复制(multisource replication)

异步复制与半同步复制都是一个主库 main 都对应于 N 个从库 secondary 。MySQL还支持N个主机对应1个从库。这种架构称为多源复制。

多源复制允许将不同MySQL实例上的数据同步到一个MySQL实例,便于在一个从库 secondary  上进行一些统计查询,例如常见的OLAP业务查询。

4、延迟复制(delayed replication)

延迟复制允许从库 secondary 延迟接收的二进制日志,为了避免主服务器上的错误操作,它会立即同步到从库 secondary ,导致数据完全丢失。

-- 设置了 Slave 落后 Master 服务器3小时
CHANGE MASTER TO master_delay = 10800

例如,您可以设置延迟一天的待机机器,如果出现在线错误操作,如DROP TABLE和DROP DATABASE,用户可以获得一天的快照,快速恢复数据。

对于金融行业来说,延迟复制是备份设计中必须考虑的一个体系结构部分(博主就是使用多源复制+延迟复制+无损半同步复制的)。

总结 

本文简单介绍几种复制方式复制在生产中解决的实际问题,MySQL复制的配置流程和MySQL复制类型,不会深入到 MTBF、MTTR平均故障间隔、平均修复时间等等以及MMM 集群架构、MHA 集群架构等等产线实际应用的架构,也不会深入复制的原理,本文主要是带读者建立完整的MySQL 复制的知识体系,后续会通过单独的文章讲解:

MySQL 复制工作原理(待补充)、MySQL 高可用架构与企业级实战(待补充)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/10986.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

天王刘德华走红毯,到哪他都是最耀眼的明星

第三十五届金鸡奖,已经在福建厦门落下帷幕,如果要说本届金鸡奖谁收获最大,无疑是天王刘德华。在金鸡奖颁奖典礼现场,功夫巨星吴京登上热搜,然而热搜的主角却不是他,而是天王刘德华。 在本届金鸡奖颁奖典礼现…

cubeIDE开发, stm32调试信息串口通信输出显示

关于cubeIDE开发基本技巧及流程,本文不详细叙述,请参考:cubeIDE快速开发流程_py_free的博客-CSDN博客_cubeide汉化 一、stm32串口配置 本文采用的开发板是stm32L496VGT3,其有两个 USB 接口,一个为 USB ST-link 复用接口&#xff…

代码随想录——最长递增子序列的个数

题目 给定一个未排序的整数数组,找到最长递增子序列的个数。 示例 1: 输入: [1,3,5,4,7] 输出: 2 解释: 有两个最长递增子序列,分别是 [1, 3, 4, 7] 和[1, 3, 5, 7]。 示例 2: 输入: [2,2,2,2,2] 输出: 5 解释: 最长递增子序列的长度是1,并且…

Oracle 表创建和表管理

1.表的命名 必须以字母开头字符长度在1-30之间只能包含A-Z,a-z,0-9,_,$和#被同一个用户拥有的对象不能有重复的名字 2.表的创建 SQL> create table t01(id number(4),name varchar2(15));Table created.SQL> desc t01Name …

现场直击!维视智造携多款明星产品亮相VisionChina 2022深圳机器视觉展

11月15日,2022年中国(深圳)机器视觉展在深圳国际会展中心(宝安新馆)盛大开幕,维视智造携MV-CR读码相机、3D线激光相机、VisionBank AI多相机智能视觉系统等多款行业领先产品及解决方案亮相。 1 ►现场速击 …

C基础--内存对齐问题(结构体对齐)

问题现象 在调试一个软件功能时,发现一个结构体对齐的问题,以前没有太关注,现在把它总结出来。先看示例: 结构体1: typedef struct {char magic[4];uint32_t crc32;uint32_t lenght;uint16_t ver;uint16_t IFrameCnt…

多线程DPDK应用的内存优化

作者 Conor Walsh is a software engineering intern with the Architecture Team of Intel’s Network Platform Group (NPG), based in Intel Shannon (Ireland). 引言 高速包处理是一种资源密集型应用。一种解决方案是将包处理流水线(pipeline)分离到多线程以提高程序性能…

大一新生HTML期末作业,网页制作作业——海鲜餐饮网站登录页面(单页面)HTML+CSS+JavaScript

👨‍🎓静态网站的编写主要是用HTML DIVCSS JS等来完成页面的排版设计👩‍🎓,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode 、Webstorm、Animate等等,用的最多的还是DW,当然不同软件写出的…

STM32G0开发笔记-Platformio+libopencm3-FreeRTOS和FreeModbus库使用

title: STM32G0开发笔记-Platformiolibopencm3-FreeRTOS和FreeModbus库使用 tags: STM32MCUSTM32G070libopencm3MonkeyPiFreeRTOSModbus categories: STM32 date: 2022-9-11 19:52:05 [原文:makerinchina.cn] 使用Platformio平台的libopencm3开发框架来开发STM32…

docker -- 入门篇 (数据卷、自定义镜像、安装mysql redis)

1 数据卷 采用上一章节创建的centos镜像启动容器 doc01 docker run -it --name doc01 lhy/centos:1.00 2 数据卷容器 启动子容器doc02 实现继承doc01的关系 docker run -it --name doc02 --volumes-from doc01 lhy/centos:1.00 启动子容器doc03 实现继承doc01的关系 docker…

【计算机毕业设计】病人跟踪治疗信息管理系统源码

一、系统截图(需要演示视频可以私聊) 摘 要 病人跟踪治疗信息管理系统采用B/S模式,促进了病人跟踪治疗信息管理系统的安全、快捷、高效的发展。传统的管理模式还处于手工处理阶段,管理效率极低,随着病人的不断增多&a…

mac pro M1(ARM)安装:安装zookeeper可视化工具PrettyZoo、ZooKeeperAssistant

0. 引言 今天安装zookeeper的可视化工具遇到一些问题,将其记录下来,以供后续的同学参考,在mac软件安装上少走弯路。同时也让大家体会下这两款不同的zk可视化工具的差别 1. 安装PrettyZoo 1、下载 直接在github上选择版本下载: …

8 - 复习总结java中的继承与多态

1. 继承 1.1 为什么需要继承 先看一个例子: 比如猫和狗都是动物,都可以用一个类来描述。 使用java语言来描述: class Cat{String name;int age;float wight;public void bark(){System.out.println(name"汪汪汪叫");}public void eat(){S…

PyTorch使用快速梯度符号攻击(FGSM)实现对抗性样本生成(附源码和数据集MNIST手写数字)

需要源码和数据集请点赞关注收藏后评论区留言或者私信~~~ 一、威胁模型 对抗性机器学习,意思是在训练的模型中添加细微的扰动最后会导致模型性能的巨大差异,接下来我们通过一个图像分类器上的示例来进行讲解,具体的说,会使用第一…

Reactor 模型

文章目录1、网络编程关注的事件2、网络 IO 的职责2.1、IO 检测2.1.1、连接建立2.1.2、连接断开2.1.3、消息到达2.1.4、消息发送2.2、IO 操作2.2.1、连接建立2.2.2、连接断开2.2.3、连接到达2.2.4、消息发送3、Reactor 模式3.1、概念3.2、面试:Reactor 为什么使用非阻…

利用jenkins直接构件docker镜像并发布

一、本服务器构建 1.jenkins安装完成之后,打jenkins,选择新建任务,如: 2.进行〔源码管理〕配置,如: 3.构建执行配置,如: APP_NAMEtest-project APP_PORT8083 RUN_ENVprod cd /var/…

EtherCAT与RTEX驱动器轴回零的配置与实现

上节课程,正运动小助手给大家分享了运动控制器提供的回零模式配置与实现。本节课程主要介绍控制器实现EtherCAT与RTEX驱动器的回零及其配置。 01 总线驱动器回零模式 正运动控制器提供自己的回零模式,也支持使用EtherCAT总线驱动器提供的回零模式&…

学长教你学C-day9-C语言循环结构与选择结构

小刘最近在读《老子》,被道家“一生二,二生三”的哲学思想迷住了,他不禁想代码是谁生的呢?首先代码就是一堆字符,字符不是代码,就像“白马非马”,但是当字符按照一定的顺序组织起来时&#xff0…

《Python编程无师自通》读书笔记

不能越界访问函数内部定义的变量 global不能乱用 啥时候用元组 join连接 小点,但第一次见会觉得蛮有意思。 Hangman 10.1的案例蛮有意思的 一搜才发现是十分经典的文字游戏 过程式编程的缺点以及函数式编程和面向对象编程的解决方法 过程式编程的缺点 函数式编程…

Web学习笔记-中期项目(拳皇)

CONTENTS项目原理一、基础文件二、ac_game_object框架三、游戏地图与玩家模型的创建项目原理 游戏中一个物体运动的原理是浏览器每秒钟刷新60次,每次我们单独计算这个物体新的位置,然后把他刷新出来,这样最终人眼看起来就是移动的效果。 对…