【MySQL日志与备份篇】主从复制

news2024/10/5 21:24:33

主从复制

文章目录

  • 主从复制
    • 1. 概述
    • 2. 主从复制的原理
      • 2.1 原理剖析
      • 2.2 复制的基本原则
    • 3. 一主一从架构搭建
      • 3.1 准备工作
      • 3.2 主机配置文件
      • 3.3 从机配置文件
      • 3.4 主机：建立账户并授权
      • 3.5 从机：配置需要复制的主机
      • 3.6 停止主从同步
      • 3.7 后续
    • 4. 同步数据一致性问题
      • 4.1 理解主从延迟问题
      • 4.2 主从延迟问题原因
      • 4.3 如何减少主从延迟
      • 4.4 如何解决一致性问题
        • 方法 1：异步复制
        • 方法 2：半同步复制
        • 方法 3：组复制

1. 概述

主从同步设计不仅可以提高数据库的吞吐量，还有以下 3 个方面的作用。

  1. 读写分离
  2. 数据备份
  3. 具有高可用性

在这里插入图片描述

2. 主从复制的原理

Slave 会从 Master 读取 binlog 来进行数据同步。

2.1 原理剖析

三个线程

实际上主从同步的原理就是基于 binlog 进行数据同步的。在主从复制过程中，会基于 3 个线程 来操作，一个主库线程，两个从库线程

在这里插入图片描述

  • 二进制日志转储线程 （Binlog dump thread）是一个主库线程。当从库线程连接的时候， 主库可以将二进制日志发送给从库，当主库读取事件（Event）的时候，会在 Binlog 上 加锁 ，读取完成之后，再将锁释放掉。
  • 从库 I/O 线程 会连接到主库，向主库发送请求更新 Binlog。这时从库的 I/O 线程就可以读取到主库的二进制日志转储线程发送的 Binlog 更新部分，并且拷贝到本地的中继日志 （Relay log）。
  • 从库 SQL 线程 会读取从库中的中继日志，并且执行日志中的事件，将从库中的数据与主库保持同步。

在这里插入图片描述

复制三步骤

  1. Master 将写操作记录到二进制日志（ binlog ）；
  2. Slave 将 Master 的binary log events拷贝到它的中继日志（ relay log ）；
  3. Slave 重做中继日志中的事件，将改变应用到自己的数据库中。 MySQL复制是异步的且串行化的，而且重启后从 接入点 开始复制。

复制的最大问题：延时

2.2 复制的基本原则

  • 每个 Slave 只有一个 Master
  • 每个 Slave 只能有一个唯一的服务器ID
  • 每个 Master 可以有多个 Slave

3. 一主一从架构搭建

一台 主机 用于处理所有 写请求 ，一台 从机 负责所有 读请求 ，架构图如下：

在这里插入图片描述

3.1 准备工作

  1. 准备 2台 CentOS 服务器
  2. 每台虚拟机上需要安装好MySQL (可以是MySQL8.0 )

3.2 主机配置文件

建议mysql版本一致且后台以服务运行，主从所有配置项都配置在 [mysqld] 节点下，且都是小写字母。

具体参数配置如下：

  • 必选
#[必须]主服务器唯一ID
server-id=1
#[必须]启用二进制日志,指明路径。比如：自己本地的路径/log/mysqlbin
log-bin=log-bin
  • 可选
#[可选] 0（默认）表示读写（主机），1表示只读（从机）
read-only=0
#设置日志文件保留的时长，单位是秒
binlog_expire_logs_seconds=6000
#控制单个二进制日志大小。此参数的最大和默认值是1GB
max_binlog_size=200M
#[可选]设置不要复制的数据库
binlog-ignore-db=test
#[可选]设置需要复制的数据库,默认全部记录。比如：binlog-do-db=master_slave
binlog-do-db=需要复制的主数据库名字
#[可选]设置binlog格式
binlog_format=ROW

3.3 从机配置文件

要求主从所有配置项都配置在 my.cnf 的 [mysqld] 栏位下，且都是小写字母。

  • 必选
#[必须]从服务器唯一ID
server-id=2
  • 可选
#[可选]启用中继日志
relay-log=mysql-relay

3.4 主机：建立账户并授权

MySQL 8.0以下版本

#在主机MySQL里执行授权主从复制的命令
GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'从机器数据库IP' IDENTIFIED BY 'abc123';
#5.5,5.7

MySQL8，需要如下的方式建立账户，并授权slave：

CREATE USER 'slave1'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'%';
#此语句必须执行。否则见下面。
ALTER USER 'slave1'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
flush privileges;

注意：未执行上面语句，在从机执行show slave status\G时报错：
Last_IO_Error: error connecting to master ‘slave1@192.168.1.150:3306’ - retry-time: 60 retries: 1 message: Authentication plugin ‘caching_sha2_password’ reported error: Authentication requires secure connection.

查询Master的状态，并记录下File和Position的值。

show master status;

注意：执行完此步骤后不要再操作主服务器MySQL，防止主服务器状态值变化。

3.5 从机：配置需要复制的主机

步骤1：从机上复制主机的命令，需进入mysql命令模式

CHANGE MASTER TO
MASTER_HOST='主机的IP地址',
MASTER_USER='主机用户名',
MASTER_PASSWORD='主机用户名的密码',
MASTER_LOG_FILE='mysql-bin.具体数字',
MASTER_LOG_POS=具体值;

步骤2：

#启动slave同步
START SLAVE;

如果报错

在这里插入图片描述

可以执行如下操作，删除之前的relay_log信息。然后重新执行 CHANGE MASTER TO ... 语句即可。

mysql> reset slave; #删除SLAVE数据库的relaylog日志文件，并重新启用新的relaylog文件

接着，查看同步状态：

SHOW SLAVE STATUS\G;

在这里插入图片描述

如果不成功，可排查以下情况：

  1. 网络不通
  2. 账户密码错误
  3. 防火墙
  4. mysql配置文件问题
  5. 连接服务器时语法
  6. 主服务器mysql权限

3.6 停止主从同步

  • 停止主从同步命令

    stop slave;

  • 重新配置主从同步

    如果停止从服务器复制功能，再使用需要重新配置主从。否则会报错，重新配置主从，需要在从机上执行

    stop slave;

reset master; # 删除Master中所有的binlog文件，并将日志索引文件清空，重新开始所有新的日志文件（慎用）

3.7 后续

搭建主从复制：双主双从，待学习完Mycat再补充

4. 同步数据一致性问题

主从同步的要求：

  • 读库和写库的数据一致(最终一致)；
  • 写数据必须写到写库；
  • 读数据必须到读库(不一定)；

4.1 理解主从延迟问题

进行主从同步的内容是二进制日志，它是一个文件，在进行 网络传输 的过程中就一定会 存在主从延迟（比如 500ms），这样就可能造成用户在从库上读取的数据不是最新的数据，也就是主从同步中的 数据不一致性 问题。

4.2 主从延迟问题原因

在网络正常的时候，日志从主库传给从库所需的时间是很短的，即T2-T1的值是非常小的。即，网络正常情况下，主备延迟的主要来源是备库接收完binlog和执行完这个事务之间的时间差。

主备延迟最直接的表现是，从库消费中继日志（relay log）的速度，比主库生产binlog的速度要慢。造成原因：

  1. 从库的机器性能比主库要差
  2. 从库的压力大
  3. 大事务的执行

举例1：一次性用delete语句删除太多数据

结论：后续再删除数据的时候，要控制每个事务删除的数据量，分成多次删除。

举例2：一次性用insert…select插入太多数据

举例3：大表DDL
比如在主库对一张500W的表添加一个字段耗费了10分钟，那么从节点上也会耗费10分钟。

4.3 如何减少主从延迟

  1. 降低多线程大事务并发的概率，优化业务逻辑
  2. 优化SQL，避免慢SQL， 减少批量操作 ，建议写脚本以update-sleep这样的形式完成
  3. 提高从库机器的配置 ，减少主库写binlog和从库读binlog的效率差
  4. 尽量采用 短的链路 ，也就是主库和从库服务器的距离尽量要短，提升端口带宽，减少binlog传输的网络延时
  5. 实时性要求的业务读强制走主库，从库只做灾备，备份

4.4 如何解决一致性问题

如果操作的数据存储在同一个数据库中，那么对数据进行更新的时候，可以对记录加写锁，这样在读取的时候就不会发生数据不一致的情况。但这时从库的作用就是 备份 ，并没有起到 读写分离 ，分担主库读压力 的作用。

读写分离情况下，解决主从同步中数据不一致的问题， 就是解决主从之间 数据复制方式 的问题，如果按照数据一致性 从弱到强 来进行划分，有以下 3 种复制方式。

方法 1：异步复制

异步模式就是客户端提交 COMMIT 之后不需要等从库返回任何结果，而是直接将结果返回给客户端，这样做的好处是不会影响主库写的效率，但可能会存在主库宕机，而 Binlog 还没有同步到从库的情况，也就是此时的主库和从库数据不一致。这时候从从库中选择一个作为新主，那么新主则可能缺少原来主服务器中已提交的事务。所以，这种复制模式下的数据一致性是最弱的。

在这里插入图片描述

方法 2：半同步复制

MySQL5.5 版本之后开始支持半同步复制的方式。原理是在客户端提交 COMMIT 之后不直接将结果返回给客户端而是等待至少有一个从库接收到了 Binlog，并且写入到中继日志中，再返回给客户端。

这样做的好处就是提高了数据的一致性，当然相比于异步复制来说，至少多增加了一个网络连接的延迟，降低了主库写的效率。

在 MySQL5.7 版本中还增加了一个 rpl_semi_sync_master_wait_for_slave_count 参数，可以对应答的从库数量进行设置，默认为 1，也就是说只要有1个从库进行了响应，就可以返回给客户端。如果将这个参数调大可以提升数据一致性的强度，但也会增加主库等待从库响应的时间。

在这里插入图片描述

方法 3：组复制

异步复制和半同步复制都无法最终保证数据的一致性问题，半同步复制是通过判断从库响应的个数来决定是否返回给客户端，虽然数据一致性相比于异步复制有提升，但仍然无法满足对数据一致性要求高的场景，比如金融领域。MGR 很好地弥补了这两种复制模式的不足。

组复制技术，简称 MGR（MySQL Group Replication）。是 MySQL 在 5.7.17 版本中推出的一种新的数据复制技术，这种复制技术是基于 Paxos 协议的状态机复制。

MGR 是如何工作的

首先我们将多个节点共同组成一个复制组，在 执行读写（RW）事务 的时候，需要通过一致性协议层（Consensus 层）的同意，也就是读写事务想要进行提交，必须要经过组里“大多数人”（对应 Node 节点）的同意，大多数指的是同意的节点数量需要大于 （N/2+1），这样才可以进行提交，而不是原发起方一个说了算。而针对 只读（RO）事务 则不需要经过组内同意，直接 COMMIT 即可。

在一个复制组内有多个节点组成，它们各自维护了自己的数据副本，并且在一致性协议层实现了原子消息和全局有序消息，从而保证组内数据的一致性。

在这里插入图片描述

MGR 将 MySQL 带入了数据强一致性的时代，是一个划时代的创新，其中一个重要的原因就是MGR 是基于 Paxos 协议的。Paxos 算法是由 2013 年的图灵奖获得者 Leslie Lamport 于 1990 年提出的，有关这个算法的决策机制可以搜一下。事实上，Paxos 算法提出来之后就作为 分布式一致性算法 被广泛应用，比如Apache 的 ZooKeeper 也是基于 Paxos 实现的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1183687.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

关于WMS三个核心问题的解读

关于WMS三个核心问题的解读

一、企业是否需要上WMS系统，可以从以下五个方面入手： 1.库存管理状况：了解企业的库存管理状况，是否存在库存冗余、漏洞、过度采购、库存盘点不准确等问题。 2.物流效率水平：需要了解企业物流效率水平，包括…
阅读更多...
全网最全的设计模式专栏完结，建议点赞收藏

全网最全的设计模式专栏完结，建议点赞收藏

引言 代码写得烂可能并不是他的问题，推这个专栏给他看看。 本系列是《和8年游戏主程一起学习设计模式》，让糟糕的代码在潜移默化中升华。 大家好，白驹过隙，岁月如梭。本系列文章终于迎来了完结，距离开始已经一个多月…
阅读更多...
阿里云Intel Xeon Platinum可扩展处理器性能如何？

阿里云Intel Xeon Platinum可扩展处理器性能如何？

阿里云Intel Xeon Platinum可扩展处理器性能如何？目前云服务器ECS经济型e实例采用该款CPU型号，正好阿里云服务器网购买了一台2核CPU、2G内存、3M固定带宽、40G ESSD Entry云盘，一年优惠价99元，第二年续费不涨价依旧是99元一年&…
阅读更多...
nerdctl install【nerdctl 安装】

nerdctl install【nerdctl 安装】

文章目录 1. 在线安装2. 离线安装 1. 在线安装 #!/bin/bashsource ./config.shENABLE_DOWNLOAD${ENABLE_DOWNLOAD:-true}if [ ! -e files ]; thenmkdir -p files fiFILES_DIR./files if $ENABLE_DOWNLOAD; thenFILES_DIR./tmp/filesmkdir -p $FILES_DIR fi# download files, i…
阅读更多...
25期代码随想录算法训练营第十天 | 栈与队列 part 1

25期代码随想录算法训练营第十天 | 栈与队列 part 1

目录 232.用栈实现队列225. 用队列实现栈 232.用栈实现队列 链接 相当于用两个stack将队列的元素顺序颠倒了一遍。 class MyQueue:def __init__(self):self.stack_in []self.stack_out []def push(self, x: int) -> None:self.stack_in.append(x)def pop(self) -> in…
阅读更多...
《2023中国各地区科创之星势力图2.0版》重磅发布

《2023中国各地区科创之星势力图2.0版》重磅发布

数据猿出品 本次“数据猿2023年度三大媒体策划活动——《2023中国各地区科创之星势力图2.0版》”的发布，是数据猿在2023年1.0版本的基础上，迭代升级的2023开年的第二个版本。本年度下一次版本迭代将于2024年1月发布2023年3.0版，敬请期待&…
阅读更多...
SpringCloud 微服务全栈体系（十三）

SpringCloud 微服务全栈体系（十三）

第十一章 分布式搜索引擎 elasticsearch 二、索引库操作 索引库就类似数据库表，mapping 映射就类似表的结构。 我们要向 es 中存储数据，必须先创建“库”和“表”。 1. mapping 映射属性 mapping 是对索引库中文档的约束，常见的 mapping …
阅读更多...
王道p18 第12题假设 A中的 n个元素保存在一个一维数组中，请设计一个尽可能高效的算法，找出A的主元素。若存在主元素，则输出该元素:否则输出-1

王道p18 第12题假设 A中的 n个元素保存在一个一维数组中，请设计一个尽可能高效的算法，找出A的主元素。若存在主元素，则输出该元素:否则输出-1

视频讲解在：👇 p18 第12题 c语言实现王道数据结构课后习题_哔哩哔哩_bilibili 从前向后扫描数组元素，标记出一个可能成为主元素的元素 Num。然后重新计数，确认 Num 是否是主元素。 我们可分为以下两步: 1.选取候选的主元素。依…
阅读更多...
JVM运行时数据区-虚拟机栈

JVM运行时数据区-虚拟机栈

目录 一、内存中的栈 二、基本内容 三、优点 四、栈的存储单位 五、栈运行原理 六、栈的内部结构 （一）局部变量表 （二）操作数栈 （三）动态链接 （四）方法返回地址 &#xf…
阅读更多...
接口开发之使用C#插件Quartz.Net定时执行CMD任务工具

接口开发之使用C#插件Quartz.Net定时执行CMD任务工具

C#制作定时任务工具执行CMD命令 概要准备知识点实现原理thinkphp配置winform执行CMD命令读取ini配置文件定时任务Quartz.Net 完整代码Job.csIniFunc.csForm1.csconfig.ini简易定时任务工具雏形 概要 很多时候写接口上线后还会遇到很多修改，类似JAVA,C#,delphi制作的…
阅读更多...
Hello Vue！

Hello Vue！

目录 前言 hello vue 为什么要new Vue(),而不能直接调用Vue()? Vue构造函数中的形参options template配置项 $mount()方法 前言 从此篇博客开始，将开启vue的学习，查缺补漏。 只要学计算机语言，那么hello xxx那一定是入门第一行代码了…
阅读更多...
设备树插件_configfs学习笔记

设备树插件_configfs学习笔记

设备树插件定义和作用 ​ 设备树插件（Device Tree Overlay） 是一种用于设备树（Device Tree）的扩展机制。 ​ 设备树插件允许在运行时动态修改设备树结构的内容，以便添加、修改或删除设备节点和属性。嵌入式驱动开发者将…
阅读更多...
[Python图像处理] 基于图像均值消除随机噪声

[Python图像处理] 基于图像均值消除随机噪声

基于图像均值消除随机噪声 前言图像均值计算去除图像噪声相关链接 前言 在本节中，我们将学习如何从一组带有噪声的输入图像中估算一个无噪声的图像，所有图像都是通过使用原始(无噪声)图像像素添加独立同分布的随机噪声创建的，只需计算噪声图…
阅读更多...
智能手表上的音频（三）：音频文件播放

智能手表上的音频（三）：音频文件播放

上篇讲了智能手表上音频相关的驱动。本篇开始讲具体的功能，先讲音频文件播放。 音频文件格式众多，目前我们仅支持了最常见的几种：WAV/MP3/AAC/AMR(主要用于播放录音文件)。相对于播放WAV(即PCM)，MP3/AAC/AMR多了个解码过程。音频文…
阅读更多...
Synchronized关键字详解

Synchronized关键字详解

1. Synchronized简介及使用 1.1 简介 在Java中，synchronized 是一个关键字，用于实现多线程环境下的同步控制，确保线程安全性。它可以应用于方法、代码块或静态方法上，提供了对临界区（共享资源）的互斥访问…
阅读更多...
Python知识点——高维数据的格式化

Python知识点——高维数据的格式化

常用JSON格式对高维数据进行表达和存储&#xff1a; 常见的高维数据最典型的例子&#xff1a;<key,value>键值对 JSON格式表达键值对<key, value>的基本格式如下&#xff0c;键值对都保存在双引号中&#xff1a; "key" : "value" Json库 dump…
阅读更多...
前后端交互常见的几种数据传输格式 form表单+get请求 form表单+post请求 json键值对格式

前后端交互常见的几种数据传输格式 form表单+get请求 form表单+post请求 json键值对格式

目录 1. get请求 query string 2.form表单get请求 3..form表单post请求 4..json格式 5.总结 1. get请求 query string 前端通过get请求携带 query string&#xff08;键值对&#xff09; ,后端通过req.getParameter(key)方法获取数据。如果key不存在&#xff0c;获取到的就…
阅读更多...
苹果手机钱包怎么付款？教你如何使用Apple Pay支付

苹果手机钱包怎么付款？教你如何使用Apple Pay支付

苹果钱包是iPhone手机的一项实用功能&#xff0c;可以将银行卡、信用卡、交通卡、学生证等收纳在其中。在日常生活中&#xff0c;手机支付变得越来越方便。那么&#xff0c;如何在苹果手机上使用Apple Pay进行支付呢&#xff1f;苹果手机钱包怎么付款&#xff1f;下面请跟着小编…
阅读更多...
Redis小记（一）

Redis小记（一）

NoSQL数据库简识 引入 随着web时代的到来&#xff0c;PC端和移动端的用户越来越多&#xff0c;之前的单体服务器已经承载不住这么大量的访问请求操作&#xff0c;如今就演化成了下图这种&#xff0c;通过ngnix负载均衡&#xff0c;将请求以分摊到多个不同的服务器上&#xff…
阅读更多...
微信小程序rich-text里面写单行溢出显示省略号在ios中不显示的问题

微信小程序rich-text里面写单行溢出显示省略号在ios中不显示的问题

项目用uniapp开发。然后赋值用v-html来写。&#xff08;v-html可以转换html格式并且展示。运行到小程序里面是用rich-text标签展示&#xff09; 原来返回的item.titleName如下&#xff1a;<font style"color: #ff4343;">测试</font>课程名称长度加加加爱…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023