【Redis】Redis 的主从同步

news2024/12/23 13:40:26

【Redis】Redis 的主从同步

很多企业都没有使用 Redis 的集群,但是至少都做了主从。有了主从,当主节点(Master) 挂掉的时候,运维让从节点 (Slave) 过来接管,服务就可以继续,否则主节点需要经过数据恢复和重启的过程,这就可能会拖延很长的时间,从而影响线上业务的持续服务。

尽管 Redis 的性能很好,但是有时候依旧满足不了应用的需要,比如过多的用户进入主页.导致 Redis 被频繁访问,此时就存在大量的读操作。在一些热门网站,某个时刻(比如促销商品的时候)有每秒成千上万的请求是司空见惯的,这个时候大量的读操作会到达 Redis 服务器.触发许许多多的操作,显然靠一台 Redis 服务器是完全不够用的。一些服务网站对安全性有较高的要求,当主服务器不能正常工作时,需要从服务器代替原来的主服务器作为灾备,以保证系统可以继续正常工作。因此更多的时候我们希望可以读/写分离,读/写分离的前提是读操作远远比写操作频繁得多,如果把数据存放在多台服务器上,就可以从多台服务器中读取数据,从而减轻单台服务器的压力了,读/写分离的技术已经广泛用于数据库中。

​ 在了解 Redis 的主从复制之前,让我们先来理解一下现代分布式系统的理论基石——CAP 原理。

CAP 原理

CAP 原理就好比分布式领域的牛顿定律,它是分布式存储的理论基石。自从CAP的论文发表之后,分布式存储中间件犹如雨后春笋般涌现出来。理解这个原理其实很简单,本节我们首先对这个原理进行简单的讲解。

  • C:Consistent,一致性
  • A:Availability,可用性
  • P:Partition tolerance ,分区容忍性

分布式系统的节点往往都是分布在不同的机器上进行网络隔离开的,这意味着必然会有网络断开的风险,这个网络断开的场景的专业词汇叫作网络分区

如下图所示,在网络分区发生时,两个分布式节点之间无法进行通信,我们对一个节点进行的修改操作将无法同步到另外一个节点,所以数据的一致性将无法满足,因为两个分布式节点的数据不再保持一致。除非我们牺牲可用性,也就是暂停分布式节点服务,在网络分区发生时,不再提供修改数据的功能,直到网络状况
完全恢复正常再继续对外提供服务。

在这里插入图片描述

用一句话概括 CAP 原理就是: 当网络分区发生时,一致性和可用性两难全

最终一致

Redis的主从数据是异步同步的,所以分布式的 Redis系统并不满足一致性要求当客户端在 Redis的主节点修改了数据后,立即返回,即使在主从网络断开的情况下主节点依旧可以正常对外提供修改服务,所以 Redis 满足可用性

Redis 保证最终一致性,从节点会努力追赶主节点,最终从节点的状态会和主节点的状态保持一致。如果网络断开了,主从节点的数据将会出现大量不一致,但一旦网络恢复,从节点会采用多种策略努力追赶,继续尽力保持和主节点一致。

主从同步与从从同步

Redis 同步支持主从同步和从从同步,从从同步功能是 Redis 后续版本增加的功能,以减轻主节点的同步负担。后面为了描述上的方便,统一理解为主从同步。

增量同步

Redis 同步的是指令流,主节点会将那些对自己的状态产生修改性影响的指令录在本地的内存 buffer 中,然后异步将 bufer 中的指令同步到从节点,从节点一边执行同步的指令流来达到和主节点一样的状态,一边向主节点反馈自己同步到哪里了(偏移量)。

​ 因为内存的 buffer 是有限的,所以 Redis 主节点不能将所有的指令都记录在内存 buffer 中。Redis 的复制内存 buffer是一个定长的环形数组,如图所示,如果数组内容满了,就会从头开始覆盖前面的内容。

在这里插入图片描述

​ 如果因为网络状况不好,从节点在短时间内无法和主节点进行同步,那么当网络状况恢复时,Redis 的主节点中那些没有同步的指令在buffer 中有可能已经被后续的指令覆盖掉了,从节点将无法直接通过指令流来进行同步,这个时候就需要用到更加复杂的同步机制一一快照同步。

快照同步

​ 快照同步是一个非常耗费资源的操作,如图所示,它首先需要在主节点上进行一次 bgsave,将当前内存的数据全部快照到磁盘文件中,然后再将快照文件的内容全部传送到从节点。从节点将快照文件接受完毕后,立即执行一次全量加载,加载之前先要将当前内存的数据清空,加载完毕后通知主节点继续进行增量同步。

在这里插入图片描述

​ 在整个快照同步进行的过程中,主节点的复制 buffer 还在不停地往前移动,如果快照同步的时间过长或者复制 buffer 太小,都会导致同步期间的增量指令在复制 buffer 中被覆盖,这样就会导致快照同步完成后无法进行增量复制,然后会再次发起快照同步,如此极有可能会陷入快照同步的死循环。所以务必配置一个合适的复制 buffer 大小参数,避免快照复制的死循环。

Redis 主从同步基础概念

互联网系统一般以主从架构为基础,所谓主从架构设计的思路大概如下。

  • 在多台数据服务器中,只有一台主服务器,而主服务器只负责写入数据,不负责让外部程序读取数据。
  • 存在多台从服务器,从服务器不写入数据,只负责同步主服务器的数据,并让外部程序读取数据。
  • 主服务器在写入数据后,即刻将写入数据的命令发送给从服务器,从而使得主从数据同先。
  • 应用程序可以随机读取某一台从服务器的数据,这样就分摊了读数据的压力。
  • 当从服务器不能工作的时候,整个系统将不受影响;当主服务器不能工作的时候,可以方便地从从服务器中选取一台来当主服务器。

请注意上面的思路,我用了“大概”这两个字,因为这只是一种大概的思路,每一种数据存储软件都会根据其自身的特点对上面的这几点思路加以改造,但是万变不离其宗,只要理解了这几点就很好理解 Redis 的复制机制。主从同步机制如下图所示。

在这里插入图片描述

这个时候读数据可以随机从从服务器上读取,当从服务器是多台的时候,单台服务器的压力就大大降低了,这十分有利于系统性能的提高,当主服务器出现不能工作的情况时,也可以切换为其中的一台从服务器继续让系统稳定运行,所以也有利于系统运行的安全。当然,由于Redis 自身具备的特点,所以其也有实现主从同步的特殊方式。

首先,明确主机,我们将从主机复制数据发往从机:其次,明确从机。有了这两点后,就可以进行进一步配置了;再次,看 redis.conf 文件,这里要关注的只有 replicaof这个配置选项,它的配置格式是:

replicaof <masterip> <masterport>

其中,masterip 代表主机,masterport 代表端口。当从机 Redis 服务重启时,就会同步主机的数据。当不想让从机继续复制主机的数据时,可以在从机执行命令

replicaof no one

这样从机就不会再接收主机更新的数据了。又或者原来的主机已经无法工作了,需要复制新的主机,这个时候执行

replicaof <masterip> <masterport>

就能让从机复制另外一台主机的数据了。

在实际的 Linux 环境中,配置文件 redis.conf中还有一个bind 的配置,默认为127.0.0.1也就是只允许本机访问,这里需要修改它,将其配置为0.0.0.0,这样其他的服务器就能够访问了。

Redis 主从同步的过程

Redis 主从同步的过程如下图所示。

在这里插入图片描述

上图中左边的流程是主服务器,右边的流程是从服务器,这里有必要进行更深层次的描述。

(1)无论如何要先保证主服务器开启,开启主服务器后,从服务器通过命令或者重启配置项可以同步到主服务器。

(2)当从服务器启动时,读取同步的配置,根据配置决定是否使用当前数据响应客户端,然后发送SYNC命令。当主服务器接收到同步命令时,就会执行 bgsave 命令备份数据,但是主服务器并不会拒绝客户端的读/写,而是将来自客户端的写命令写入缓冲区。从服务器未收到主服务器备份的快照文件时,会根据其配置决定使用现有数据响应或者拒绝客户端请求。

(3)当bgsave 命令被主服务器执行完后,开始向从服务器发送备份文件,这个时候从服务器就会丢弃所有现有的数据,开始载入主服务器发送的快照文件。

(4)当主服务器发送完备份文件后,从服务器就会执行这些写入命令。此时就会把 bgsave执行之后的缓存区内的写命令也发送给从服务器,从服务完成备份文件解析,就开始像往常-样,接收命令,等待命令写入。

(5)缓冲区的命令发送完成后,主服务器执行完一条写命令,就向从服务器发送同步写入命令,从服务器就和主服务器保持一致了。而此时当从服务器完成主服务器发送的缓冲区命令后,就开始等待主服务器的命令了。

以上5步就是 Redis 主从同步的过程。

**在主服务器同步到从服务器的过程中,需要备份文件,所以在配置的时候一般需要预留-些内存空间给主服务器,用以执行备份命令。**一般来说主服务器使用 50%~65%的内存空间,以为主从复制留下可用的内存空间。

多从机同步机制,如下图所示。

在这里插入图片描述

如果出现多台同步,那么可能出现频繁等待和操作 bgsave 命令的情况,导致主机在较长时间里性能不佳,这个时候我们会考虑主从链同步的机制,以减少这种可能。

不过复制功能也不是必需的,如果你只用 Redis做缓存,跟 memcache 一样对待也就不需要从节点做备份,挂掉了重新启动一下就行。但是只要你使用了 Redis 的持久化功能,就必须认真对待主从复制,它是系统数据安全的基础保障。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/892306.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2.SpringMvc中Model、ModelMap和ModelAndView使用详解

1.前言 最近SSM框架开发web项目&#xff0c;用得比较火热。spring-MVC肯定用过&#xff0c;在请求处理方法可出现和返回的参数类型中&#xff0c;最重要就是Model和ModelAndView了&#xff0c;对于MVC框架&#xff0c;控制器Controller执行业务逻辑&#xff0c;用于产生模型数据…

使用JMeter创建数据库测试

好吧&#xff01;我一直觉得我不聪明&#xff0c;所以&#xff0c;我用最详细&#xff0c;最明了的方式来书写这个文章。我相信&#xff0c;我能明白的&#xff0c;你们一定能明白。 我的环境&#xff1a;MySQL&#xff1a;mysql-essential-5.1.51-win32 jdbc驱动&#xff1a;…

python有绿色版软件吗,python绿色版运行程序

大家好&#xff0c;给大家分享一下python有绿色版软件吗&#xff0c;很多人还不知道这一点。下面详细解释一下。现在让我们来看看&#xff01; 简介 本文介绍使用 conda 命令&#xff08;来自 Anaconda 软件包&#xff09;创建绿色便携版 python 的方法。此版本不但有 Python 的…

【C++初阶】引用计数和写时拷贝是什么?用来干嘛的?

&#x1f466;个人主页&#xff1a;Weraphael ✍&#x1f3fb;作者简介&#xff1a;目前学习C和算法 ✈️专栏&#xff1a;C航路 &#x1f40b; 希望大家多多支持&#xff0c;咱一起进步&#xff01;&#x1f601; 如果文章对你有帮助的话 欢迎 评论&#x1f4ac; 点赞&#x1…

jeecgboot-vue3 查询区 label 文字居左实现

以系统管理中的系统角色界面为例 操作步骤 1. 通过路由或者工具找到当前代码所在的文件 src/views/system/role/index.vue 2. 找到 useListPage 调用&#xff0c;fromConfig 对象加入 labelWidth 和 rowProps 属性 formConfig: {labelWidth: 65, // 设置所有的label宽rowPr…

badgerdb里面的事务

事务的ACID A 原子性&#xff08;Atomicity&#xff09; 多步骤操作&#xff0c;只能是两种状态&#xff0c;要么所有的步骤都成功执行&#xff0c;要么所有的步骤都不执行&#xff0c;举例说明就是小明向小红转账30元的场景&#xff0c;拆分成两个步骤&#xff0c;步骤1&#…

13、Redis与Mysql数据双写一致性

Redis与Mysql数据双写一致性 1、 复习&#xff0b;面试题 先动Mysql&#xff0c;再动Redis&#xff0c;两害相衡取其轻&#xff0c;避免Redis业务key突然消失&#xff0c;多线程请求集火打满mysql 动&#xff0c;写操作&#xff0c;先更新数据库&#xff0c;在删除缓存。回写的…

面试时如何回答接口测试怎么进行

一、什么是接口测试 接口测试顾名思义就是对测试系统组件间接口的一种测试&#xff0c;接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换&#xff0c;传递和控制管理过程&#xff0c;以及系统间的相互逻辑依赖关系等。 …

基础课-不等式

1.记录 最小公倍数是最大公约数的倍数 2.均值不等式 和定积大 积定和小- 机顶盒小

83-基于stm32单片机DHT11温湿度监测报警系统Proteus仿真+源码

资料编号&#xff1a;083 一&#xff1a;功能介绍&#xff1a; 1、采用stm32单片机OLED显示屏DHT11温湿度蜂鸣器&#xff0c;制作一个温湿度采集&#xff0c;OLED显示相关数据&#xff0c; 2、通过按键设置温度上限、湿度上限&#xff1b; 3、当采集温度大于设置温度&#xff0…

Redis系列(三):深入解读Redis主从同步机制

首发博客地址 https://blog.zysicyj.top/ Redis高可靠靠什么保证&#xff1f; 为什么要提这个呢&#xff0c;因为Redis主从库目的呢其实就是为了实现高可靠。上篇文章中我们说过Redis的AOF、RDB日志其实就是为了减少数据丢失&#xff0c;这是高可靠的一部分。 这篇文章呢&#…

一次网络不通“争吵“引发的思考

作者&#xff1a; 郑明泉、余凯 为啥争吵&#xff0c;吵什么&#xff1f; “你到底在说什么啊&#xff0c;我K8s的ecs节点要访问clb的地址不通和本地网卡有什么关系…” 气愤语气都从电话那头传了过来&#xff0c;这时电话两端都沉默了。过了好一会传来地铁小姐姐甜美的播报声…

使用Druid解析SQL,获取SQL中所有使用的表

一、sqlParse组成 Druid SQL Parser分三个模块&#xff1a; - Parser - AST - Visitor 1.1 Parser parser是将输入文本转换为ast&#xff08;抽象语法树&#xff09;&#xff0c;parser有包括两个部分&#xff0c;Parser和Lexer&#xff0c;其中Lexer实现词法分析&#x…

vue项目根据word模版导出word文件

一、安装依赖 //1、docxtemplaternpm install docxtemplater pizzip -S//2、jszip-utilsnpm install jszip-utils -S//3、pizzipnpm install pizzip -S//4、FileSaver npm install file-saver --save二、创建word模版 也就是编辑一个word文档&#xff0c;文档中需要动态取值的…

【开源分享】在线客服系统搭建-基于php和swoole客服系统CRMchat(附源码完整搭建教程)...

CRMChat是一款开源的在线客服系统&#xff0c;后台管理使用thinkphp框架&#xff0c;消息通讯使用swoole扩展&#xff0c;现在我来部署搭建一下。 这是一款不可商用的开源客服系统&#xff0c;如果有商用需求可以访问我的网站&#xff1a;gofly.v1kf.com 域名解析 以阿里云为例…

C++笔记之unique_ptr转移堆内空间的所有权

C笔记之unique_ptr转移堆内空间的所有权 code review! 文章目录 C笔记之unique_ptr转移堆内空间的所有权一.C笔记之unique_ptr转移堆内空间的所有权方法1.使用std::move函数方法2.使用std::unique_ptr的reset方法方法3.返回unique_ptr方法4.std::unique_ptr的swap方法 二.uniq…

http学习笔记3

第 11 章 Web 的攻击技术 11.1 针对 Web 的攻击技术 简单的 HTTP 协议本身并不存在安全性问题&#xff0c;因此协议本身几乎不会成为攻击的对象。应用 HTTP 协议的服务器和客户端&#xff0c;以及运行在服务器上的 Web 应用等资源才是攻击目标。目前&#xff0c;来自互联网的攻…

LaWGPT零基础部署win10+anaconda

准备代码&#xff0c;创建环境 # 下载代码 git clone gitgithub.com:pengxiao-song/LaWGPT.git cd LaWGPT # 创建环境 conda create -n lawgpt python3.10 -y conda activate lawgpt pip install -r requirements.txt # 启动可视化脚本&#xff08;自动下载预训练模型约15GB&…

(三)行为模式:1、责任链模式(Chain of Responsibility Pattern)(C++示例)

目录 1、责任链模式&#xff08;Chain of Responsibility Pattern&#xff09;含义 2、责任链模式的UML图学习 3、责任链模式的应用场景 4、责任链模式的优缺点 5、C实现责任链模式的实例 1、责任链模式&#xff08;Chain of Responsibility Pattern&#xff09;含义 责任…

ElasticSearch相关概念

1、概述 先说Elasticsearch的文件存储&#xff0c;Elasticsearch是面向文档型数据库&#xff0c;一条数据在这里就是一个文档&#xff0c;用JSON作为文档序列化的格式&#xff0c;比如下面这条用户数据&#xff1a; {"name" : "John","sex"…