Redis进阶 - Redis主从

news2024/12/23 11:58:39

原文首更地址，阅读效果更佳！

Redis进阶 - Redis主从 | CoderMast编程桅杆icon-default.png?t=N5K3https://www.codermast.com/database/redis/redis-advance-master-slave.html

搭建主从架构

单节点 Redis 的并发能力是有上限的，要进一步提高 Redis 的并发能力，就需要搭建主从集群，实现读写分离。

在 Redis 5.0 以前，从节点都叫做 slave，在 5.0 版本以后被称为 replica，本质上是一个东西。

#1.集群结构

我们搭建的主从集群结构如图：

 

共包含三个节点，一个主节点，两个从节点。

这里我们会在同一台虚拟机中开启3个redis实例，模拟主从集群，信息如下：

IPPORT角色
192.168.150.1017001master
192.168.150.1017002slave
192.168.150.1017003slave

#2.准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

  1. 创建目录

我们创建三个文件夹，名字分别叫7001、7002、7003：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 进入/tmp目录</em></span>
<span style="color:#50a14f">cd</span> /tmp
<span style="color:#a0a1a7"><em># 创建目录</em></span>
<span style="color:#4078f2">mkdir</span> <span style="color:#b76b01">7001</span> <span style="color:#b76b01">7002</span> <span style="color:#b76b01">7003</span>
</code></span>
  1. 恢复原始配置

修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 开启RDB</em></span>
<span style="color:#a0a1a7"><em># save ""</em></span>
<span style="color:#b76b01">save</span> <span style="color:#50a14f">3600 1</span>
<span style="color:#b76b01">save</span> <span style="color:#50a14f">300 100</span>
<span style="color:#b76b01">save</span> <span style="color:#50a14f">60 10000</span>
 
<span style="color:#a0a1a7"><em># 关闭AOF</em></span>
<span style="color:#b76b01">appendonly</span> <span style="color:#50a14f">no</span>
</code></span>
  1. 拷贝配置文件到每个实例目录

然后将redis-6.2.4/redis.conf文件拷贝到三个目录中（在/tmp目录执行下列命令）：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 方式一：逐个拷贝</em></span>
<span style="color:#4078f2">cp</span> redis-6.2.4/redis.conf <span style="color:#b76b01">7001</span>
<span style="color:#4078f2">cp</span> redis-6.2.4/redis.conf <span style="color:#b76b01">7002</span>
<span style="color:#4078f2">cp</span> redis-6.2.4/redis.conf <span style="color:#b76b01">7003</span>
 
<span style="color:#a0a1a7"><em># 方式二：管道组合命令，一键拷贝</em></span>
<span style="color:#50a14f">echo</span> <span style="color:#b76b01">7001</span> <span style="color:#b76b01">7002</span> <span style="color:#b76b01">7003</span> <span style="color:#4078f2">|</span> <span style="color:#4078f2">xargs</span> <span style="color:#4078f2">-t</span> <span style="color:#4078f2">-n</span> <span style="color:#b76b01">1</span> <span style="color:#4078f2">cp</span> redis-6.2.4/redis.conf
</code></span>
  1. 修改每个实例的端口、工作目录

修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将rdb文件保存位置都修改为自己所在目录（在/tmp目录执行下列命令）：

<span style="color:#2c3e50"><code><span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/6379/7001/g'</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/dir .\//dir \/tmp\/7001\//g'</span> <span style="color:#b76b01">7001</span>/redis.conf
<span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/6379/7002/g'</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/dir .\//dir \/tmp\/7002\//g'</span> <span style="color:#b76b01">7002</span>/redis.conf
<span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/6379/7003/g'</span> <span style="color:#4078f2">-e</span> <span style="color:#50a14f">'s/dir .\//dir \/tmp\/7003\//g'</span> <span style="color:#b76b01">7003</span>/redis.conf
</code></span>
  1. 修改每个实例的声明IP

虚拟机本身有多个IP，为了避免将来混乱，我们需要在redis.conf文件中指定每一个实例的绑定ip信息，格式如下：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># redis实例的声明 IP</em></span>
<span style="color:#b76b01">replica-announce-ip</span> <span style="color:#50a14f">192.168.150.101</span>
</code></span>

每个目录都要改，我们一键完成修改（在/tmp目录执行下列命令）：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 逐一执行</em></span>
<span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#50a14f">'1a replica-announce-ip 192.168.150.101'</span> <span style="color:#b76b01">7001</span>/redis.conf
<span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#50a14f">'1a replica-announce-ip 192.168.150.101'</span> <span style="color:#b76b01">7002</span>/redis.conf
<span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#50a14f">'1a replica-announce-ip 192.168.150.101'</span> <span style="color:#b76b01">7003</span>/redis.conf
 
<span style="color:#a0a1a7"><em># 或者一键修改</em></span>
<span style="color:#50a14f">printf</span> <span style="color:#50a14f">'%s\n'</span> <span style="color:#b76b01">7001</span> <span style="color:#b76b01">7002</span> <span style="color:#b76b01">7003</span> <span style="color:#4078f2">|</span> <span style="color:#4078f2">xargs</span> -I<span style="color:#383a42">{</span><span style="color:#383a42">}</span> <span style="color:#4078f2">-t</span> <span style="color:#4078f2">sed</span> <span style="color:#4078f2">-i</span> <span style="color:#50a14f">'1a replica-announce-ip 192.168.150.101'</span> <span style="color:#383a42">{</span><span style="color:#383a42">}</span>/redis.conf
</code></span>

#3.启动

为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 第1个</em></span>
redis-server <span style="color:#b76b01">7001</span>/redis.conf
<span style="color:#a0a1a7"><em># 第2个</em></span>
redis-server <span style="color:#b76b01">7002</span>/redis.conf
<span style="color:#a0a1a7"><em># 第3个</em></span>
redis-server <span style="color:#b76b01">7003</span>/redis.conf
</code></span>

如果要一键停止，可以运行下面命令：

<span style="color:#2c3e50"><code><span style="color:#50a14f">printf</span> <span style="color:#50a14f">'%s\n'</span> <span style="color:#b76b01">7001</span> <span style="color:#b76b01">7002</span> <span style="color:#b76b01">7003</span> <span style="color:#4078f2">|</span> <span style="color:#4078f2">xargs</span> -I<span style="color:#383a42">{</span><span style="color:#383a42">}</span> <span style="color:#4078f2">-t</span> redis-cli <span style="color:#4078f2">-p</span> <span style="color:#383a42">{</span><span style="color:#383a42">}</span> <span style="color:#4078f2">shutdown</span>
</code></span>

#4.开启主从关系

现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。

有临时和永久两种模式：

  • 修改配置文件（永久生效）

    • 在redis.conf中添加一行配置：slaveof <masterip> <masterport>

  • 使用redis-cli客户端连接到redis服务，执行slaveof命令（重启后失效）：

    slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof，与salveof效果一致。

这里我们为了演示方便，使用方式二。

通过redis-cli命令连接7002，执行下面命令：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 连接 7002</em></span>
redis-cli <span style="color:#4078f2">-p</span> <span style="color:#b76b01">7002</span>
<span style="color:#a0a1a7"><em># 执行slaveof</em></span>
slaveof <span style="color:#b76b01">192.168</span>.150.101 <span style="color:#b76b01">7001</span>
</code></span>

通过redis-cli命令连接7003，执行下面命令：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 连接 7003</em></span>
redis-cli <span style="color:#4078f2">-p</span> <span style="color:#b76b01">7003</span>
<span style="color:#a0a1a7"><em># 执行slaveof</em></span>
slaveof <span style="color:#b76b01">192.168</span>.150.101 <span style="color:#b76b01">7001</span>
</code></span>

然后连接 7001节点，查看集群状态：

<span style="color:#2c3e50"><code><span style="color:#a0a1a7"><em># 连接 7001</em></span>
redis-cli <span style="color:#4078f2">-p</span> <span style="color:#b76b01">7001</span>
<span style="color:#a0a1a7"><em># 查看状态</em></span>
info replication
</code></span>

#5.测试

执行下列操作以测试：

  • 利用redis-cli连接7001，执行set num 123

  • 利用redis-cli连接7002，执行get num，再执行set num 666

  • 利用redis-cli连接7003，执行get num，再执行set num 888

可以发现，只有在7001这个master节点上可以执行写操作，7002和7003这两个slave节点只能执行读操作。

#数据同步原理

#全量同步

主从第一次同步是全量同步：

 

master 是如何判断 slave 是不是第一次来同步数据？这里会用到两个很重要的概念：

  • Replication ID：简称replid，是数据集的标记，id 一致则说明是同一数据集。每一个 master 都有位移的 replid，slave 则会继承 master 节点的 replid。

  • Offset：偏移量，随着记录在 repl_baklog 中的数据增多而逐渐增大。slave 完成同步时也会记录当前同步的 offset。如果 slave 的 offset 小于 master 的 offset，说明 slave 数据落后于 master，需要更新。

因此 slave 做数据同步，必须想 master 声明自己的 replication id 和 offset，master 才可以判断到底需要同步哪些数据。

先判断 replication id 是否相同，再判断 offset 的大小关系。

全量同步的流程

  1. slave 节点请求增量同步
  2. master 节点判断 replid，发现不一致，拒绝增量同步。
  3. master 将完整内存数据生成 RDB，发送 RDB到 slave
  4. slave 清空本地数据，加载master 的 RDB
  5. master 将 RDB 期间的命令记录在 repl_baklog，并持续将 log 中的命令发送给 slave
  6. slave 收到接受的命令，保持与 master 之间的同步。

#增量同步

主从第一次同步是全量同步，但如果 slave 冲去后同步，则执行增量同步。

 

注意

repl_baklog 大小有上限，写满以后会覆盖最早的数据。如果 slave 断开时间过久，导致数据被覆盖，则无法实现增量同步，只能再次全量同步。

可以从以下几个方面来优化 Redis 主从集群：

  • 在 master 中配置 repl_diskless-sync yes 启用无磁盘复制，避免全量同步时的磁盘 IO。一般适用于网络带宽较大的情况下。
  • Redis 单节点上的内存占用不要太大，减少 RDB 导致的过多磁盘 IO。
  • 适当提高 repl_baklog 的大小，发现 slave 宕机时尽快实现故障恢复，尽可能避免全量同步
  • 限制一个 master 上的 slave 节点数量，如果实在是太多 slave，则可以采用 主-从-从链式结构，减少 master 压力

 

#总结

简述全量同步和增量同步的区别？

  • 全量同步：master 将完整内存数据生成 RDB，发送 RDB 到 slave。后续命令则记录在repl_baklog，逐个发送给 slave。
  • 增量同步：slave 提交自己的 offset 到 master，master 获取 repl_baklog 中从 offset 之后的命令给 slave

什么时候执行全量同步？

  • slave 节点第一次连接 master 节点时。
  • slave 节点断开时间太久，repl_baklog 中的 offset 已经被覆盖时

什么时候执行增量同步？

  • slave 节点断开又恢复，并且在 repl_baklog 中能找到 offset 时。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/681539.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CSS3技巧35：滚动的条纹背景

CSS3技巧35：滚动的条纹背景

感觉好久没更博客了&#xff0c;虽然我经常登录看下粉丝数。O(∩_∩)O 端午节摆烂&#xff0c;休息了下&#xff0c;恢复下元气。 节后开始满负荷工作。 ---------------------------正文开始------------------------------------------ 做进度条的时候&#xff0c;有时候会…
阅读更多...
Tomcat【部署zrlog】

Tomcat【部署zrlog】

目录 目录 1、单节点部署zrlog【192.168.200.121】 1.1、 创建数据库、远程登录用户 1.2、 浏览器访问 2、 LB集群-构建-部署zrlog-NFS共享存储 2.1、 安装、配置LB【192.168.200.120】 2.2、 NFS-资源共享【192.168.200.125】 3、配置tomcat访问日志中记录真实IP 1、单…
阅读更多...
[元带你学: eMMC协议详解 20] emmc的命令（cmd）、响应（resp）详解

[元带你学: eMMC协议详解 20] emmc的命令（cmd）、响应（resp）详解

依JEDEC eMMC 5.1及经验辛苦整理&#xff0c;付费内容&#xff0c;禁止转载。 所在专栏 《元带你学: eMMC协议详解》 内容摘要 全文 8100字&#xff0c; 主要内容 对eMMC的command进行详细介绍&#xff0c;主要包含如下内容&#xff1a; (1) emmc命令有哪些 (2) 使用不同命…
阅读更多...
Java POI （1）—— 数据读写操作快速入门

Java POI （1）—— 数据读写操作快速入门

一、Excel的版本区别&#xff08;03版和07版&#xff09; 所谓“03版” 和 “07版”&#xff0c;指的是 Microsoft Excel 版本号。这些版本号代表着不同的Excel 文件格式。2003版 Excel 使用的文件格式为 .xls&#xff0c;而2007版开始使用新的文件格式 .xlsx。 . xlsx 文件格式…
阅读更多...
Unreal 5 蓝图常用的一些节点和规范

Unreal 5 蓝图常用的一些节点和规范

命名规范 蓝图类以 BP_作为前缀 对应Blue Print 混合空间以 BS_作为前缀 Blend Space 静态网格体以 SM_作为前缀 StaticMesh 骨骼网格体以 SK_作为前缀 Skeletal Mesh 纹理以 T_作为前缀 Texture 粒子系统 以 PS_作为前缀 Particle System 主材质以 M_作为前缀 Material 材质子…
阅读更多...
手术机器人常见骨科手术 TKA UKA HTO

手术机器人常见骨科手术 TKA UKA HTO

TKA UKA HTO 首先这几种手术都是常见的手术&#xff0c;下面先进行常见的但要介绍&#xff1a; 近年来有大量的研究聚焦于手术方式的对比&#xff0c;这里先就现有证据对「HTO」、单髁置换「UKA」和全膝置换「TKA」做一个简要的总结&#xff0c;以便于速查&#xff1a; TKA 不…
阅读更多...
熵权法步骤及例题讲解

熵权法步骤及例题讲解

一、基本原理 在信息论中&#xff0c;熵是对不确定性的一种度量。不确定性越大&#xff0c;熵就越大&#xff0c;包含的信息量越大&#xff1b;不确定性越小&#xff0c;熵就越小&#xff0c;包含的信息量就越小。 根据熵的特性&#xff0c;可以通过计算熵值来判断一个事件的随…
阅读更多...
【玩转Linux操作】详细讲解shell的注释，变量，字符串，数组等操作

【玩转Linux操作】详细讲解shell的注释，变量，字符串，数组等操作

&#x1f38a;专栏【玩转Linux操作】 &#x1f354;喜欢的诗句&#xff1a;更喜岷山千里雪 三军过后尽开颜。 &#x1f386;音乐分享【Counting Stars 】 欢迎并且感谢大家指出小吉的问题&#x1f970; 文章目录 &#x1f354;概述⭐注意⭐示例&#x1f3f3;️‍&#x1f308;然…
阅读更多...
scala的基本语法

scala的基本语法

注释 对于scala的注释&#xff0c;简而言之就是一句话&#xff0c;和java的注释一模一样 基本语法 &#xff08;1&#xff09;单行注释&#xff1a;// &#xff08;2&#xff09;多行注释&#xff1a;/* */ &#xff08;3&#xff09;文档注释&#xff1a;/****/代码示例&…
阅读更多...
samaphore、countdownlatch、cyclinarrier

samaphore、countdownlatch、cyclinarrier

目录 一、samaphore 1、介绍 2、应用 3、原理 二、countdownlatch 三、cyclicbarrier 一、samaphore 1、介绍 信号量&#xff0c;用来限制同时访问共享资源的线程上限。可以理解为停车场入口的提示排&#xff0c;标识有多少车位&#xff0c;有车位才能进去停车&#xf…
阅读更多...
ElasticSearch-使用IK分词器进行分词

ElasticSearch-使用IK分词器进行分词

使用KIbana测试IK分词器 打开开发工具台 ik_smart 最少分词器 分词结果比较少 GET _analyze{"analyzer": "ik_smart","text": "中国共产党"}ik_max_word 颗粒度最细分词器 分词结果比较多,组成各种结果,穷尽词库的可能&#xff01…
阅读更多...
easypan前端学习

easypan前端学习

文章目录 前端项目node 版本node镜像构建项目创建项目安装项目所有依赖 图片资源网站encodeURI & decodeURIapp.config.globalProperties与getCurrentInstanceObject.assignvue-cookies安装vue-cookies 使用vue-cookiesrouter.currentRoutepreserve logimport.meta.envRequ…
阅读更多...
QPaint绘制图形

QPaint绘制图形

流程 继承QWidget类&#xff0c;重写paintEvent方法&#xff0c;在其中使用QPainter进行绘图。 举例 创建项目&#xff0c;项目结构如下&#xff1a; // widget.h#ifndef WIDGET_H #define WIDGET_H#include <QWidget>QT_BEGIN_NAMESPACE namespace Ui { class Widget…
阅读更多...
TypeScript ~ TS 掌握编译文件配置项 ⑥

TypeScript ~ TS 掌握编译文件配置项 ⑥

作者 : SYFStrive 博客首页 : HomePage &#x1f4dc;&#xff1a; TypeScript ~ TS &#x1f4cc;&#xff1a;个人社区&#xff08;欢迎大佬们加入&#xff09; &#x1f449;&#xff1a;社区链接&#x1f517; &#x1f4cc;&#xff1a;觉得文章不错可以点点关注 &…
阅读更多...
git 上传下载

git 上传下载

文章目录 gitee/GitHub 是用来做什么的&#xff1f;什么时候需要学习上传项目到 gitee&#xff1f;为什么要将本地项目上传到 gitee&#xff1f;创建 gitee 仓库&#xff1a;在本地新建一个项目将仓库拉取到本地使用 idea 实现项目的上传下载gitee 仓库查看 下面我就来为大家介…
阅读更多...
第六章 习题（6789B）【计算机系统结构】

第六章 习题（6789B）【计算机系统结构】

第六章 习题【计算机系统结构】 前言推荐第六章 习题678911 最后 前言 2023-6-24 10:43:46 以下内容源自《【计算机系统结构】》 仅供学习交流使用 推荐 第五章 作业&#xff08;149A&#xff09;【计算机系统结构】 答案参考&#xff1a; https://www.docin.com/p-28456…
阅读更多...
LVDS (Low Voltage Differential Signaling）基础知识

LVDS (Low Voltage Differential Signaling）基础知识

LVDS(Low Voltage Differential Signaling&#xff09;: 是一种小振幅差分信号技术&#xff0c;它使用非常低的幅度信号 (250mV~450mv&#xff09;通过一对平行的 PCB 走线或平衡电缆传输数据。 在两条平行的差分信号线上流经的电流及电压振幅相反&#xff0c;噪声信号同时耦…
阅读更多...
小鱼C python - 集合的练习

小鱼C python - 集合的练习

题一&#xff1a;用字典实现集合的去重特性 1. 生成100个1&#xff5e;100的随机值 思路&#xff1a; 1. range 范围 2. random.randint(a,b) import random x [] for I in range(100):x.append(random.randint(1,100)) print(x) 2. x和y的交集 思路&#xff1a;1.遍历x,…
阅读更多...
通过 pGina 对 Windows 设备进行管理

通过 pGina 对 Windows 设备进行管理

文章目录 前言1、环境信息1.1、服务器端1.2、客户端 2、pGina 安装及配置2.1、下载并安装2.2、配置2.3、模拟测试2.4、Windows 远程登录测试 总结 前言 对 Windows 设备进行管理&#xff0c;一般是通过 AD 进行的&#xff0c;但是这玩意儿是收费的&#xff0c;而且还挺贵。有没…
阅读更多...
SpringSecurity(二):自定义认证(源码+落地实现)。

SpringSecurity(二):自定义认证(源码+落地实现)。

自定义认证 自定义资源权限规则资源分类自定义资源权限规则为什么我们要自定义呢&#xff1f;如何去覆盖呢&#xff1f;WebSecurityConfigurerAdapter它是干什么用的实例 自定义登录界面步骤源码解析 自定义登录成功处理&#xff08;前后端分离的情况&#xff09;项目环境succe…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023