服务(第二十六篇)redis的主从复制、哨兵、集群

news2024/11/18 9:30:25

主从复制:

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。

原理:

主从关系确定好后,开启从节点时,会发送一个sync的同步命令给主节点,主节点接收到后会把redis内存中的数据以快照的方式压缩保存成rdb文件,在这个期间如果有新的数据就会进行缓存保存,当rdb文件生成后会和缓存文件一起发送给从节点,从节点进行保存,这就完成了主从复制。

实验:

①安装redis(上篇文章有)

②修改主配置文件:

bind 0.0.0.0                                    #87行,修改监听地址为0.0.0.0

protected-mode no                        #111行,将本机访问保护模式设置no

port 6379                                       #138行,Redis默认的监听6379端口

daemonize yes                              #309行,设置为守护进程,后台启动

pidfile /usr/local/redis/log/redis_6379.pid         #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"      #354行,指定日志文件

dir /usr/local/redis/data                  #504行,指定持久化文件所在目录

#requirepass 123456                     #1037行,可选,设置redis密码

appendonly yes                              #1380行,开启AOF

③修改从配置文件:

bind 0.0.0.0                                    #87行,修改监听地址为0.0.0.0

protected-mode no                        #111行,将本机访问保护模式设置no

port 6379                                       #138行,Redis默认的监听6379端口

daemonize yes                              #309行,设置为守护进程,后台启动

pidfile /usr/local/redis/log/redis_6379.pid         #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6379.log"      #354行,指定日志文件

dir /usr/local/redis/data                  #504行,指定持久化文件所在目录

#requirepass 123456                     #1037行,可选,设置redis密码

#masterauth abc123                      #535行,可选,指定Master节点的密码,仅在Master节点设置了requirepass

appendonly yes                              #1380行,开启AOF

replicaof 192.168.80.10 6379         #528行,指定要同步的Master节点IP和端口

然后重启redis服务

④验证:

主节点上输入:redis-cli -a123456 info replication

 

哨兵模式:

哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移

哨兵模式的作用:
监控:哨兵会不断地检查主节点和从节点是否运作正常。

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。


哨兵结构由两部分组成,哨兵节点和数据节点:
哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
数据节点:主节点和从节点都是数据节点。

故障转移机制:

1.由哨兵节点定期监控发现主节点是否出现了故障
每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数哨兵节点认为该主节点主观下线了,这样就客观下线了。

2.当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一个哨兵节点为leader,来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。

3.由leader哨兵节点执行故障转移,过程如下:
将某一个从节点升级为新的主节点,让其它从节点指向新的主节点;
若原主节点恢复也变成从节点,并指向新的主节点;
通知客户端主节点已经更换。
 

主节点的选举:
1.过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点。
2.选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
3.选择复制偏移量最大,也就是复制最完整的从节点。
 

实验:三台机子配置一样

①哨兵模式的配置文件复制和给属主和属组

cp /opt/redis-7.0.9/sentinel.conf /usr/local/redis/conf/
chown redis.redis /usr/local/redis/conf/sentinel.conf

他就在redis的安装包里面

②修改配置文件

protected-mode no                               #6行,关闭保护模式
port 26379                                            #10行,Redis哨兵默认的监听端口
daemonize yes                                     #15行,指定sentinel为后台启动
pidfile /usr/local/redis/log/redis-sentinel.pid        #20行,指定 PID 文件
logfile "/usr/local/redis/log/sentinel.log"              #25行,指定日志存放路径
dir /usr/local/redis/data                                       #54行,指定数据库存放路径
sentinel monitor mymaster ip 6379 2                 #73行,修改 指定该哨兵节点监控ip这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
#sentinel auth-pass mymaster abc123                      #76行,可选,指定Master节点的密码,仅在Master节点设置了requirepass
sentinel down-after-milliseconds mymaster 3000      #114行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000               #214行,同一个sentinel对同一个master两次failover之间的间隔时间(180秒)
 

③启动sentinel:先启master,再启slave

cd /usr/local/redis/conf/
redis-sentinel sentinel.conf &

④查看哨兵信息:

redis-cli -p 26379 info Sentinel

 ⑤故障切换:

杀死主节点的哨兵进程

 

群集模式:

集群由多组节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。

集群的作用,可以归纳为两点:
(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。

(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。

Redis集群的数据分片:
Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽(编号0-16383)
集群的每组节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例:
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

实验:

①创建集群目录,并且创建节点服务器的目录:

cd /usr/local/redis/
mkdir -p redis-cluster/redis600{1..6}

② cp /opt/redis-7.0.9/redis.conf /usr/local/redis/redis-cluster/redis600{1..6}

复制redis.conf 到各个节点服务器的目录

③配置文件:

bind 127.0.0.1                                    #87行,注释掉bind项,默认监听所有网卡
protected-mode no                                #111行,关闭保护模式
port 6001(+1以此类推)                                        #138行,修改redis监听端口
daemonize yes                                    #309行,设置为守护进程,后台启动
pidfile /usr/local/redis/log/redis_6001.pid(+1以此类推)      #341行,指定 PID 文件
logfile "/usr/local/redis/log/redis_6001.log"(+1以此类推)    #354行,指定日志文件
dir ./                                            #504行,指定持久化文件所在目录
appendonly yes                                    #1379行,开启AOF
cluster-enabled yes                                #1576行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf(+1以此类推)                #1584行,取消注释,群集名称文件设置
cluster-node-timeout 15000                        #1590行,取消注释群集超时时间设置

④切换到各个文件中启动服务:

cd /usr/local/redis/redis-cluster/redis6001

./redis-server redis.conf

 ⑤然后用cp复制,sed命令去更改配置文件内容

 ⑥ps -ef | grep redis 查看是否都启动了

 ⑦启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

 ⑧查看各个主和从的对应,查看hash槽的范围:

 ⑨测试:

 查看键的hash值:cluster keyslot 键

查看节点的哈希槽编号范围:cluster slots    

集群扩容:

①创建6007和6008的目录,进行修改配置文件:

②创建一个新的主节点127.0.0.1:6007。命令里需要指定一个已有节点以便于获取集群信息(可以知道6007的信息了)

 ③将127.0.0.1:6008创建为127.0.0.1:6007的从节点。命令里需要指定一个已有节点以便于获取集群信息和主节点的node ID

 ④新加入的主节点是没有槽数的,只有初始化集群的时候,才会根据主的数据分配好,如新增的主节点,需要手动分配

 ⑤检测

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/546121.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[算法前沿]--009-HuggingFace介绍(大语言模型底座)

基础介绍 HuggingFace 是一家专注于自然语言处理(NLP)、人工智能和分布式系统的创业公司,创立于2016年。最早是主营业务是做闲聊机器人,2018年 Bert 发布之后,他们贡献了一个基于 Pytorch 的 Bert 预训练模型,即 pytorch-pretrained-bert,大受欢迎,进而将重心转向维护…

PoseiSwap以2500万美元估值,再获新一轮融资

近日,Nautilus Chain 上的首个 DEX PoseiSwap 宣布,其目前已经以 2500 万美元的估值,从 Gate Labs、Emurgo Ventures、Republic以及Cipholio Ventures 等行业顶级投资机构中,获得了新一轮的融资,不过目前该融资的具体数…

asp.net网上捐赠系统

一该源码功能十分的全面,具体介绍如下: 本版本软件主要完成三个功能: 1、建立网上捐赠功能 实现网上捐赠程序自动化,智能化,在捐赠者与受捐者填写各种资料后,自动保存方便以后调阅查询&#xff0c…

Java【网络编程1】详解DatagramSocket和DatagramPacket类, 逐行代码解析如何服务器客户端通信(附代码)

文章目录 前言一、认识 Socket(套接字), TCP 协议和 UDP 协议1, 什么是 Socket(套接字)2, 浅谈 TCP 协议和 UDP 协议的区别和特点 二、基于 UDP 协议的 Socket API1, DatagramSocket 类2, DatagramPacket 类 三、逐行代码解析网络编程1, 逐行解析客户端1.1, 核心成员方法 start…

【C++】-类和对象完结(内部类、匿名对象以及编译器的优化的讲解)(下)

💖作者:小树苗渴望变成参天大树 ❤️‍🩹作者宣言:认真写好每一篇博客 💨作者gitee:gitee 💞作者专栏:C语言,数据结构初阶,Linux,C 如 果 你 喜 欢 作 者 的 文 章 ,就 给 作 者 点 …

m1安装svn

背景:电脑是mac m2,好多软件都不太兼容,安装软件成了一个问题,想着装一个SVN,跟大家一起协同开发,这下可麻烦死了,😄,终于弄明白用brew命令了,然后就用brew命…

Metasploitable2靶机渗透学习

目录 一、介绍 二、环境 三、渗透攻击 1.前期渗透 1.1主机发现 1.2.端口扫描 1.3.测试漏洞 2.弱密码漏洞 2.1系统弱密码登录(telnet :23端口) 2.2 MySQL弱密码登录(端口:3306) 2.3 PostgreSQL弱…

K8s全套快速入门

K8s快速入门 1 介绍 google开源的容器化管理工具机器数量十几台、上百台时,就可以考虑使用k8s高可用、自动容灾恢复、灰度更新、一键回滚历史版本、方便伸缩扩展等 k8s集群架构: 通常:一主多从 master:主节点,控制平台…

LeetCode 栈和队列OJ题目分享

目录 有效的括号(括号匹配)用栈实现队列用队列实现栈设计循环队列 有效的括号(括号匹配) 链接: link 题目描述: 题目思路: 1、如果是左括号“( { [ ”就入栈 2、如果是右括号“) }…

Redis--弱口令未授权访问漏洞

Redis--弱口令未授权访问漏洞 一、漏洞简介二、危险等级三、漏洞影响四、入侵事件五、漏洞复现--Redis CrackIT入侵事件5.1、以root启动的redis,可以远程登入到redis console--------A主机5.2、生成公钥5.3、执行: redis-cli flushall 清空redis(非常暴力&#xff0…

2023年春秋杯网络安全联赛 春季赛 wp

文章目录 Cryptocheckinbackdoor WebPhpstudyEasypyezrustqqcms MISCSudohappy2forensic盲人会藏在哪里piphackwordle PWNp2048easy_LzhiFTP_CHELL Crypto checkin 第一部分求解一下pell函数得到x,y def solve_pell(N, numTry 100):a[]b[]cf continued_fraction(sqrt(N))f…

C++的priority_queue

priority_queue 1.priority_queue的介绍2.priority_queue的使用3.priority的模拟实现 1.priority_queue的介绍 优先队列是一种堆,默认是大根堆,可以通过greater的仿函数可以建立小根堆empty():检测容器是否为空 size():返回容器中…

【密码学复习】第七章 公钥加密体制(二)

RSA单向陷门函数及其应用 ElGamal单向陷门函数 1)密钥生成 ① 选择一大素数p,选取Zp * 的生成元g ; ② 任选小于p的随机数x,计算y≡g x mod p; ③(y, g, p)为公开密钥, (x, g, p)为秘密密钥. 2)加密:设待加密…

asp.net就业满意度问调查系统

本系统主要有会员(调查者)和管理员,他们具体的功能如下: 会员功能:注册,登录,修改个人信息,调查,查看调查结果及影响,留言,首先是会员注册,注册后…

【Web开发】Node实现Web图表功能(ECharts.js,React)

🎈🎈🎈Python实现Web图表功能系列:🎈🎈🎈1🎈【Web开发】Python实现Web图表功能(D-Tale入门)🎈2🎈【Web开发】Python实现Web图表功能&a…

整理了一份github上比较热门的ChatGPT项目,值得收藏

ChatGPT已经火了一段时间了,但是,热度依旧是各大自媒体的热榜。由于,国内不能直接访问ChatGPT,国内的开发者依托OpenAI的接口,开发出一些ChatGPT的应用。今天就整理一下github上最热门的ChatGPT项目。 lencx/ChatGPT 该项目是Cha…

java线程的状态

文章目录 1. 线程的状态2. 验证NEW、RUNNALE和TERMINATED状态3. 验证TIMED_WAITING状态4. 验证BLOCKED状态5. 验证BLOCKED状态 1. 线程的状态 线程在不同的运行时期存在不同的状态,状态信息存在于State枚举类中,如下图: 调用线程有关的方法是…

文心一言 VS 讯飞星火 VS chatgpt (18)-- 算法导论4.1 5题

五、使用如下思想为最大子数组问题设计一个非递归的、线性时间的算法。从数组的左边界开始,由左至右处理,记录到目前为止已经处理过的最大子数组。若已知 A[1…j]门的最大子数组,基于如下性质将解扩展为 A[1…j1]的最大子数组:A[1…j1]的最大…

Squid 代理服务器

Squid概述 Squid 主要提供缓存加速、应用层过滤控制的功能。 代理的工作机制 1.代替客户机向网站请求数据,从而可以隐藏用户的真实IP地址。 2.将获得的网页数据(静态 Web 元素)保存到缓存中并发送给客户机&#xff0…

Windows安装Ubuntu双系统

Windows安装Ubuntu双系统 1.下载Ubuntu 16.04,地址https://releases.ubuntu.com/16.04/ 2.下载Rufus,地址https://rufus.ie/zh/ 3.准备U盘,烧录系统 4.磁盘分区 5.重启,按住shift键 本人电脑是联想小新 Windows11系统&#xff0…