Redis集群总结

news2025/1/15 23:05:16

Redis,作为一款开源的、内存中的数据结构存储系统,以其出色的性能和丰富的数据结构在业界赢得了广泛的认可。然而,当我们面临大量数据和高并发请求时,单个 Redis 实例可能无法满足我们的需求。这时,我们就需要使用到 Redis 的主从模式、哨兵系统和集群模式。通过这些模式,我们可以提高数据的可用性和可靠性,提高系统的性能和扩展性。在接下来的文章中,我将详细介绍如何搭建和使用 Redis 主从模式、哨兵系统和集群模式,以及这些模式的工作原理,故障转移和扩容等操作。


文章目录

        • 1、Redis主从
          • 1.1、Redis主从概念
          • 1.2、主从复制的步骤
          • 1.3、Redis主从拓扑结构
          • 1.4、主从复制的问题
        • 2、Redis哨兵
          • 2.1、Redis哨兵模式概述
          • 2.2、哨兵的工作模式
          • 2.3、哨兵确定主库下线
          • 2.4、哨兵的选主过程
        • 3、Redis集群
          • 3.1、Redis集群模式概述
          • 3.2、Redis集群的虚拟槽分区


1、Redis主从

详细链接:Redis主从复制集群的介绍及搭建

1.1、Redis主从概念

你的理解是正确的。Redis 的主从模式是一种常见的数据冗余和读写分离的策略。

在主从模式中,主库负责处理写操作,并将数据的变更同步到从库。从库主要用于处理读操作,这样可以分担主库的读取压力,提高系统的读取性能。

当主库出现故障时,可以通过故障转移的方式,将其中的一个从库提升为新的主库,以保证服务的可用性。这个过程可以通过 Sentinel 系统自动完成,也可以手动进行。

需要注意的是,虽然主从模式可以提高系统的读取性能和可用性,但是它并不能解决单点故障的问题。因为所有的写操作都需要通过主库进行,如果主库出现故障,那么整个系统的写操作就会被阻塞。因此,对于需要高可用性的场景,我们通常会使用 Redis 集群模式。

1.2、主从复制的步骤

以下是 Redis 主从复制的基本步骤:

  1. 配置从服务器:你可以通过在从服务器上执行 SLAVEOF <master-ip> <master-port> 命令来配置从服务器。这将使从服务器开始监听主服务器,准备复制数据。

  2. 数据同步:一旦从服务器接收到 SLAVEOF 命令,它将开始一个同步过程。在这个过程中,主服务器会创建一个当前数据的快照并将其发送给从服务器。

  3. 命令复制:数据同步完成后,主服务器会继续在接收到写命令时将其发送给所有从服务器。这样,所有的从服务器都能实时地保持和主服务器一致的数据。

  4. 读取数据:你可以配置应用程序从从服务器读取数据,以此来分担主服务器的读取负载。

  5. 故障转移:如果主服务器出现故障,你可以手动或通过 Sentinel 系统自动将一个从服务器提升为新的主服务器。

注意:在 Redis 4.0 以后,SLAVEOF 命令已经被 REPLICAOF 命令替代,但是为了向后兼容,SLAVEOF 命令仍然可以使用。

1.3、Redis主从拓扑结构

Redis 的复制拓扑结构可以支持单层或多层复制关系,根据拓扑复杂性可以分为以下三种:一主一从、一主多从、树状主从结构。

  • 一主一从结构:是最简单的复制拓扑结构,用于主节点出现宕机时从节点提供故障转移支持;
  • 一主多从结构(又称为星形拓扑结构):使得应用端可以利用多个从节点实现读写分离。对于读占比较大的场景,可以把读命令发送到从节点来分担主节点压力;
  • 树状主从结构(又称为树状拓扑结构):使得从节点不但可以复制主节点数据,同时可以作为其他从节点的主节点继续向下层复制。通过引入复制中间层,可以有效降低主节点负载和需要传送给从节点的数据量

image-20230910142857199

1.4、主从复制的问题

主从复制虽好,但也存在一些问题:

  1. 主从数据不一致:由于网络延迟或者其他原因,可能会导致主从节点的数据出现短暂的不一致。虽然 Redis 通过复制缓冲区和部分重同步机制尽量减少这种情况的发生,但是在某些极端情况下,还是可能出现数据不一致的问题。
  2. 读取过期数据:如果主节点删除了一个已经过期的键,但是这个删除操作还没有来得及同步到从节点,那么在从节点上就可能读取到这个已经过期的键。
  3. 一主多从,全量复制时主库压力问题:在一主多从的架构中,如果多个从节点同时进行全量复制,那么会给主节点带来很大的压力,可能会影响到主节点的性能。

2、Redis哨兵

详细链接:Redis哨兵集群的介绍及搭建

2.1、Redis哨兵模式概述

主从模式中,一旦主节点由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主节点地址。显然,多数业务场景都不能接受这种故障处理方式。Redis 从 2.8 开始正式提供了 Redis哨 兵机制来解决这个问题。

Redis Sentinel(哨兵)系统是为了解决 Redis 主从模式中主节点故障的问题而设计的。它可以自动监控 Redis 主从节点的运行状态,当主节点出现故障时,Sentinel 系统可以自动将从节点提升为新的主节点,并通知应用方更新主节点地址。

image-20230910180721166

以下是 Redis 哨兵模式的主要特点:

  1. 监控:哨兵会定期检查主服务器和从服务器是否正常运行,这包括检查是否能正常响应客户端的请求,以及主从服务器之间的数据复制是否正常。
  2. 通知:当哨兵发现主服务器出现故障时,它可以通过 API 向管理员发送通知。
  3. 自动故障转移:当主服务器出现故障时,哨兵会自动从从服务器中选举出一个新的主服务器,并让其他的从服务器开始复制新的主服务器。
  4. 配置提供者:客户端可以向哨兵询问哪个服务器是当前的主服务器。这样,即使发生了故障转移,客户端也能找到正确的主服务器。
2.2、哨兵的工作模式

Redis 哨兵(Sentinel)的工作模式主要包括以下几个步骤:

  1. 周期性检测:每个哨兵会以每秒一次的频率向它所知道的主库、从库以及其他哨兵实例发送 PING 命令。
  2. 主观下线判断:如果一个实例在一定时间内(由 down-after-milliseconds 配置项指定)没有回应 PING 命令,那么哨兵会将这个实例标记为主观下线。
  3. 客观下线判断:如果主库被标记为主观下线,那么所有监视这个主库的哨兵会以每秒一次的频率确认主库是否真的下线。只有当足够多的哨兵(数量由配置文件指定)确认主库下线,主库才会被标记为客观下线。
  4. 选主模式:当主库被标记为客观下线后,哨兵会进入选主模式,选出一个新的主库。
  5. 主观下线状态移除:如果没有足够多的哨兵确认主库下线,或者主库重新回应了 PING 命令,那么主库的主观下线状态就会被移除。

通过这种方式,哨兵系统可以自动监控 Redis 主从节点的运行状态,当主节点出现故障时,自动进行故障转移,无需人工干预。

2.3、哨兵确定主库下线

Redis 哨兵(Sentinel)判断主库是否下线主要通过主观下线和客观下线两个概念来实现:

  1. 主观下线:哨兵进程会定期向主库发送 PING 命令,如果主库在一定时间内(由 down-after-milliseconds 参数指定)没有回应 PING 命令,那么哨兵会将主库标记为主观下线。
  2. 客观下线:如果主库被标记为主观下线,那么所有监视这个主库的哨兵会以每秒一次的频率确认主库是否真的下线。只有当多数哨兵(数量由 Redis 管理员设定)确认主库下线,主库才会被标记为客观下线。

这种判断机制可以避免对主库的误判,减少不必要的主从切换,从而降低系统的开销。只有当多数哨兵确认主库下线,才会进行主从切换,这样可以确保主从切换的决策是基于多数哨兵的共识,从而提高了决策的可靠性。

2.4、哨兵的选主过程

Redis 哨兵(Sentinel)在选主过程中,主要包括过滤和打分两个步骤:

  1. 过滤:哨兵会首先过滤掉那些不适合作为主库的从库。例如,已经下线的从库,或者网络状态不佳、经常超时的从库。这个过滤过程主要是通过检查 down-after-milliseconds 参数来实现的,这个参数表示我们认定主从库断连的最大连接超时时间。
  2. 打分:过滤掉不适合的从库后,哨兵会给剩下的从库打分。打分主要根据以下三个规则:
    • 从库优先级:优先级高的从库得分高。优先级可以通过 slave-priority 配置。
    • 从库复制进度:与旧的主库复制进度最快的从库得分高。
    • 从库 ID 号:ID 号小的从库得分高。

最后,得分最高的从库会被选为新的主库。这种选主策略既考虑了从库的状态和性能,也考虑了从库的优先级和 ID,从而尽可能地选择出最适合作为主库的从库。


3、Redis集群

详细链接:Redis Cluster 集群的介绍

3.1、Redis集群模式概述

Redis Cluster(集群)是为了解决单个 Redis 实例存储容量有限和在线扩容困难的问题而设计的。它通过数据分片的方式,将数据分散到多个 Redis 实例中,从而实现了 Redis 的分布式存储。

在 Redis Cluster 中,每个节点都存储一部分数据,这样可以大大提高系统的存储容量。同时,由于数据是分散存储的,所以当需要增加存储容量时,只需要增加节点即可,实现了在线扩容。

此外,Redis Cluster 还提供了复制和故障转移的功能,当某个节点出现故障时,可以自动将其上的数据转移到其他节点,从而保证了系统的高可用性。

例如,如果你需要存储 15G 的数据,你可以选择使用单个 Redis 实例,但这可能会导致响应速度变慢。而如果你选择使用 3 台 Redis 实例组成的集群,那么每个实例只需要存储 5G 的数据,这样可以大大提高系统的响应速度和存储效率。

Redis 集群没有使用一致性哈希,而是引入了哈希槽的概念。Redis 集群有 16384个 哈希槽,当需要在 Redis 集群中放置一个键值对时,Redis 首先会对键进行 CRC16计 算,然后对 16384 取余数,得到的结果就是这个键应该被放置的哈希槽的编号。

每个 Redis 节点负责一部分哈希槽,例如在一个有3个节点的 Redis 集群中,可能节点 A 负责 0-5500 号哈希槽,节点 B 负责 5501-11000 号哈希槽,节点 C 负责 11001-16383 号哈希槽。

这样,当一个键需要被访问(读取、写入)时,Redis 集群会根据键名计算出哈希槽号,然后找到负责这个哈希槽的节点。

image-20230911114418005

Redis 集群支持主从复制模式,每个节点都会有 0 个或多个从节点,数据会从主节点复制到从节点。当主节点宕机时,从节点可以提升为主节点,继续提供服务。

Redis 集群提供了高可用和分布式能力,但是客户端在使用时需要有一定的复杂性,例如在处理跨节点的事务和 Lua 脚本时,以及在添加、删除节点时重新分配哈希槽等。

3.2、Redis集群的虚拟槽分区

分布式的存储中,要把数据集按照分区规则映射到多个节点,常见的数据分区规则三种:节点取余分区、一致性哈希分区、虚拟槽分区。

节点取余分区(Modulo Partitioning):这种方式是通过取余数的方式将数据映射到不同的节点上。例如,我们可以将用户 ID 对节点数量取余,然后将数据存储在对应的节点上。这种方式的优点是实现简单,数据分布相对均匀。但是,当节点数量变化时,大部分数据都需要重新分配,这会导致大量的数据迁移;

image-20230912143611156一致性哈希分区(Consistent Hashing Partitioning):这种方式是通过一致性哈希算法将数据映射到不同的节点上。一致性哈希算法的优点是,当节点数量变化时,只需要迁移哈希环上的一小部分数据,大大减少了数据迁移的开销。同时,一致性哈希算法也能保证数据分布的相对均匀。

比如说下面 这张图里面,Key1 和 Key2 会落入到 Node1 中,Key3、Key4 会落入到 Node2 中,Key5 落入到 Node3 中,Key6 落入到 Node4 中。

image-20230912143735383

但它还是存在问题:缓存节点在圆环上分布不平均,会造成部分缓存节点的压力较大;当某个节点故障时,这个节点所要承担的所有访问都会被顺移到另一个节点上,会对后面这个节点造成力。

虚拟槽分区(Virtual Slot Partitioning):这种方式是将数据空间分割成多个虚拟槽,然后将这些虚拟槽映射到不同的节点上。Redis Cluster 就是使用的虚拟槽分区方式,它将所有的键空间分割成 16384 个虚拟槽。这种方式的优点是,当节点数量变化时,只需要重新分配虚拟槽而不是数据,减少了数据迁移的开销。同时,虚拟槽分区也能保证数据分布的相对均匀。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1016518.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Kubernetes实践:从入门到实践

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

认识Git的工作区、暂存区与版本库

使用 git init 命令在 gitcode 文件夹下创建如下图所示的Git仓库。现在思考这样一个问题&#xff1a;gitcode目录下创建的README文件可以直接被git管理和追踪吗&#xff1f; 答案是否定的&#xff0c;因为只有 Git 本地仓库中的文件才可以被版本控制。什么&#xff1f;难道当前…

内网隧道代理技术(二十七)之 DNS隧道介绍

DNS隧道介绍 DNS协议介绍 域名系统(Domain Name System,缩写:DNS)是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。DNS使用TCP和UDP端口53。当前,对于每一级域名长度的限制是63个字符,域名总长度则不能超过253个字符…

第二篇------Virtual I/O Device (VIRTIO) Version 1.1

上篇文章&#xff1a;https://blog.csdn.net/Phoenix_zxk/article/details/132917657 篇幅太大&#xff0c;所以分开写&#xff0c;接下来续上 4.3.3.2.1 设备要求&#xff1a;Guest->Host 通知 设备必须忽略 GPR2 的位 0-31&#xff08;从左边数&#xff09;。这样可以使…

Eclipse开源代码下载

当前插件开发&#xff0c;需要修改eclipse源码&#xff0c;如需要修改remote相关的代码&#xff0c;所以需要下载相关源码。网上大多资料都说的不清不楚的&#xff0c;也可能我太小白&#xff0c;不明白&#xff0c;反正就是折腾了一两天才感觉有点思路&#xff0c;改如何找源码…

Linux安全加固:保护你的服务器

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

基于springboot+vue的问卷调查系统

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…

聊天机器人

收集窗帘相关的数据 可以用gpt生成&#xff0c;也可以用爬虫 图形化界面 gradio 向量数据库 faiss python代码 import gradio as gr import random import timefrom typing import Listfrom langchain.embeddings.openai import OpenAIEmbeddings from langchain.vectorstor…

央媒发稿不能改?媒体发布新闻稿有哪些注意点

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 “央媒发稿不能改”是媒体行业和新闻传播领域的普遍理解。央媒&#xff0c;即中央主要媒体&#xff0c;是权威性的新闻源&#xff0c;当这些媒体发布新闻稿或报道时&#xff0c;其他省、…

服务器监控工具:选择与应用

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

积木报表 JimuReport v1.6.2-GA5版本发布—高危SQL漏洞安全加固版本

项目介绍 一款免费的数据可视化报表&#xff0c;含报表和大屏设计&#xff0c;像搭建积木一样在线设计报表&#xff01;功能涵盖&#xff0c;数据报表、打印设计、图表报表、大屏设计等&#xff01; Web 版报表设计器&#xff0c;类似于excel操作风格&#xff0c;通过拖拽完成报…

活锁 死锁

一、活锁&#xff08;liveLock&#xff09; 活锁是指线程间资源冲突激烈&#xff0c;引起线程不断的尝试获取资源&#xff0c;不断的失败。活锁有点类似于线程饥饿&#xff0c;虽然资源并没有被别人持有&#xff0c;但由于各种原因而无法得到。最常见的原因是进程组的执行顺序…

gRpc入门和springboot整合

gRpc入门和springboot整合 一、简介 1、gprc概念 gRpc是有google开源的一个高性能的pc框架&#xff0c;Stubby google内部的rpc,2015年正式开源&#xff0c;云原生时代一个RPC标准。 tips:异构系统&#xff0c;就是不同编程语言的系统。 2、grpc核心设计思路 grpc核心设计…

【C++深入浅出】日期类的实现

目录 一. 前言 二. 日期类的框架 三. 日期类的实现 3.1 构造函数 3.2 析构函数 3.3 赋值运算符重载 3.4 关系运算符重载 3.5 日期 /- 天数 3.6 自增与自减运算符重载 3.7 日期 - 日期 四. 完整代码 一. 前言 通过前面两期类和对象的学习&#xff0c;我们已经对C的…

MFC读取obj格式文件2

前文读取了obj格式文件中顶点相关的数量信息&#xff0c;下面读取显示obj格式文件中顶点相关的坐标信息&#xff1b;使用前面的立方体obj文件&#xff1b; void CObjtest2View::OnDraw(CDC* pDC) {CObjtest2Doc* pDoc GetDocument();ASSERT_VALID(pDoc);// TODO: add draw co…

【无公网IP内网穿透】Windows搭建Web站点

什么是cpolar&#xff1f; cpolar是一个非常强大的内网穿透工具&#xff0c;开发调试的必备利器。 它可以将本地内网服务器的HTTP、HTTPS、TCP协议端口映射为公网地址端口&#xff0c;使得公网用户可以轻松访问您的内网服务器&#xff0c;无需部署至公网服务器。支持永久免费使…

redis 主存复制

1. 前言 Redis的持久化机制&#xff0c;它很好的解决了单台Redis服务器由于意外情况导致Redis服务器进程退出或者Redis服务器宕机而造成的数据丢失问题。 在一定程度上保证了数据的安全性&#xff0c;即便是服务器宕机的情况下&#xff0c;也可以保证数据的丢失非常少。 通常…

【python量化】挖掘股价中的图关系:基于图注意力网络的股价预测模型

写在前面 近些年&#xff0c;图神经网络在时间序列预测领域发挥了重要的作用。其中&#xff0c;图注意力网络&#xff08;GAT&#xff09;是一种基于注意力机制的图神经网络&#xff0c;能够捕捉图结构数据中节点之间的复杂关系&#xff0c;从而在许多领域中取得了突出的性能。…

STM32窗口看门狗 WWDG

目录 1.什么是窗口看门狗&#xff1f; 2.窗口看门狗工作原理 3.WWDG框图 4.控制寄存器&#xff08;WWDG_CR&#xff09; 5.配置寄存器&#xff08;WWDG_CFR&#xff09; 6.状态寄存器&#xff08;WWDG_SR&#xff09; 7.超时时间计算 8.窗口看门狗实验 9.独立看门狗和…

Python:web框架之Tornado的Hello World示例

一、安装Tornado pip install tornado 安装完成后会看到显示tornado的版本号。 二、编写Hello World程序 import tornado.ioloop #导入tornado包 import tornado.web class MainHandle(tornado.web.RequestHandler):def get(self): #定义请求函数self.write("He…