Redis—图文详解高可用原因

news2024/10/6 16:20:58

本文不会讲解Redis的用途,关于用途会发另一片文章讲解,本文主要讲的是高可用的原理。

Redis高可用主要有以下三个原因:主从模式(上一篇讲Kafka的文章里有涉及到),哨兵模式,Redis-Cluster(Redis集群)

什么是主从模式?

主从模式中,数据库分为两类,一类主数据库,一类从数据库,主数据库可以进行读写操作,从数据库只能进行读操作,当主数据库发生变化时会自动同步到从数据库上。这样可以实现读写分离和容灾恢复。

全量复制和增量复制

全量复制就是主从数据库第一次链接的时候进行数据同步,从库要复制主库的全部数据,所以叫全量复制,后面只需要同步新的数据,就是增量复制。

如果从库的实例过多,主库复制同步到子库就会有压力怎么办?

可以采用如下图所示的“主-从-从”模式来处理

当一个从库已经完成和主库的同步后,主库可以选择它来进行其他从库的同步。

这样副本的一致性就得到了保障了。 

那主库万一挂了怎么办呢?

这时候就要依靠哨兵模式,什么是哨兵模式?

哨兵模式是实现主从库自动切换的关键机制,它主要负责三个任务:监控、选择主库、通知和完成主从切换操作

  • 监控。哨兵在运行时,周期性地给所有的主从库发送PING命令,检测是否仍在运行。如果从库没有响应哨兵的PING命令,哨兵就会将它标记为下线状态;如果主库没有在规定时间内响应哨兵的PING命令,哨兵也会判断主库下限,然后开始自动切换主库的流程。

  • 选主。主库挂了之后,哨兵需要按照一定的规则选择一个从库,并将他作为新的主库。

  • 通知和完成主从切换。选取了新的主库后,哨兵会把新主库的连接信息发给其他从库,让它们执行replicaof命令和新主库建立连接,并进行数据复制;同时哨兵也会将新主库的消息发给客户端。

不过这样也会有一个问题,哨兵判断主从库下限失误怎么办呢?

对于从库来说,影响不大,但是对主库来说就麻烦多了,这时候就要用到去中心化的思想,一个哨兵不行,那就多几个哨兵不就行了,做一个哨兵集群,当一个哨兵判断出主库下线,就引入多个哨兵实例进行判断,如果大多数都认为主库下线,主库就会标记为“客观下线”。(比如10个人,有过半数,也就是6个人同意就OK)。

那么主库下线后怎么选取新的主库?

这就要通过哨兵机制进行筛选和打分了。

  • 筛选的要求。首先从库一定是正在运行的,还要判断从库之前的网络连接状态,如果总是断连并且超过了一定的阈值,哨兵会认为该从库的网络不好,也会将其筛掉。

  • 打分的要求。哨兵机制根据三个规则依次进行打分:从库优先级、从库复制进度以及从库ID号;在某一轮有从库得分最高,那么它就是新的主库了,选主过程结束。如果该轮没有出现最高的,继续下一轮。

这样就可以选出新的主库了,那哪个哨兵来执行主从库切换呢?

这个流程和判断“客观下线类似”,也是一个投票的过程。

如果某个哨兵判断了主库为下线状态,就会给其他的哨兵实例发送is-master-down-by-addr的命令,其他实例会根据自己和主库的连接状态作出Y或N的响应,Y相当于赞成票,N为反对票。一个哨兵获得一定的票数后,就可以标记主库为“客观下线”,这个票数是由参数quorum设置的。如下图:

这个时候哨兵就可以给其他哨兵发送消息,表示希望自己来执行主从切换,并让所有的哨兵进行投票,这个过程称为“Leader选举”,进行主从切换的哨兵称为Leader。任何一个想成为Leader的哨兵都需要满足两个条件:

  • 拿到半数以上的哨兵赞成票。

  • 拿到的票数需要大于等于quorum的值。

然后就可以进行主从库切换啦。

那么当数据量过多的时候怎么处理呢,如果每个数据库都存着所有数据,每个副本都要存一份完整的数据,内存的开销就会很大,又该怎么处理呢?

Redis的切片集群可以解决这个问题,也就是启动多个Redis实例来组成一个集群,再按照一定的规则把数据划分为多份,每一份用一个实例来保存,这样客户端只需要访问对应的实例就可以获取数据。也就是Redis—Cluster架构了。

要实现这个架构面临两个主要问题:

  • 数据切片后,在多个实例之间怎么分布?

  • 客户端怎么确定想要访问的实例是哪一个?

Redis采用了Redis Cluster的方案来实现切片集群,具体的Redis Cluster采用了哈希槽(Hash Slot)来处理数据和实例之间的映射关系。在Redis Cluster中,一个切片集群共有16384个哈希槽(为什么Hash Slot的个数是16384),这些哈希槽类似于数据的分区,每个键值对都会根据自己的key被影射到一个哈希槽中,映射步骤如下:

  • 根据键值对key,按照CRC16算法计算一个16bit的值。

  • 用计算的值对16384取模,得到0~16383范围内的模数,每个模数对应一个哈希槽。

这时候可以得到一个key对应的哈希槽了,哈希槽又是如何找到对应的实例的呢?

在最开始客户端和集群实例建立连接后,实例就会把哈希槽的分配信息发给客户端,实例之间会把自己的哈希槽信息发给和它相连的实例,完成哈希槽的扩散。这样客户端访问任何一个实例的时候,都能获取所有的哈希槽信息。当客户端收到哈希槽的信息后会把哈希槽对应的信息缓存在本地,当客户端发送请求的时候,会先找到key对应的哈希槽,然后就可以给对应的实例发送请求了。

但是,哈希槽和实例的对应关系不是一成不变的,可能会存在新增或者删除的情况,这时候就需要重新分配哈希槽;也可能为了负载均衡,Redis需要把所有的实例重新分布。

虽然实例之间可以互相传递消息以获取最新的哈希槽分配信息,但是客户端无法感知这个变化,就会导致客户端访问的实例可能不是自己所需要的了。

Redis Cluster提供了重定向的机制,当客户端给实例发送数据读写操作的时候,如果这个实例上没有找到对应的数据,此时这个实例就会给客户端返回MOVED命令的相应结果,这个结果中包含了新实例的访问地址,此时客户端需要再给新实例发送操作命令以进行读写操作。(个人感觉这些Redis实例有点计算机网络中路由器的味道了,私底下通信,互相了解,客户端毫不知情,当去查询的时候找不到了,就类似DNS查询的味道了,开始迭代查询了,只能说计算机思想贯穿始终好吧,要多去理解和运用这些思想)

参考文章:

https://juejin.cn/post/7146465356482084878

https://juejin.cn/post/6963941240496717854?searchId=20240512211534A79024C96A5A6767CD62

https://juejin.cn/post/6936534060604850207?searchId=20240512211534A79024C96A5A6767CD62

本篇文章就到这里啦,非常感谢各位的阅读,喜欢的点个关注吧,下期更新锁的相关知识!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1669082.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

mysql集群NDBcluster引擎在写入数据时报错 (1114, “The table ‘ads‘ is full“)

问题描述:mysql集群在写入数据时,出现上述报错 问题原因:表数据已满,一般是在集群的管理节点设置里面datamemory的值太小,当数据量超过该值时就会出现该问题 解决方案: 修改集群管理节点的config.ini里面…

【Linux 网络】网络编程套接字 -- 详解

⚪ 预备知识 1、理解源 IP 地址和目的 IP 地址 举例理解:(唐僧西天取经) 在 IP 数据包头部中 有两个 IP 地址, 分别叫做源 IP 地址 和目的 IP 地址。 如果我们的台式机或者笔记本没有 IP 地址就无法上网,而因为…

操作系统原理与实验——实验十四多道批处理作业调度算法应用二

样例 样例一: 1 100 0 5 JOB1 10:06 42分钟 55K JOB2 10:20 30分钟 40K JOB3 10:30 24分钟 35K JOB4 10:36 15分钟 25K JOB5 10:42 12分钟 20K 2 100 0 5 JOB1 10:06 42分钟 55K JOB2 10:20 30分钟 40K JOB3 10:30 24分钟 35K JOB4 10:36 15分钟 25K JOB5 10…

开发一款相亲交友小程序

uni-app框架:使用Vue.js开发跨平台应用的前端框架,编写一套代码,可编译到Android、小程序等平台。 框架支持:springboot/Ssm/thinkphp/django/flask/express均支持 前端开发:vue.js 可选语言:pythonjavanode.jsphp均支持 运行软件…

探索共享内存:解锁并发编程的潜力

文章目录 序言shm 原理对shm的理解通过代码认识shm调用shmget方法实现 序言 system V版本 指定的一种规则(俗话说一流公司定规则,二流公司重服务,三流公司重技术).这个规则虽然有很多种(消息队列,共享内存等只是比较出名的几个).但是在内核的相关技术解决上是类似的,因为都是基…

NIUKE SQL:进阶挑战 (下)

05 窗口函数 专用窗口函数 SQL136 每类试卷得分前3名 找到每类试卷得分的前3名,如果两人最大分数相同,选择最小分数大者,如果还相同,选择uid大者 SELECT tag,uid,ranking FROM(SELECTtag,ER.uid,ROW_NUMBER() OVER (PARTITION …

jdk8的新特征

1: jdk8中新增的方法 在jdk8中对接口进行了增强,在jdk8之前 interface 接口名{ 静态常量: 抽象方法: } 在jdk8之后 interface 接口名{ 静态常量: 抽象方法: 默认方法: 静态方法: } 2…

【IMX6ULL项目】IMX6ULL下Linux实现产测工具框架

电子产品量产测试与烧写工具。这是一套软件,用在我们的实际生产中, 有如下特点: 1.简单易用: 把这套软件烧写在 SD 卡上,插到 IMX6ULL 板子里并启动,它就会自动测试各个模块、烧写 EMMC 系统。 工人只要按…

【算法】dfs

快乐的流畅:个人主页 个人专栏:《算法神殿》《数据结构世界》《进击的C》 远方有一堆篝火,在为久候之人燃烧! 文章目录 引言一、全排列1. 决策树2. 设计代码1. 全局变量2. dfs函数3. 细节问题 二、子集解法一1. 决策树2. 设计代码…

Spring Boot:让微服务开发像搭积木一样简单!

带你一探 Spring Boot 的自动配置和 Starter POMs 的神奇之处,展示如何通过几个简单的步骤就能让你的微服务应用在云端翱翔! 文章目录 1. 引言1.1 简述Spring框架的起源与重要性1.2 阐述文章目的:深入解析Spring核心功能与应用实践2. 背景介绍…

C语言 | Leetcode C语言题解之第85题最大矩形

题目&#xff1a; 题解&#xff1a; int maximalRectangle(char** matrix, int matrixSize, int* matrixColSize) {int m matrixSize;if (m 0) {return 0;}int n matrixColSize[0];int left[m][n];memset(left, 0, sizeof(left));for (int i 0; i < m; i) {for (int j …

251 基于matlab的动态粒子群算法

基于matlab的动态粒子群算法。普通粒子群算法无法感知外界环境的变化&#xff0c;在外界环境发生改变时无法实时进行响应&#xff0c;因而缺乏动态环境寻优能力。在普通粒子群算法基本上通过增加敏感粒子得到一种动态粒子群算法&#xff0c;该算法通过实时计算敏感粒子的适应度…

Redis集群安装

将Redis安装包分别上传到3个文件夹&#xff0c;并解压缩 #编译并指定安装目录 cd /root/usr/local/redis-cluster/redis-7001/redis-6.2.6/ make make PREFIX/root/usr/local/redis-cluster/redis-7001 install # cd /root/usr/local/redis-cluster/redis-7002/redis-6.2.6/ m…

iZotope RX 11 for Mac 激活版:让您的音频焕发生机!

在追求音频完美的道路上&#xff0c;iZotope RX 11 for Mac是您的得力助手。它凭借先进的音频修复技术和丰富的音频增强工具&#xff0c;让您的音频作品焕发出前所未有的生机与活力。无论您是专业的音频工程师&#xff0c;还是业余的音乐爱好者&#xff0c;都能在这款工具中找到…

栈的讲解

栈的概念及结构 栈&#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。 进行数据插入和删除操作的一端称为栈顶&#xff0c;另一端称为栈底&#xff08;因为先进后出&#xff09;。栈中的数据元素遵守后进先出LIFO&#xff08;Last In Firs…

【Threejs进阶教程-算法篇】1.常用坐标系介绍与2d/3d随机点位算法

2d/3d随机算法 学习ThreeJS的捷径坐标系简介平面直角坐标系和极坐标系空间直角坐标系圆柱坐标系球坐标系球坐标系与直角坐标系的转换 基于坐标系系统的随机点位算法平面直角坐标系随机平面直角坐标系随机的变形 空间直角坐标系随机二维极坐标系随机圆柱坐标系随机基于Cylinderc…

Python 整数类型(int)详解:无限范围与多种进制

引言 在编程中&#xff0c;整数是最基本的数据类型之一。不同编程语言对整数的处理方式各不相同&#xff0c;这往往影响到程序的性能和开发者的选择。本文将深入探讨 Python 中的整数类型&#xff08;int&#xff09;&#xff0c;其独特的处理方式&#xff0c;以及它在日常编程…

Lambda表达式 怎么debug调试

前言 Lambda 表达式是 JDK8 的一个重要新特性&#xff0c;可以取代大部分的匿名内部类&#xff0c;写出更优雅的 Java 代码&#xff0c;尤其在集合的遍历和其他集合操作中&#xff0c;可以极大地优化代码结构。JDK 也提供了大量的内置函数式接口供我们使用&#xff0c;使得 La…

【Chrome实用命令笔记】

文章目录 Chrome实用命令笔记1、chrome基本介绍2. 打开开发者工具&#xff08;DevTools&#xff09;方法一&#xff1a;快捷键方法二&#xff1a;右键菜单方法三&#xff1a;浏览器设置 2. 开发者工具面板Elements面板Console面板Sources面板Network面板Performance面板Memory面…

C++ 数据结构算法 学习笔记(25) - 图及其企业级应用

C 数据结构算法 学习笔记(25) - 图及其企业级应用 图的故事导入 故事情节 Jack 自从买车后&#xff0c;交通出行方便了&#xff0c;心自然就野了&#xff01;身边的各种朋友自然就多了起来&#xff01; 有一天晚上&#xff0c;一个年轻漂亮的女同事生日&#xff0c;Jack 受邀…