Redis: Sentinel哨兵监控架构及环境搭建

news2024/11/18 21:23:57

概述

  • 在主从模式下,我们通过从节点只读模式提高了系统的并发能力
  • 并发不断增加,只需要扩展从节点即可,只要主从服务器之间,网络连接正常
  • 主服务器就会将写入自己的数据同步更新给从服务器,从而保证主从服务器的数据相同
  • 在这种架构下,它仍然是有一些缺点的,比如说它的可靠性保证不是很好,因为主从模式下,主节点故障了便无法提供写入的服务
  • 现在,我们通过哨兵来解决这个问题
    • 然后,主节点其实写的压力也是并没有被释放的
    • 包括主从之间的数据是相同的,它还有数据冗余一个问题
    • 后面集群也会解决这个问题
  • 现在,我们主要解决的问题是:主节点挂机了,从节点可以晋升为主节点
    • 在之前,我们需要人工干预,手动去修改应用的主节点地址
    • 然后自己通过命令,让所有的从节点去布置新的主节点
  • 哨兵模式把这个过程自动的完成故障转移
  • 注意,我们需要知道:
    • 哨兵监控的一个完整流程的搭建
    • 哨兵的一个工作原理,它的机制,包括它是怎么实现故障转移的
    • 如何结合它来改造升级我们的应用项目
    • 主观和客观下线,仲裁如何选取新的主节点的
    • 故障迁移的流程
    • 日志如何分析
    • 常用指令

哨兵监控架构

  • 在主从模式中,主节点宕机之后,从节点是可以作为主节点顶上来继续提供服务
  • 但是这个过程是需要人工干预的,比如我们要自己去修改主节点地址
  • 然后再让其他的从节点去复制新的主节点,于是,Redis@2.8引入了哨兵的概念
  • 在主从复制的基础之上,哨兵实现了自动化故障恢复
  • 如上面这张图,左边是我们的哨兵,右边是我们 Redis 的主从
  • 在这张图中,我们的 Redis 就分为了两部分
    • 一部分是哨兵节点
    • 一部分是数据节点
  • 哨兵节点,它就是特殊的 Redis 节点,只不过不存储数据而已
  • 数据节点就是原来的主从模式,里面存储的我们项目中的数据
  • Redis 它是一种分布式系统的架构模式
  • 哨兵主要的作用就是监控 Redis 的主从服务器提供主服务器下线时自动故障转移的功能

1 )监控 (Monitoring)

  • 监控的意思,就是会不断的检查你的主服务器和从服务器是否运作正常

2 ) 提醒 (Notification)

  • 被监控的某个 Redis 服务器,如果出现了问题,可以通过api向管理员,或者其他应用程序发送通知,提醒我们

3 ) 自动故障迁移 (Automatic failover)

  • 自动故障迁移指的是当一个主服务器不能正常工作时,会开启一次自动故障迁移的操作

4 ) 配置提供者 (Configuration provider)

  • 配置提供者指的是我们客户端,它其实不需要直接连到主从,而是连接到哨兵
  • 因为哨兵给客户端提供了一个服务发现的功能,客户端连到哨兵之后,就可以直接获取到主从节点的相关信息,如果发生了故障迁移,重新发生新的主节点
  • 哨兵也会把新的主节点的信息通知给客户端
  • 这就是哨兵监控架构的组成部分,以及它的一些特性

Sentinel 的分布式特性

  • 现在我们来看一下它的分布式特性都有哪些点
  • 首先第一个就是它降低了误报的可能性
    • 这个意思就是说我们的 Sentinel 实际上它是一个分布式的架构系统
    • 就是说在一个架构中,我们是可以运行多个 Sentinel 进程的
    • 如果有多个 Sentinel 进程,那么当我的master不再可用的时候,我们就降低了误报可能性
    • 为什么呢?因为只有一个 Sentinel 的话,假如说现在发生了网络迁移,我认为这个主节点不可用了
    • 实际上人家是可用的,只不过网络延迟,你跟主节点没有通信,那你就不能说它就宕机了
    • 这个时候,假如有多个 Sentinel 进程,你觉果它不可用了
    • 但是其他的 Sentinel 觉得它是可用的,就不会产生这个误报,它降低了误报的可能
  • 第二个就是降低了对客户端的影响
    • 在不同服务器上,我们可以运行多个 Sentinel 进程
    • 然后将 Sentinel 做成集群,那么其中一个故障了
    • 我们仍然是可以进行主从切换的,它可以帮我们去自动的故障迁移
    • 降低了对客户端的影响,提升了系统的健康性
  • 第三就是任意的 Sentinel 都可对外提供服务
    • Redis 的客户端,你可以连接到任意的 Sentinel 来使用
    • Redis 不需要特定的去连某一个节点

部署 Redis Sentinel 之前的准备

  • 首先第一个就是端口,Sentinel 运行,默认监听的端口是 26379
  • 第二个就是至少三个 Sentinel 实例
    • 它指的就是一个健壮的部署至少需要三个 Sentinel 实例,为什么呢?
    • 我们的 Sentinel 在决定我们的 Redis 主节点是否可用?
    • 实际上它是一个少数服从多数的一个仲裁的过程
    • 如果说我只有一个,连不上你,我可能认为你是故障了,但实际上可能是网络延迟导致的。
    • 部署了两个的话,我说没有,你说有,我要听谁的呢?
    • 这样,最好就来个奇数,这样就可以产生大于1/2的结果
    • 那比如说有两个觉得它没连上, 就可以故障迁移
    • 一般建议都是奇数的,3,5,7,最少需要3个 Sentinel 的识别
  • 第三就是运行 Sentinel 必须指定配置文件
    • 如果你不指定配置文件的话,它会拒绝启动
    • 因为我们的系统是使用这个文件来保存当前的一个主从状态的
    • 你启动了 Sentinel 的时候,要指定配置文件
    • 是因为它要从配置文件里边去加载当前的环境状态
    • 并且它会把更改故障迁移之后的一些主从信息状态也会写入到配置里边
    • 所以,你不指定配置,它会拒绝启动
  • 第四个就是独立的虚拟机或物理机中运行
    • 我们如果在一个虚拟机或者物理机中运行 Sentinel 多个进程的话
    • 实际上是一种非常不妥善不好的方法
    • 如果说这个机器故障了,多个 Sentinel 都被挂掉
    • 所以,最好的还是不要节省资源
    • 把申请脑部署在相对独立的多个虚拟机或者物理机当中
  • 第五就是可配置 Sentinel 允许丢失有限的写入
    • 因为 Sentinel 在做切换的时候啊,它肯定是有一部分的数据丢失的
    • 而且 Redis 使用的是一种异步的复制机制
    • 所以说, Sentinel 加 Redis,它不能保证故障期间保留已确认的写入
    • 但是我们是可以配置它允许丢失有限的写入
  • 第六就是客户端要支持 Sentinel
    • 你现在用了哨兵,你的客户端必须得支持
    • 现在大部分热门的第三方都是支持 Sentinel 的
  • 第七,经常要在测试环境中测试
  • 第八,在 Docker 、端口映射或网络地址转换的环境中配置的时候要格外小心
    • 因为在重新映射端口的情况下,真实的端口可能与转发的端口不同
    • 就会破坏 Sentinel 自动发现其他 Sentinel 进程

Sentinel 的优缺点

1 )优点

  • 哨兵模式是基于主从模式的,所以说主从的优点哨兵都有
  • 然后主从可以自动切换,系统的可用性能高,不用再去像之前一样人为的去切换
  • Sentinel 会不断的检查你的主服务器和从服务器是否运作正常,当被监控的某个 Redis 服务器出现问题时,Sentinel 可以通过 API 向管理或者其他应用程序发送通知

2 )缺点

  • 主从切换的时候是需要时间的,这部分可能会丢失数据
  • 还是没有解决主节点写的压力,后面集群分片会解决这个问题
  • 主节点写的能力,存储能力都是受到单机的限制
    • 就是说你这个主节点部署在这台服务器上
    • 它肯定通过这台主机的一个性能限制的
  • 动态扩容困难复杂
    • 在节点管理中如何在一个运行正常的环境下去动态的添加或者删除
    • 尤其是在删除的时候,会稍微的麻烦一点。如果操作不当,可能还会有影响

监控环境的搭建


1 )节点准备

角色IP
Master192.168.10.101
Slave192.168.10.102
Slave192.168.10.103

2 ) 编写配置文件

  • 三个节点分别创建 sentinel.conf 并添加以下配置
  • $ vi /usr/local/redis/conf/sentinel.conf
    # 放行所有IP限制
    bind 0.0.0.0
    # 进程端口号
    port 2379
    # 后台启动
    daemonize yes
    # 日志记录文件
    logfile "/usr/local/redis/log/sentinel.log"
    # 进程编号记录文件
    pidfile /var/run/sentinel.pid
    # 指示 Sentinel 去监视一个名为 mymaster 的主服务器 后面的 2 表示仲裁 3/2 + 1 = 2 其中3是总计三台机器
    sentinel monitor mymaster 192.168.10.101 6379 2
    # 访问主节点的密码
    sentinel auth-pass mymaster 123456
    # Sentinel认为服务器已经断线所需的毫秒数 默认值是30秒 这里改成10秒 PING PONG 中 返回 PONG 的时间
    sentinel down-after-milliseconds mymaster 10000
    # 若Sentinel 在该配置值内未能完成 failover 操作,则认为本次 failover失败 最终的超时时间 这里设置3分钟
    sentinel failover-timeout mymaster 180000
    

3 )启动

3.1 先启动 3 台 Redis 服务

  • $ /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf 3台分别启动
  • 在 主从服务器分别连接进入,查看 主从复制信息 $ info replication

3.2 再启动 3 个 Sentinel 服务

  • $ /usr/local/redis/bin/redis-sentinel /usr/local/redis/conf/sentinel.conf --sentinel 主服务器
  • $ /usr/local/redis/bin/redis-sentinel /usr/local/redis/conf/sentinel.conf 2个从服务器

3.3 查看日志

  • 主服务器:$ tail -f /usr/local/redis/log/sentinel.log

    1216:X 1 Oct 2024 14:42:14.647 # Configuration loaded
    1216:X 1 Oct 2024 14:42:14.670 * Increased maximum number of open files to 10032 (it was originally set to 024).
    1216:X 1 Oct 2024 14:42:14.671 * Running mode=sentinel, port=26379.
    1216:X 1 Oct 2024 14:42:14.671 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
    1216:X 1 Oct 2024 14:42:14.672 # Sentinel ID is ef7901d7ce89fde9a48501ab0194a0702fb7a6b9
    1216:X 1 Oct 2024 14:42:14.672 # +monitor master mymaster 192.168.10.101 6379 quorum 2
    1216:X 1 Oct 2024 14:42:14.673 * +slave slave 192.168.10.102:6379 192.168.10.102 6379 @ mymaster 192.168.10.101 6379
    1216:X 1 Oct 2024 14:42:14.675 * +slave slave 192.168.10.103:6379 192.168.10.103 6379   @ mymaster  192.168.10.101 6379
    1216:X 1 Oct 2024 14:42:28.835 * +sentinel sentinel 8a0b821f46e52b6c843b993d837c30802b966dbf 192.168.10.102 26379 @ mymaster 192.168.10.101 6379
    1216:X 1 Oct 2024 14:42:40.427 * +sentinel sentinel ca57497475e5317d43c08c3e6c112567c82f725e 192.168.10.103 26379 @ mymaster 192.168.10.101 6379
    
  • 由此,整个 sentinel 环境搭建完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2184062.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

国外电商系统开发-用户第一次需求反馈

一、用户反馈 因用户不懂系统开发,不知道需求应该怎么整理,用户只能从页面端说。 1、首页 a、太花里胡哨啦,不是一目了然; b、主次感不是很强; 2、分类 a、太复杂,前期产品不多 3、详情 a、太多了广…

极端天气道路目标检测数据集 3400张 带标注 VOC YOLO 6类

分类名: (图片张数,标注个数) car: (3210, 13654) truck: (1168,1629) per son: (1517,4359) bicyc le: (334, 589) bus: (381, 439) motorcycle: (164, 214) 总数: (3404, 20884) 总类(nc): 6类 极端天气道路目标检测…

RAG(Retrieval Augmented Generation)及衍生框架:CRAG、Self-RAG与HyDe的深入探讨

近年来,随着大型语言模型(LLMs)的迅猛发展,我们在寻求更精确、更可靠的语言生成能力上取得了显著进展。其中,检索增强生成(Retrieval-Augmented Generation)作为一种创新方法,极大地…

<<机器学习实战>>10-11节笔记:生成器与线性回归手动实现

10生成器与python实现 如果是曲线规律的数据集,则需要把模型变复杂。如果是噪音较大,则需要做特征工程。 随机种子的知识点补充: 根据不同库中的随机过程,需要用对应的随机种子: 比如 llist(range(5)) random.shuf…

Linux 实用工具Axel安装及使用教程(支持多线程下载)

一、Axel 简介 Axel 是一个轻量级的命令行下载加速器,旨在提高文件下载速度。 多线程下载: Axel 可以同时使用多个连接来下载文件,从而加快下载速度。断点续传: 支持中断后继续下载,避免重新开始下载整个文件。轻量级: 资源占用少&#xff0c…

G502 鼠标自定义(配合 karabiner)

朋友送了我一个 G502 多功能鼠标,除了鼠标正常的左键、右键和滑轮外,额外提供了 6 个按键,并且滑轮可以向左、向右、向下按下,共计 9 个自定义的按键。 虽然是 karabiner 的老用户,但一直在使用 TrackPad,所…

SpringBoot上传图片实现本地存储以及实现直接上传阿里云OSS

一、本地上传 概念&#xff1a;将前端上传的文件保存到自己的电脑 作用&#xff1a;前端上传的文件到后端&#xff0c;后端存储的是一个临时文件&#xff0c;方法执行完毕会消失&#xff0c;把临时文件存储到本地硬盘中。 1、导入文件上传的依赖 <dependency><grou…

C++ | Leetcode C++题解之第451题根据字符出现频率排序

题目&#xff1a; 题解&#xff1a; class Solution { public:string frequencySort(string s) {unordered_map<char, int> mp;int maxFreq 0;int length s.size();for (auto &ch : s) {maxFreq max(maxFreq, mp[ch]);}vector<string> buckets(maxFreq 1)…

MySQL--数据库约束(详解)

目录 一、前言二、概念三、数据库约束3.1 约束类型3.1.1 NOT NULL 约束3.1.2 UNIQUE (唯一&#xff09;3.1.3 DEFAULT&#xff08;默认&#xff09;3.1.4 PRIMARY KEY&#xff08;主键&#xff09;3.1.5 FOREIGN KEY&#xff08;外键&#xff09;3.1.6 CHECK 四、总结 一、前言…

Redis篇(最佳实践)(持续更新迭代)

介绍一&#xff1a;键值设计 一、优雅的key结构 Redis 的 Key 虽然可以自定义&#xff0c;但最好遵循下面的几个最佳实践约定&#xff1a; 遵循基本格式&#xff1a;[业务名称]:[数据名]:[id]长度不超过 44 字节不包含特殊字符 例如&#xff1a; 我们的登录业务&#xff0…

十四、磁盘的管理

1.磁盘初始化 Step1:进行低级格式化(物理格式化)&#xff0c;将磁盘的各个磁道划分为扇区。一个扇区通常可分为头、数据区域(如512B大小)、尾 三个部分组成。管理扇区所需要的各种数据结构一般存放在头、尾两个部分&#xff0c;包括扇区校验码(如奇偶校验、CRC循环几余校验码等…

Azkaban:大数据任务调度与编排工具的安装与使用

在当今大数据时代&#xff0c;数据处理和分析任务变得越来越复杂。一个完整的大数据分析系统通常由大量任务单元组成&#xff0c;如 shell 脚本程序、mapreduce 程序、hive 脚本、spark 程序等。这些任务单元之间存在时间先后及前后依赖关系&#xff0c;为了高效地组织和执行这…

【架构】prometheus+grafana系统监控

文章目录 一、Prometheus简介二、Grafana简介三、PrometheusGrafana系统监控的实现四、优势与应用场景 参考 PrometheusGrafana系统监控是一个强大的组合&#xff0c;用于实时监控和分析系统的性能与状态。以下是对这一组合在系统监控中的详细解析&#xff1a; 一、Prometheus…

postgresql僵尸进程的处理思路

简介 僵尸进程&#xff08;zombie process&#xff09;是指一个已经终止但仍然在进程表中保留条目的进程。正常情况下&#xff0c;当一个进程完成执行并退出时&#xff0c;操作系统会通过父进程调用的wait()或waitpid()系统调用来收集该子进程的退出状态。如果父进程未及时调用…

快速了解:MySQL InnoDB和MyISAM的区别

目录 一、序言二、InnoDB和MyISAM对比1、InnoDB特性支持如下2、MyISAM特性支持如下 三、两者核心区别1、事务支持2、锁机制3、索引结构4、缓存机制5、故障恢复6、使用场景 一、序言 在MySQL 8.0中&#xff0c;InnoDB是默认的存储引擎。除了InnoDB&#xff0c;MySQL还支持其它的…

SQL - 函数

1. 操作类函数 这一类函数针对数据结构&#xff0c;表格进行筛选操作 1.1 GROUP BY 根据某个单一列中属性或者多个列对结果集进行分组 SELECT column1, SUM(column2) FROM table GROUP BY column1; 上述代码将所选择列进行column1中的属性分组&#xff0c;作为每一行的索引…

如何在idea使用RabbitMQ

一.RabbitMQ的安装和访问 1.在linux虚拟机安装RabbitMQ docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:3.9.9-management 2.启动RabbitMQ docker start rabbitmq 3.访问 RabbitMQ网页 在自…

【Python】Uvicorn:Python 异步 ASGI 服务器详解

Uvicorn 是一个为 Python 设计的 ASGI&#xff08;异步服务器网关接口&#xff09;Web 服务器。它填补了 Python 在异步框架中缺乏一个最小化低层次服务器/应用接口的空白。Uvicorn 支持 HTTP/1.1 和 WebSockets&#xff0c;是构建现代异步Web应用的强大工具。 ⭕️宇宙起点 &a…

C++网络编程之IP地址和端口

概述 IP地址和端口共同定义了网络通信中的源和目标。IP地址负责将数据从源设备正确地传输到目标设备&#xff0c;而端口则确保在目标设备上数据被交付到正确的应用或服务。因此&#xff0c;在网络编程中&#xff0c;IP地址和端口是密不可分的两个概念&#xff0c;共同构成了网络…