Redis集群 (三十九)

news2024/11/26 19:16:35

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

目录

前言

一、Redis主从复制

1.1 概念

1.2 作用

1.3 缺点

1.4 流程

1.5 搭建

1.6 验证

二、Reids哨兵模式

2.1 概念

2.2 作用

2.3 缺点

2.4 结构

2.5 搭建

2.6 验证

三、Redis集群

3.1 概述

3.2 原理

3.3 架构细节

3.4 选举过程

3.4 搭建

3.4.1 基础搭建

3.4.2 构建集群



前言

       Redis集群是Redis数据库的一个分布式解决方案,它允许将数据分布在多个Redis节点上以提高性能和可靠性。

       Redis集群使用分片的方式将数据分布在多个节点上。每个节点负责存储和处理一部分数据。当进行数据读写操作时,客户端会根据数据的哈希值找到对应的节点,并将操作发送给该节点进行处理。

       Redis集群还提供了自动的故障转移和数据迁移功能。当一个节点出现故障时,集群会自动将该节点上的数据迁移到其他正常节点上,以保证数据的可用性。同时,集群还会自动选举新的主节点来接管失效节点的工作。要使用Redis集群,需要至少3个Redis节点。每个节点都是一个独立的Redis服务器实例,并且需要通过配置文件指定集群模式和节点的IP地址和端口号。

        Redis集群可以提供高可用性和性能扩展的解决方案,但也需要注意一些限制和注意事项,如无法支持事务、主节点数不能超过16384个等。


提示:以下是本篇文章正文内容,下面案例可供参考

一、Redis主从复制

1.1 概念

           Redis主从复制是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。

1.2 作用

        数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
        故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
       负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
       高可用:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

1.3 缺点

    故障恢复无法自动化;
    写操作无法负载均衡;
    存储能力受到单机的限制。

1.4 流程

     第一步:若启动一个Slave机器进程,则它会向Master机器发送一个“sync command”命令,请求同步连接。
    第二步:无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中。 
    第三步:后台进程完成缓存操作之后,Maste机器就会向Slave机器发送数据文件,Slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,接着Master机器就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机,则恢复正常后会自动重新连接。
    第四步:Master机器收到Slave端机器的连接后,将其完整的数据文件发送给Slave端机器,如果Mater同时收到多个Slave发来的同步请求,则Master会在后台启动一个进程以保存数据文件,然后将其发送给所有的Slave端机器,确保所有的Slave端机器都正常。

1.5 搭建

    主服务器:(IP:192.168.10.130)
        修改配置文件
            bind  0.0.0.0
            port  6379
            protected-mode = no
            daemonize = yes

 


    从服务器:
        修改配置文件
            bind  0.0.0.0
            port  6380
            protected-mode = no
            daemonize = yes
            slaveof 192.168.10.130 6379 

 

1.6 验证

    使用redis-cli命令行登录redis服务器,输入role指令查看状态
    在master节点上,录入数据,在slave节点上查看到对应数据即可

主服务器

 在从服务登录查看

二、Reids哨兵模式

2.1 概念

          Reids哨兵模式是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的 Master 并将所有 Slave 连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。
    依托于主从模式

2.2 作用


    监控:哨兵会不断地检查主节点和从节点是否运作正常。
     自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其他从节点改为复制新的主节点。
    通知(提醒):哨兵可以将故障转移的结果发送给客户端。

2.3 缺点


    写操作无法负载均衡
    存储能力受到单机的限制
    哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。

2.4 结构

    哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
    数据节点:主节点和从节点都是数据节点。

2.5 搭建

关闭保护模式
protected-mode no
Redis哨兵默认的监听端口
port 26379

指定日志存放路径
logfile "/var/log/sentinel.log"
指定数据库存放路径
dir "/var/lib/redis"
修改 指定该哨兵节点监控192.168.163.10:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel monitor mymaster 192.168.163.10 6379 2
判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel down-after-milliseconds mymaster 30000
故障节点的最大超时时间为180000(180秒)
sentinel failover-timeout mymaster 180000

    bind 0.0.0.0
    port 26379
    daemonize  yes
    sentinel monitor mymaster 192.168.115.160 6379 2
    启动
        redis-sentinel  配置文件路径

 bind 0.0.0.0
    port 26379  26380  26381
    daemonize  yes
    sentinel monitor mymaster 192.168.10.130 6379 2

2.6 验证

    可以查看日志文件(/var/log/redis/sentinel.log)

    停止master后,slave会通过选举产生新的master
    哨兵配置文件会自动修改监听的master节点地址为新的master节点地址

 以前停掉的master重新启动不会更改当前哨兵模式选出的master 

 

三、Redis集群

3.1 概述

        Redis3.0版本以上开始支持cluster,采用的是hashslot(hash槽),可以将多个Redis实例整合在一起,形成一个群集,也就是将数据分散到群集的多台机器上。

3.2 原理


    Redis Cluster是一个无中心的结构,每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息,知道其他节点所负责的槽,并且会与其他节点定时发送心跳信息,能够及时感知群集中异常的节点。

   (直接执行这个命令;如果键所在的槽并没有指派给当前节点,那么节点会向客户端返回一个MOVED错误,指引客户端转向(redirect)正确的节点,并再次发送之前想要执行的命令.
群集角色有Master和Slave.Master之间分配slots,一共16384个slot,Slave向它指定的Master 同步数据,实现备份。当其中的一个Master无法提供服务时,该Master的Slave将提升为Mester,以保证群集间 slot 的完整性,当其中的某一个Master和它的Slave都失效,导致了slot不完整,群集失效,这时就需要人工去处理了。
群集搭建好后,群集中的每个节点都会定期地向其他节点发送PING消息,如果接收PONG消息的节点没有在规定的时间内返回PONG 消息,那么发送PNG消息的节点就会将其标记为疑似下线(probable fail,PFAL)。各个节点会通过互相发送消息的方式来交换群集中各个节点的状态信息。如果在一个群集里面,半数以上的主节点都将某个主节点×报告为疑似下线,那么这个主节点×将被标记为已下线(FAL),同时会向群集广播一条关于主节点×的FAL消息,所有收到这条FAL消息的节点都会立即将主节点×标记为已下线。
当需要减少或者增加群集中的机器时,我们需要将已经指派给某个节点(源节点)的槽改为指派给另一个节点(目标节点),并且将相关槽所属的键值对从源节点移动到目标节点。
Redis群集的重新分片操作是由Redis的群集管理软件redis—trib负责执行的,不支持自动的分片,而且需要自己计算从哪些节点上迁移多少 Slot。在重新分片的过程中,群集不需要下线,并且源节点和目标节点都可以继续处理命令请求。)

3.3 架构细节


    (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
    (2)节点的失效(fail)在群集中超过半数的主(master)节点检测失效时才生效。
    (3)客户端与 redis 节点直连,不需要中间代理(proxy)层,客户端不需要连接群集所有节点,连接群集中任何一个可用节点即可。
    (4)redis-cluster 把所有的物理节点映射到【0-16383】slot 上,cluster 负责维护 node<->slot<->key。

3.4 选举过程


    选举过程是群集中所有master参与,如果半数以上master节点与当前 master 节点通信超时(cluster—node—timeout),认为当前 master 节点挂掉。以下两种情况为整个群集不可用(cluster_state:fail),当群集不可用时,所有对群集的操作都不可用,收到((error)CLUSTEFDOWN The cluster is down)错误。
    如果群集任意 master挂掉,且当前 master 没有 slave,则群集进入 fail状态,也可以理解成群集的slot映射【0 ~16383】不完整时进入fail状态。
    如果群集中超过半数的master挂掉,无论是否有slave,群集都进入 fail状态。
    默认情况下,每个群集的节点都使用两个TCP端口.一个是6379,一个是16379;6379服务于客户端的连接,16379 用于群集总线,即使用二进制协议的节点到节点通信通道。节点使用群集总线进行故障检测、配置更新、故障转移授权等。如果开启了防火墙,需要开放这两个端口。

3.4 搭建

3.4.1 基础搭建

准备3台虚拟机,分别设置IP为 192.168.156.3   192.168.156.4   192.168.156.5 

1. 安装epel-release源(三台都装)

    安装 redis

yum install -y epel-release

yum install -y redis

2.关闭防火墙、修改宽容模式

3. 创建目录、配置文件

4.  进入配置文件,修改配置项 (两个)

 vim /etc/redis/redis1_6379.conf

 vim /etc/redis/redis2_6380.conf 5. 创建目录redis1_6379 和 redis2_6380 

 6.  启动 7. 查看是否启动

此时已经启动

 其他两台同样的操作................

3.4.2 构建集群

1. 进入配置文件修改配置项(三台都要改)

 启动

 2. 构建集群

以下操作需要登录某个节点的redis数据库

redis-cli -h 192.168.156.3(进入数据库)

将其他节点加入集群
     CLUSTER MEET 192.168.156.3 6380
     CLUSTER MEET 192.168.156.4 6379
     CLUSTER MEET 192.168.156.4 6380
     CLUSTER MEET 192.168.156.5 6379
     CLUSTER MEET 192.168.156.5 6380

 查看

 分配slot
    redis-cli -p 6379 cluster addslots {0..5461}
    redis-cli -p 6380 cluster addslots {5462..10922}
    redis-cli -p 6380 cluster addslots {10923..16383}

 建立主从关系
    redis-cli -p 6379 cluster replicate b356143b3ca4f07cceb30634618339ed107f793c
    redis-cli -p 6380cluster replicate 5cca472f9816273103769adb32b3a1b562f42655
    redis-cli -p 6380 cluster replicate 6d7219fd6db32e6014955edbeda26af6b59b9078

 测试

查看命令
    cluster nodes
        查看所有群集节点
    cluster info
        查看群集状态

重置集群命令(每个节都要重置)
    cluster reset
    数据的key不能相同


   总结

Redis集群具有高可用性、数据分片、扩展性、容错性、简化管理、高性能,总的来说,Redis集群通过提供高可用性、水平扩展、容错性和简化管理等优势,成为了一个理想的分布式解决方案,适用于大规模数据存储和高并发访问的场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/872517.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一文揭秘饿了么跨端技术的演进、实践与落地

跨端技术背景与演进历程 跨端&#xff0c;究竟跨的是哪些端&#xff1f; 自 90 年的万维网出现&#xff0c;而后的三十多年&#xff0c;我们依次经历了 PC 时代、移动时代&#xff0c;以及现在的万物互联&#xff08;的 IoT &#xff09;时代&#xff0c;繁荣的背后&#xff…

SpringBoot后端服务开启Https协议提供访问(使用阿里云资源)

目录 概述 申请/下载证书 部署证书 本地测试访问 服务器部署访问 最后/扩展 总结 概述 本篇博客说明如何将SpringBoot项目开启Https协议提供访问。 博文以步骤【申请/下载证书】&#xff0c;【部署证书】&#xff0c;【本地测试访问】&#xff0c;【服务器部署访问】 &a…

linux0.95(VFS重点)源码通俗解读(施工中)

文件系统在磁盘中的体现 下面是磁盘的内容&#xff0c;其中i节点就是一个inode数组&#xff0c;逻辑块就是数据块可用于存放数据 操作系统通过将磁盘数据读入到内存中指定的缓冲区块来与磁盘交互&#xff0c;对内存中的缓冲区块修改后写回磁盘。 进程(task_struct * task[N…

Python系统学习1-7-字典

一、字典 1、概念及内存图 列表&#xff1a;由一系列变量组成的可变序列容器字典&#xff1a;由一系列键值对组成的可变散列容器字典优势&#xff1a;利用&#xff08;内存&#xff09;空间&#xff0c;换取&#xff08;CPU查找&#xff09;时间 键key 必须唯一且为不…

2023-arxiv-LLaMA: Open and Efficient Foundation Language Models

开放和高效的基础语言模型 Paper&#xff1a;https://arxiv.org/abs/2302.13971 Code: https://github.com/facebookresearch/llama 摘要 本文介绍了 LLaMA&#xff0c;这是⼀个包含 7B 到 65B 参数的基础语⾔模型的集合。作者在数万亿个令牌上训练模型&#xff0c;并表明可以…

windows10 安装WSL2, Ubuntu,docker

AI- 通过docker开发调试部署ChatLLM 阅读时长&#xff1a;10分钟 本文内容&#xff1a; window上安装ubuntu虚拟机&#xff0c;并在虚拟机中安装docker&#xff0c;通过docker部署数字人模型&#xff0c;通过vscode链接到虚拟机进行开发调试.调试完成后&#xff0c;直接部署在云…

针对英特尔酷睿 CPU 优化,Canonical 发布 Ubuntu 实时内核

导读Canonical 今天宣布针对支持时序协调运算&#xff08;TCC&#xff09;和时间敏感网络&#xff08;IEEE TSN&#xff09;的英特尔酷睿处理器&#xff0c;推出优化版实时 Ubuntu 内核。 Canonical 于今年 2 月宣布&#xff0c;为购买 Ubuntu Pro 订阅&#xff0c;使用代号为 …

类加载过程和类加载器

类加载的过程 加载->连接&#xff08;验证->准备->解析&#xff09;->初始化 加载 1.获得二进制字节流&#xff08;可以从本地jar 网络或者动态代理获得&#xff09; 2.转化成方法区中的运行时数据 3.获得类对应的Class对象 加载的过程由类加载器完成&…

opencv实战项目 手势识别-手部距离测量

手势识别系列文章目录 手势识别是一种人机交互技术&#xff0c;通过识别人的手势动作&#xff0c;从而实现对计算机、智能手机、智能电视等设备的操作和控制。 1. opencv实现手部追踪&#xff08;定位手部关键点&#xff09; 2.opencv实战项目 实现手势跟踪并返回位置信息&…

hive高频使用的拼接函数及“避坑”

hive高频使用的拼接函数及“避坑” 说到拼接函数应用场景和使用频次还是非常高&#xff0c;比如一个员工在公司充当多个角色&#xff0c;我们在底层存数的时候往往是多行&#xff0c;但是应用的时候我们通常会只需要一行&#xff0c;角色字段进行拼接&#xff0c;这样join其他…

基于smardaten无代码开发智能巡检系统,让无人机飞得更准

目录 引言需求背景搭建思路开发过程&#xff08;1&#xff09;无人机设备数据接入&#xff08;2&#xff09;无人机巡检任务管理&#xff08;3&#xff09;无人机三维防控监视&#xff08;4&#xff09;运防一体化大屏设计&#xff08;5&#xff09;异常告警管理&#xff08;6&…

nvm安装以及使用

注意事项&#xff1a; 安装前需要卸载原有的node&#xff0c;卸载干净后cmd输入node -v查看&#xff1b; 一&#xff0c;下载nvm 下载&#xff1a;https://github.com/coreybutler/nvm-windows/releases 选择第四个 “nvm-setup.zip”&#xff1b; 二&#xff0c;安装 1&…

Fiddler抓包工具不会用?点这里手把手超详细教学!

Fiddler 是一个 HTTP 协议调试代理工具&#xff0c;它能够记录并检查所有你的电脑和互联网之间的 HTTP 通讯。 Fiddler 提供了电脑端、移动端的抓包、包括 http 协议和 https 协议都可以捕获到报文并进行分析&#xff1b;可以设置断点调试、截取报文进行请求替换和数据篡改&am…

css 字体渐变样式(设置字体渐变样式+附加实现源码)

问题描述 先看效果图。 解决方案 在对应的css样式里添加如下代码。 我的商品列表在shangpinliebiaobiaotit-view类里面&#xff0c;那么就在shangpinliebiaobiaotit-view设置css渐变样式。 <view class"shangpinliebiaobiaotit-view">商品列表</view&g…

5. 交换机

在上节中&#xff0c;我们创建了一个工作队列。我们假设的是工作队列背后&#xff0c;每个任务都恰好交付给一个消 费者(工作进程)。在这一部分中&#xff0c;我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式 称为 ”发布/订阅”. 为了说明这种模式&#xff…

pyspark笔记 pyspark.sql.functions

col qqpyspark 笔记 pyspark.sql.function col VS select_UQI-LIUWJ的博客-CSDN博客 取某一列 lit 创建一个包含指定值的列 date_trunc 将日期截取成由第一个参数指定的字符串值 year, yyyy, yy——截取到年month,mon,mm——截取到月day,dd ——截取到天microsecondmillis…

DAY21

题目一 给定三个字符串str1、str2和aim&#xff0c; 如果aim包含且仅包含来自str1和str2的所有字符&#xff0c;而且在aim中属于str1的字符 之间保持原来在str1中的顺序&#xff0c;属于str2的字符之间保持原来在str2中的顺序&#xff0c;那么称aim是str1和str2的交错组成。实…

ESP32-连接参数/间隔更新

连接间隔的设置是一个协商的过程&#xff0c;ESP32提供了一些协商的接口&#xff0c;按顺序分析一下。 Step 1&#xff1a;首先是Client连接时对Server要求的连接间隔&#xff08;确定值&#xff09; 在连接的时候&#xff0c;Client会把当前的连接间隔发送给Server。在Serve…

Vue.js2+Cesium1.103.0 十一、Three.js 炸裂效果

Vue.js2Cesium1.103.0 十一、Three.js 炸裂效果 Demo ThreeModelBoom.vue <template><div:id"id"class"three_container"/> </template><script> /* eslint-disable eqeqeq */ /* eslint-disable no-unused-vars */ /* eslint-d…