Redis实战--Redis的数据持久化与搭建Redis主从复制模式和搭建Redis的哨兵模式

news2024/11/16 1:55:28

        Redis作为一个高性能的key-value数据库，广泛应用于缓存、消息队列、排行榜等场景。然而，Redis是基于内存的数据库，这意味着一旦服务器宕机，内存中的数据就会丢失。为了解决这个问题，Redis提供了数据持久化的机制，包括RDB和AOF两种方式。此外，为了提高数据的可用性和可扩展性，Redis还支持主从复制和哨兵模式。本文将详细介绍Redis的数据持久化机制、如何搭建Redis主从复制模式以及如何搭建Redis的哨兵模式。

一、Redis的数据持久化

1）为什么要持久化？

        Redis是基于内存的数据库，其优点是速度快，但缺点是数据容易丢失。为了解决这个问题，Redis提供了两种持久化机制：RDB和AOF。

2）RDB持久化

        RDB持久化是通过创建数据的快照来实现的。

在redis.conf文件中，默认开启了RDB持久化：

操作越频发，保存的间隔时间越短

目前默认的配置：

save 900 1 代表如果用户在900秒内（15分钟）操作redis一次以上就保存一下。
通过如上的配置，我们得出一个结论，用户只要操作redis越频繁，保存的间隔时间就短。

RDB持久化有两种命令：SAVE和BGSAVE。

SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数，但它们调用的方式各有不同：
1）SAVE 直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。
2）BGSAVE 则 fork 出一个子进程，子进程负责调用 rdbSave ，并在保存完成之后向主进程发送信号，通知保存已完成。 Redis 服务器在BGSAVE 执行期间仍然可以继续处理客户端的请求。

bg = backgroud的意思，这两个命令都是手动的保存数据。

 

RDB方案优点

1、对性能影响最小。如前文所述，Redis在保存RDB快照时会fork出子进程进行，几乎不影响Redis处理客户端请求的效率。

2、每次快照会生成一个完整的数据快照文件，所以可以辅以其他手段保存多个时间点的快照（例如把每天0点的快照备份至其他存储媒介中），作为非常可靠的灾难恢复手段。3、使用RDB文件进行数据恢复比使用AOF要快很多

RDB方案缺点

1、快照是定期生成的，所以在Redis crash时或多或少会丢失一部分数据。

如果数据集非常大且CPU不够强（比如单核CPU），Redis在fork子进程时可能会消耗相对较长的时间，影响Redis对外提供服务的能力

3）AOF持久化

        AOF持久化是通过记录每次执行的命令来实现的。这种方式每操作一次就保存一次，数据安全性更高，但性能会有一定影响。

 AOF功能会产生aof文件，这个文件会越来越大，如何处理？ redis有一个rewrite功能。

        随着AOF不断地记录写操作日志，因为所有的操作都会记录，所以必定会出现一些无用的日志。大量无用的日志会让AOF文件过大，也会让数据恢复的时间过长。不过Redis提供了AOF rewrite功能，可以重写AOF文件，只保留能够把数据恢复到最新状态的最小写操作集。        

        AOF rewrite可以通过BGREWRITEAOF命令触发，也可以配置Redis定期自动进行：
auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb
上面配置的含义是，Redis在每次AOF rewrite时，会记录完成rewrite后的AOF日志大小，当AOF日志大小在该基础上增长了100%后，自动进行AOF rewrite。同时如果增长的大小没有达到64mb，则不会进行rewrite。

AOF文件     10M --> 20M 增长100%会触发 rewrite功能
                    变大了64M --> 也会触发rewrite 

AOF优点

1、最安全，在启用appendfsync always时，任何已写入的数据都不会丢失，使用在启用appendfsync everysec也至多只会丢失1秒的数据

2、AOF文件在发生断电等问题时也不会损坏，即使出现了某条日志只写入了一半的情况，也可以使用redis-check-aof工具轻松修复。

3、AOF文件易读，可修改，在进行了某些错误的数据清除操作后，只要AOF文件没有rewrite，就可以把AOF文件备份出来，把错误的命令删除，然后恢复数据。

AOF的缺点

1、AOF文件通常比RDB文件更大
2、性能消耗比RDB高
3、数据恢复速度比RDB慢

 

AOF方案配置

在redis中，aof的持久化机制默认是关闭的
AOF持久化，默认是关闭的，默认是打开RDB持久化

appendonly yes，可以打开AOF持久化机制，在生产环境里面，一般来说AOF都是要打开的，除非你说随便丢个几分钟的数据也无所谓
打开AOF持久化机制之后，redis每次接收到一条写命令，就会写入日志文件中，当然是先写入os cache的，然后每隔一定时间再fsync一下
而且即使AOF和RDB都开启了，redis重启的时候，也是优先通过AOF进行数据恢复的，因为aof数据比较完整
可以配置AOF的fsync策略，有三种策略可以选择，一种是每次写入一条数据就执行一次fsync; 一种是每隔一秒执行一次fsync; 一种是不主动执行fsync
always: 每次写入一条数据，立即将这个数据对应的写日志fsync到磁盘上去，性能非常非常差，吞吐量很低; 确保说redis里的数据一条都不丢，那就只能这样了
在redis当中默认的AOF持久化机制都是关闭的。

# appendfsync always
always: 每次写入一条数据，立即将这个数据对应的写日志fsync到磁盘上去，性能非常非常差，吞吐量很低; 确保说redis里的数据一条都不丢，那就只能这样了

appendfsync everysec

每秒将os cache中的数据fsync到磁盘，这个最常用的，生产环境一般都这么配置，性能很高，QPS还是可以上万的
# appendfsync no

4. 综合比较

        RDB和AOF各有优缺点，可以根据业务需求选择合适的持久化策略。如果对数据完整性要求高，可以选择AOF；如果对性能要求高，可以选择RDB。

RDB （丢数据比较频繁）
AOF(稍微慢，但是相对来讲数据比较安全) 默认不开启。
    AOF的保持机制： always  everysec  no
    AOF 还有rewrite机制：日志有很多是垃圾数据，需要挑选一下。

二、Redis主从复制

1） 为什么要主从复制？

 主从复制可以实现数据同步和读写分离，提高系统的可用性和可扩展性。

2.）搭建主从复制

搭建主从复制

我们的方案就是在服务器上安装主从，一个主，两个从，在redis.conf中配置主从关系。例如：

[root@caiji bin]# mkdir mastersalves
[root@caiji bin]# cp redis.conf ./mastersalves/

配置隶属关系

修改从节点的配置文件 ，这个配置很重要，一定要配置

redis5.0 需要如下配置

# replicaof <masterip> <masterport>
replicaof bigdata01 6379

 

检查一下以前的配置是否修改了：

Redis简单介绍与安装应用-CSDN博客

配置日志文件和数据目录

产生的日志
mkdir -p /usr/local/bin/mastersalves/logs
产生的数据      
mkdir -p /usr/local/bin/mastersalves/redisdata

数据路径

如果主节点配置了密码保护，从节点也需要配置密码：

masterauth 123456

启动主节点

./redis-server redis.conf

启动从节点

./redis-server mastersalves/redis.conf

 验证主从效果

 3）故障转移

验证主节点挂了，从节点顶上去

在从节点，cli端，输入命令

slaveof NO ONE

这种模式，虽然可以实现主从，从节点可以顶上去，但是是手动模式，不太方便。

假如主节点又修复好了，启动了，此时从节点从主节点再变为从节点：
在从节点，执行这句话
 

SLAVEOF bigdata01 6379

三、Redis的哨兵模式

1）哨兵模式解决的问题

        哨兵模式可以自动将从节点升级为主节点，解决了主从模式下无法自动故障转移的问题。

2）搭建哨兵模式

环境搭建

在 /usr/local/bin下面：
mkdir sentinel-zc

复制外面的sentinel.conf 到 sentinel-zc 文件夹下面

cp /opt/installs/redis-4.0.14/sentinel.conf sentinel-zc

修改sentinel.conf配置

修改bind

bind bigdata01

修改端口号

port 26379   第一次不需要修改
daemonize yes  表示将来的sentinel服务，后台启动

 

 

sentinel monitor mymaster bigdata01 6379 2

将配置文件拷贝三份，修改端口号

[root@bigdata02 sentinel-zc]# cp sentinel.conf sentinel2.conf 
[root@bigdata02 sentinel-zc]# cp sentinel.conf sentinel3.conf

另一个修改为 26381 

假如主节点server 配置了密码，需要在sentinel.conf 文件中也配置密码：大约70行左右
    sentinel auth-pass mymaster 123456

谨记： 以上这个语句必须写在 sentinel monitor mymaster 192.168.32.129 6379 2
       的下方，否则启动报错。

启动三台sentinel 服务

先启动 redis-server 服务
./redis-server redis.conf
./redis-server mastersalves/redis.conf
再次启动 redis-sentinel服务：
./redis-sentinel sentinel-zc/sentinel.conf    
./redis-sentinel sentinel-zc/sentinel2.conf
./redis-sentinel sentinel-zc/sentinel3.conf

测试哨兵模式：将主节点杀死，从节点自动变为主节点：

 哨兵模式可以自动将从节点变为主节点（重点是：自动）

 假如这个时候主节点又启动起来了，会自动变为从节点，并且从主节点中同步数据。
相当于以前的主节点变从节点，从节点自动变主节点，而且两边数据会同步。

从节点也可以重新变为从节点，主节点变为主节点，需要手动修改。
SLAVEOF bigdata01 6379
主节点输入命令：slaveof NO ONE   变为主节点

 主节点的redis的数据默认是存储在 ./的文件夹下
启动的时候在哪里启动，数据就保存在哪里，很不方便，可以通过配置文件指定数据的位置
cd /usr/local/bin
mkdir masterdata
修改 redis.conf 
dir /usr/local/bin/masterdata

如果是哨兵模式，jedis代码做稍微的调整，当然以前的也可以使用（但是假如主节点发生了变化，代码会连接不上）。

import org.apache.commons.pool2.impl.GenericObjectPoolConfig;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisSentinelPool;

import java.util.HashSet;

public class JedisSentinalPoolTest {

    Jedis jedis = null;
    @Before
    public void initDB(){
      
        GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
        // idle 空闲的 最大空闲
        poolConfig.setMaxIdle(200);
        // 最大的连接数量
        poolConfig.setMaxTotal(1000);
        // 最小空闲
        poolConfig.setMinIdle(5);

        HashSet<String> hashSet = new HashSet<>();
        hashSet.add("bigdata01:26379");
        hashSet.add("bigdata01:26380");
        hashSet.add("bigdata01:26381");
        JedisSentinelPool sentinelPool = new JedisSentinelPool("mymaster",hashSet,poolConfig,"123456");
        jedis =  sentinelPool.getResource();

    }

    @After
    public void destroyDB(){
        // 数据库关闭
        jedis.close();
    }

    /**
     *  常见的数据库连接池有：c3p0 dbcp druid  HikariCP等
     */
    @Test
    public void testPool(){
        System.out.println(jedis.get("age"));
    }
}

3）哨兵模式的优缺点

        哨兵模式的优点是可以实现自动故障转移，提高系统的可用性。缺点是需要额外的资源来部署哨兵节点。

结语

        通过本文的介绍，相信大家对Redis的数据持久化、主从复制和哨兵模式有了更深入的了解。在实际应用中，可以根据业务需求选择合适的持久化策略和部署模式，以提高Redis的可用性和可扩展性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2163257.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

为什么会出现电话机器人？语音电话机器人的出现起到了什么作用？

为什么会出现电话机器人？语音电话机器人的出现起到了什么作用？

电话机器人的出现是科技发展与市场需求相结合的产物&#xff0c;它们的广泛应用反映了现代社会对效率、成本和服务质量的不断追求。以下是电话机器人出现的几个主要原因。 1. 市场需求的变化 随着经济的发展和消费模式的转变&#xff0c;客户对服务的期望不断提高。他们希望能…
阅读更多...
ecology9的待办推送外部系统

ecology9的待办推送外部系统

&#x1f3c6;本文收录于《全栈Bug调优(实战版)》专栏&#xff0c;主要记录项目实战过程中所遇到的Bug或前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&…
阅读更多...
Maven重点学习笔记(包入门 2万字)

Maven重点学习笔记(包入门 2万字)

Maven依赖管理项目构建工具 尚硅谷 5h 2023最新版 一&#xff0c;Maven简介 1.为什么学习Maven 1.1, Maven是一个依赖管理工具 1️⃣ jar包的规模 随着我们使用越来越多的框架&#xff0c;或者框架封装程度越来越高&#xff0c;项目中使用的jar包也越来越多。项目中&…
阅读更多...
小红书开源StoryMaker：个性化图像生成模型，实现角色一致性与背景变化的完美结合

小红书开源StoryMaker：个性化图像生成模型，实现角色一致性与背景变化的完美结合

文章链接&#xff1a;https://arxiv.org/pdf/2409.12576 Github链接&#xff1a;https://github.com/RedAIGC/StoryMaker 模型链接&#xff1a;https://huggingface.co/RED-AIGC/StoryMaker 亮点直击 解决了生成具有一致面部、服装、发型和身体的图像的任务&#xff0c;同时允许…
阅读更多...
关系数据库标准语言SQL（3,4）

关系数据库标准语言SQL（3,4）

目录 定义基本表 数据类型 模式与表 创建基本表 修改基本表 删除基本表 定义基本表 每行都定义一个列及其约束条件&#xff0c;最后加上表的约束条件。 其中sno&#xff0c;约束为primary key&#xff0c;表示它是主码&#xff0c;sname约束为unique表示它是唯一值&#x…
阅读更多...
VScode的c/c++环境搭建

VScode的c/c++环境搭建

文章目录 前言1、下载VScode2、安装cpptools3、下载MinGW4、配置环境变量5、修改C/C配置文件5.1、编辑 launch.json 配置文件5.2、编辑 tasks.json 文件 6、运行7、其他 前言 用VS进行C/C开发&#xff0c;环境配置遵循以下步骤&#xff1a; 1.指定头文件目录。“配置属性”→…
阅读更多...
【质优价廉】GAP9 AI算力处理器赋能智能可听耳机，超低功耗畅享未来音频体验！

【质优价廉】GAP9 AI算力处理器赋能智能可听耳机，超低功耗畅享未来音频体验！

当今世界&#xff0c;智能可听设备已经成为了流行趋势。随后耳机市场的不断成长起来&#xff0c;消费者又对AI-ANC&#xff0c;AI-ENC&#xff08;环境噪音消除&#xff09;降噪的需求逐年增加&#xff0c;但是&#xff0c;用户对于产品体验的需求也从简单的需求&#xff0c;升…
阅读更多...
Spring源码学习：SpringMVC（3）mvcannotation-driven标签解析【RequestMappingHandlerMapping生成】

Spring源码学习：SpringMVC（3）mvcannotation-driven标签解析【RequestMappingHandlerMapping生成】

目录 前言mvc:annotation-driven标签概述mvc:annotation-driven标签解析【RequestMappingHandlerMapping生成】AnnotationDrivenBeanDefinitionParser#parse &#xff08;解析入口&#xff09;RequestMappingHandlerMapping的实例化类图afterPropertiesSetAbstractHandlerMetho…
阅读更多...
Spring6梳理11——依赖注入之注入List集合类型属性

Spring6梳理11——依赖注入之注入List集合类型属性

以上笔记来源&#xff1a; 尚硅谷Spring零基础入门到进阶&#xff0c;一套搞定spring6全套视频教程&#xff08;源码级讲解&#xff09;https://www.bilibili.com/video/BV1kR4y1b7Qc 11 依赖注入之注入List集合类型属性 11.1 创建实体类Emp以及Dept Dept类中添加了遍历Emp…
阅读更多...
最大似然估计，存在即合理

最大似然估计，存在即合理

一、感性认识 认识的第一步来自感性的认识&#xff0c;先来感性的了解一下最大似然估计。现在&#xff0c;假设有两个学院&#xff0c;物理和外语学院。两个学院都各有特点&#xff0c;物理学院的男生占比大&#xff0c;外语学院女生占比大。如果在一次实验从两个学院中随机的…
阅读更多...
记录linux环境下搭建本地MQTT服务器实现mqtt的ssl加密通讯

记录linux环境下搭建本地MQTT服务器实现mqtt的ssl加密通讯

1、ubuntu安装mosquitto sudo apt-get update//安装服务端 sudo apt-get install mosquitto//安装客户端 sudo apt-get install mosquitto-clients 2、安装openssl 3、mqtts/tls加密传输 mosquitto原生支持了TLS加密&#xff0c;TLS&#xff08;传输层安全&#xff09;是SSL&…
阅读更多...
828华为云征文 | 华为云 X 实例服务器存储性能测试与优化策略

828华为云征文 | 华为云 X 实例服务器存储性能测试与优化策略

目录 引言 1 华为云 X 实例服务器概述 2 存储性能测试方法与工具 2.1 测试方法 2.2 测试工具 3 FIO&#xff08;Flexible I/O Tester&#xff09;读写性能测试 3.1 顺序读写测试 3.2 随机读写测试 4 hdparm性能测试 4.1 实际读取速度测试 4.2 缓存读取速度测试 4.3…
阅读更多...
乐鑫ESP-ZeroCode方案设备Matter协议开发新选择，设备无缝连接应用

乐鑫ESP-ZeroCode方案设备Matter协议开发新选择，设备无缝连接应用

随着科技的不断进步&#xff0c;智能家居正逐渐成为现代生活的一部分。物联网和智能家居行业应用取得了巨大的增长&#xff0c;一系列无线连接的智能设备涌入家庭&#xff0c;为家庭生活带来自动化和便利。 然而&#xff0c;随着设备数量的增加&#xff0c;用户开始面临一个挑…
阅读更多...
LeetCode题练习与总结：删除链表中的节点--237

LeetCode题练习与总结：删除链表中的节点--237

一、题目描述 有一个单链表的 head&#xff0c;我们想删除它其中的一个节点 node。 给你一个需要删除的节点 node 。你将 无法访问 第一个节点 head。 链表的所有值都是 唯一的&#xff0c;并且保证给定的节点 node 不是链表中的最后一个节点。 删除给定的节点。注意&…
阅读更多...
CentOS下安装Kibana（保姆级教程）

CentOS下安装Kibana（保姆级教程）

前言 Kibana是一个开源的数据分析和可视化平台&#xff0c;通常与Elasticsearch一起使用&#xff0c;用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能&#xff1a; 数据可视化&#xff1a; Kibana允许用户将数据转化为交互式、实时的图形和可视化展示&…
阅读更多...
从零开始，Docker进阶之路（三）：Docker镜像与命令

从零开始，Docker进阶之路（三）：Docker镜像与命令

一、Docker核心名词 镜像文件、容器、仓库 镜像&#xff1a;简单理解为就是一个安装包&#xff0c;里面包含容器所需要运行的基础文件和配置信息&#xff0c;比如&#xff1a;redis镜像、mysql镜像等。 镜像的来源方式&#xff1a; 1.自己做镜像&#xff0c;比如自己开发微服…
阅读更多...
Vue3: readonly与shallowreadonl

Vue3: readonly与shallowreadonl

目录 一.readonly 1.性质 2.作用 二.shallowReadonly 1.性质 2.作用 三.readonly 四.shallowReadonly 五.运行代码 Vue3中的readonly和shallowReadonly是两个用于创建只读响应式对象的函数。 一.readonly 1.性质 readonly函数会将一个对象或数组包装成一个完全只读…
阅读更多...
22 基于51单片机的智能家居系统(DHT11、继电器、气体浓度监测)

22 基于51单片机的智能家居系统(DHT11、继电器、气体浓度监测)

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于51单片机&#xff0c;DHT11温湿度检测&#xff0c;CO&#xff0c;PM2.5检测&#xff0c;通过LCD1602显示&#xff0c;超过阈值报警&#xff0c; 继电器驱动风扇转动。通过按键切换选择设置各项…
阅读更多...
【linux】gcc makefile

【linux】gcc makefile

&#x1f525;个人主页&#xff1a;Quitecoder &#x1f525;专栏&#xff1a;linux笔记仓 目录 01.gcc如何完成02.gcc选项03.函数库与动静态链接静态链接动态链接库文件特点和用途动态链接版本和兼容性 04.makefile自动推导 01.gcc如何完成 预处理(进行宏替换) 预处理功能主要…
阅读更多...
SAM核心代码注释总结

SAM核心代码注释总结

最近看sam2&#xff0c;顺便注释了下代码&#xff0c;方便回顾和分享。 PS: tensor的维度都基于默认参数配置。 SAM _build_sam sam模块包含三个部分&#xff0c;ImageEncoderViT、PromptEncoder和MaskDecoder&#xff1a; def _build_sam(encoder_embed_dim,encoder_depth…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023