Rdedis 持久化

news2024/11/22 6:46:36

        Redis 是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务器进程退出,服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能!

一、RDB(Redis DataBase)

1.1 概念

        在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的 Snapshot 快照,它恢复时是将快照文件直接读到内存里。

        Redis 会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何 IO 操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那 RDB 方式要比 AOF 方式更加的高效。RDB 的缺点是最后一次持久化后的数据可能丢失。 Redis 默认的就是 RDB,一般情况下不需要修改这个配置。

        rdb 默认保存的文件就是 dump.rdb,都是在我们配置文件的快照部分配置的,如下所示:

1.2 手动配置

        修改 redis.conf 配置文件,如下图所示:

        记得输入 config.rewrite 命令重启下 redis 服务使配置文件更新

# 客户端1 先删除 dump.rdb 文件
[root@localhost bin]# ls
dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
[root@localhost bin]# rm -f dump.rdb 
[root@localhost bin]# ls
myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

# 客户端2 执行 set 操作
127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3 k4 v4 k5 v5
OK

# 等1分钟后,再次查看客户端1,发现自动生成了 rdb 文件
[root@localhost bin]# ls
dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

1.3 触发机制

        1、 save 的规则满足的情况下,会自动触发 rdb 规则,产生 rdb 文件

# 客户端 1 查看
[root@localhost bin]# ls
myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

# 客户端 2 执行 save 命令
127.0.0.1:6379> save
OK

# 客户端 1 再次查看
[root@localhost bin]# ls
dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

        2、执行 flushall 命令,会自动触发 rdb 规则,产生 rdb 文件

# 客户端 1 查看
[root@localhost bin]# ls
myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

# 客户端 2 执行 flushall 命令
127.0.0.1:6379> flushall
OK

# 客户端 1 再次查看
[root@localhost bin]# ls
dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

        3、退出 redis,会自动触发 rdb 规则,产生 rdb 文件

# 客户端 1 查看
[root@localhost bin]# ls
myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

# 客户端 2 执行退出命令
127.0.0.1:6379> shutdown
not connected> exit

# 客户端 1 再次查看
[root@localhost bin]# ls
dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server

1.4 恢复 rdb 文件

        只需要将 rdb 文件放在我们 redis 启动目录即可,redis 启动的时候就会自动检查 dump.rdb恢复其中的数据,查看需要存在的位置命令:

127.0.0.1:6379> config get dir
1) "dir"
2) "/usr/local/bin"  # 如果在这个目录下存在 dump.rdb 文件,启动就会自动恢复其中的数据

1.5 优点

        1、适合大规模的数据恢复

        2、对数据完整性和一致性要求不高

1.6 缺点

        1、需要在一定间隔时间做一次备份,所以如果 redis 意外宕机了,就会丢失最后一次快照后的所有修改。        

        2、fork 进程的时候,会占用一定的内存空间。

二、AOF(Append Only File)

2.1 概念

        以日志的形式来记录每个写操作,将 Redis 执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis 启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

        AOF 保存的是 appendonly.aof 文件

2.2 手动配置

        默认是不开启的,需要我们手动进行配置,我们只需要将 appendonly 改为 yes 就开启了。

        测试

# 客户端1查看当前目录的文件,如果存在 rdb 文件先删除就好了
[root@localhost bin]# ls
myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server


# 客户端2启动 redis 服务
[root@localhost bin]# redis-server myredis/redis.conf 
[root@localhost bin]# redis-cli -p 6379
127.0.0.1:6379> 

# 客户端1再次查看当前目录的文件,发现生成了 appendonlydir 目录,并存储了相关的文件
[root@localhost bin]# ls
appendonlydir  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
[root@localhost bin]# cd appendonlydir/
[root@localhost appendonlydir]# ls
appendonly.aof.1.base.rdb  appendonly.aof.1.incr.aof  appendonly.aof.manifest



2.3 异常恢复

# 客户端1清空数据库,并重新赋值,然后退出 redis
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> set k3 v3
OK
127.0.0.1:6379> set k4 v4
OK
127.0.0.1:6379> set k5 v5
OK
127.0.0.1:6379> shutdown
not connected> exit

# 客户端2 首先删除dump.rdb 文件
[root@localhost bin]# ls
appendonlydir  dump.rdb  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
[root@localhost bin]# rm -f dump.rdb 
[root@localhost bin]# ls
appendonlydir  myredis  redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
# 修改我们的 aof 文件,舔些垃圾数据
[root@localhost bin]# cd appendonlydir/
[root@localhost appendonlydir]# vim appendonly.aof.1.incr.aof 
[root@localhost appendonlydir]# cd ..
# 启动 redis 的服务端
[root@localhost bin]# redis-server myredis/redis.conf 
58643:C 29 Aug 2023 20:14:27.081 # WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail under low memory condition. Being disabled, it can also cause failures without low memory condition, see https://github.com/jemalloc/jemalloc/issues/1328. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
# 启动 redis 的客户端,发现无法启动
[root@localhost bin]# redis-cli -p 6379
Could not connect to Redis at 127.0.0.1:6379: Connection refused
not connected> 

        可以使用 redis-check-aof 工具来修复

# 执行 redis-check-aof --fix 修复的文件名 来修复文件
[root@localhost bin]# redis-check-aof --fix appendonlydir/appendonly.aof.1.incr.aof 
Start checking Old-Style AOF
0x             13e: Expected \r\n, got: 3131
AOF analyzed: filename=appendonlydir/appendonly.aof.1.incr.aof, size=353, ok_up_to=301, ok_up_to_line=76, diff=52
This will shrink the AOF appendonlydir/appendonly.aof.1.incr.aof from 353 bytes, with 52 bytes, to 301 bytes
Continue? [y/N]: y
Successfully truncated AOF appendonlydir/appendonly.aof.1.incr.aof

# 上面提示我们成功的修复了文件,再次重新启动下就可以了
[root@localhost bin]# redis-server myredis/redis.conf 
[root@localhost bin]# redis-cli -p 6379
127.0.0.1:6379> mget k1 k2 k3 k4 k5
1) "v1"
2) "v2"
3) "v3"
4) "v4"
5) (nil)

优点

        1、每一次修改都同步,文件的完整性会更加好

        2、每秒同步一次,可能会丢失一秒的数据

        3、从来都不需要同步,效率会比较高

缺点

        1、相对于数据文件来说,aof 远远大于 rdb,修复的速度也比 rdb

        2、aof 的运行效率也要比 rdb 慢,所以我们 redis 默认的配置就是 rdb 持久化

三、总结

        1、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储。

        2、AOF 持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF 命令以 Redis 协议追加保存每次写的操作到文件末尾,Redis 还能对 AOF 文件进行后台重写,使得 AOF 文件的体积不至于过大。

        3、只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化

        4、同时开启两种持久化方式

        在这种情况下,当 redis 重启的时候会优先载入 AOF 文件来恢复原始的数据,因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数据集要完整。

        RDB 的数据不实时,同时使用两者时服务器重启也只会找 AOF 文件,那要不要只使用 AOF 呢?作者建议不要,因为 RDB 更适合用于备份数据库(AOF 在不断变化不好备份),快速重启,而且不会有 AOF 可能潜在的 Bug,留着作为一个万一的手段。

        5、性能建议

        因为 RDB 文件只用作后备用途,建议只在 Slave 上持久化 RDB 文件,而且只要15分钟备份一次就够了,只保留 save 900 1 这条规则。

        如果 Enable AOF ,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只 load 自己的 AOF 文件就可以了,代价一是带来了持续的 IO,二是 AOF rewrite 的最后将 rewrite 过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少 AOF rewrite 的频率,AOF 重写的基础大小默认值 64M 太小了,可以设到 5G 以上,默认超过原大小 100% 大小重写可以改到适当的数值。 

        如果不 Enable AOF ,仅靠 Master-Slave Repllcation 实现高可用性也可以,能省掉一大笔 IO,也减少了 rewrite 时带来的系统波动。代价是如果 Master/Slave 同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个 Master/Slave 中的 RDB 文件,载入较新的那个,微博就是这种架构。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/948237.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

冠达管理:2023股票交易新规则详解?股票手续费包括哪些?

投资者进行股票投资时不是随便就可以进行生意的,需求恪守一定的生意规则,才干顺利成交。那么2023股票生意新规则详解?股票手续费包含哪些?下面就由冠达管理为大家分析: ​ 2023股票生意新规则详解? 1、约…

EDFHG-04-200-3C2-XY-31T001电液比例大流量调速阀放大器

EDFHG-03-100-3C40-XY-30T、EDFHG-03-100-3C2-XY-30T、EDFHG-04-140-3C40-XY-30T、EDFHG-04-140-3C2-XY-30T、EDFHG-06-140-3C40-XY-30T、EDFHG-06-140-3C2-XY-30T、EDFHG-04-200-3C2-XY-31T001、EDFHG-06-400-3C2-XY-31T001、EDFHG-06-400-3C40-XY-31T001电液比例换向调速阀采…

vue3 ref reactive响应式数据 赋值的问题

文章目录 vue3 ref reactive响应式数据 赋值的问题场景1:将响应式数据赋值请求后的数据错误示范:直接赋值正确写法 场景2:响应式数据解构之后失去响应式原因分析解决办法 toRefs/toRef方法创建ref引用对象 vue3 ref reactive响应式数据 赋值的问题 doing…

云备份——项目介绍

一,项目基本介绍 自动将本地计算机上指定文件夹中需要备份的文件上传备份到服务器中。并且能够随时通过浏览器进行查看并且下载,其中下载过程支持断点续传功能,而服务器也会对上传文件进行热点管理,将非热点文件进行压缩存储&…

在springboot中配置mybatis(mybatis-plus)mapper.xml扫描路径的问题

我曾经遇到过类似问题: mybatis-plus的mapper.xml在src/main/java路径下如何配置pom.xml和application.yml_idea 把mapper文件放到java下如何配置_梓沂的博客-CSDN博客 当时只是找到解决问题的办法,但对mybatis配置来龙去脉并未深入了解,所…

无意间发现这款可以免费制作3D翻页电子画册的网站

在博主努力的搜寻下,无意间发现这个网站,可以免费制作3D翻页电子画册。使用这个网站非常简单,只需上传你想要展示的图片和添加相应的文字,然后选择合适的模板和风格。接下来,就会自动转化成漂亮的3D翻页画册 工具嘛&am…

《安富莱嵌入式周报》第321期:开源12导联便携心电仪,PCB AI设计,150M示波器差分探头,谷歌全栈环境IDX,微软在Excel推出Python

周报汇总地址:嵌入式周报 - uCOS & uCGUI & emWin & embOS & TouchGFX & ThreadX - 硬汉嵌入式论坛 - Powered by Discuz! 视频版: https://www.bilibili.com/video/BV1ju4y1D7A8/ 《安富莱嵌入式周报》第321期:开源12导…

天津web前端培训机构 Web开发是做什么的?

随着互联网和移动互联网的快速发展,越来越多的企业开始注重自身网站和应用程序的用户体验和设计,而这些方面正是Web前端开发人员所擅长的领域。Web前端不仅招聘市场需求量大,还有一个重要的原因就是,入行门槛低,入门简…

A+CLUB管理人支持计划第七期 | 吾执投资

免责声明 本文内容仅对合格投资者开放! 私募基金的合格投资者是指具备相应风险识别能力和风险承担能力,投资于单只私募基金的金额不低于100 万元且符合下列相关标准的单位和个人: (一)净资产不低于1000 万元的单位&…

学校食堂之间究竟有多大差距?这个技巧很重要

随着科技的不断发展,智能系统在各个领域展现出了巨大的潜力和影响力,其中,智慧收银系统在学校食堂的应用正逐渐成为一种趋势。 智慧收银系统不仅为食堂管理者提供了更好的决策依据,也为家长提供了更详细的消费信息,促进…

8.29day49

121. 买卖股票的最佳时机 - 力扣(LeetCode) 知识点:1.dp数组含义 dp[i][0] 表示 持有该i个股票的最大值 dp[i][1] 表示不持有的最大值 2.递推公式:1.持有股票 dp[i][0]Max(dp[i-1][0](上一个状态),-price[…

数字证书有什么作用,为什么要用数字证书?

数字证书是一种用于加密和验证数据的安全工具,它在现代通信和互联网领域起着重要的作用。下面安策给大家介绍一下数字证书的几个主要作用和为什么要使用数字证书的原因: 身份认证:数字证书可用于在线交互中验证身份。通过使用证书进行身份认证…

computed和watch区别

在Vue.js中,computed和watch是两种不同的属性,用于处理响应式数据的变化。 computed属性是一个计算属性,它会根据依赖的响应式数据进行计算,并返回一个新的值。计算属性会缓存计算结果,只有当依赖的响应式数据发生变化…

我是如何成为一名全栈工程师的?

经历了将近一年的时间,我终于阶段性地完成了从iOS开发到后端开发的角色转变。 现在我可以自豪地说,我已经接近一名全栈工程师了,已经熟悉了后端开发的各种工具、环境和一些后端工作的方式。 接下来,我将继续熟悉框架、工具、语言…

【STM32】中断与NVIC以外部中断为例

前言 在stm32中姑且可以认为,异常就是中断 单片机上电之后,首先执行启动文件,开辟堆栈之后,开始初始化中断向量表。 NVIC NVIC NVIC是嵌套向量中断控制器,控制着整个芯片中断相关的功能,它跟内核紧密耦…

【附安装包】MyEclipse2019安装教程

软件下载 软件:MyEclipse版本:2019语言:简体中文大小:1.86G安装环境:Win11/Win10/Win8/Win7硬件要求:CPU2.5GHz 内存4G(或更高)下载通道①百度网盘丨下载链接:https://pan.baidu.co…

04 移动零

移动零 题解1 冒泡(保证操作顺序)题解2 双指针(推荐) 给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时 保持非零元素的相对顺序。 请注意 ,必须在不复制数组的情况下原地对数…

气传导耳机哪个品牌比较好?综合表现很不错的气传导耳机推荐

​气传导耳机不仅能够提升幸福感还能听到周围环境声,大大提高安全性。如果你在寻找一款高品质的气传导耳机,又不知从何入手时,不要担心,我已经为你精心挑选了四款市面上综合表现很不错的气传导耳机,让你享受更好的音质…

Linux C++ 海康摄像头获取过车信息

代码 void CALLBACK MessageCallback(LONG lCommand, NET_DVR_ALARMER *pAlarmer, char *pAlarmInfo, DWORD dwBufLen, void *pUser) {printf("enter MessageCallback---------------------->\n");int i;NET_DVR_ALARMINFO_V30 struAlarmInfo;memcpy(&struAl…

Python钢筋混凝土结构计算.pdf-已知弯矩确定混凝土梁截面尺寸

计算原理 确定混凝土梁截面的合理尺寸通常需要考虑弯矩、受力要求和约束条件等多个因素。以下是一种常见的计算公式,用于基于已知弯矩确定混凝土梁截面的合理尺寸: 请注意,以上公式仅提供了一种常见的计算方法,并且具体的规范和设…