【Redis】数据持久化

news2024/12/23 7:46:15

https://www.bilibili.com/video/BV1cr4y1671t?p=96
https://blog.csdn.net/weixin_54232666/article/details/128821360

单点redis问题:

  • 数据丢失问题:实现Redis数据持久化
  • 并发能力问题:搭建主从集群,实现读写分离
  • 故障恢复问题:利用Redis哨兵,实现健康检测和自动恢复
  • 存储能力问题:搭建分片集群,利用插槽机制实现动态扩容(类似elasticsearch)

在这里插入图片描述

RDB持久化

RDB,Redis数据备份文件,也叫Redis数据快照。就是把内存中的所有数据都记录到磁盘中,当redis实例故障重启后,从磁盘读取快照文件,恢复数据。
快照文件称RDB文件,默认保存在当前运行目录

通过 savebgsave命令

save,由Redis主进程来执行RDB,会阻塞所有命令
bgsave ,会fork一个子进程来生成 RDB 文件,这样可以避免主线程的阻塞
在这里插入图片描述
Redis停机时会自动执行一次RDB。(把redis弄成服务了的话不太好看,用reids-server就很容易看到)
在这里插入图片描述

RDB 文件的加载是在服务器启动时自动执行的。

配置RDB触发机制,通过配置文件的选项来实现每隔一段时间自动执行一次 bgsave 命令

我的配置文件位置 /usr/local/src/redis-6.2.6/redis.conf

#900秒内,如果至少有1个key被修改,则执行bgsave,如果是save ""则表示禁用RDB
save 900 1

# 禁用RDB
save ""

save 300 10
save 60 10000

RDB其他配置

#是否压缩,建议不开启,压缩也会消耗cpu,磁盘的话不值钱
rdbcompression yes
#RDB文件名称
dbfilename dump.rdb
#文件保存的路径目录
dir ./

bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入RDB文件。
子进程和父进程是共享同一片内存数据的,因为创建子进程的时候,会复制父进程的页表,但是页表指向的物理内存还是一个。

fork采用的是copy-on-write技术:

  • 当主进程执行读操作,访问共享内存
  • 当主进程执行写操作,则会拷贝一份数据,执行写操作,只有在发生修改内存数据的情况时,物理内存才会被复制一份。(极端情况下,如果所有的共享内存都被修改,则此时的内存占用是原先的 2 倍。所以redis要预留内存)

在这里插入图片描述

1、RDB方式bgsave的基本流程?
fork主进程得到一个子进程,共享内存空间
子进程读取内存数据并写入新的RDB文件
用新RDB文件替换I旧的RDB文件。
2、RDB会在什么时候执行?save 60 1000代表什么含义?
默认是服务停止时。
代表60秒内至少执行1000次修改则触发RDB
3、RDB的缺点?
RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险
fork子进程、压缩、写出RDB文件都比较耗时

AOF

AOF称为追加文件,redis处理的每个写命令都会记录在AOF文件,可以看做是命令日志文件。

AOF默认是关闭的,需要修改redis.conf配置文件来开启AOF:

#是否开启AOF功能,默认是no
appendonly yes
#AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配置:

#表示每执行一次写命令,立即记录到AOF文件
appendfsync always
#写命令执行完先放入AOF缓冲区,然后表示每隔1秒将缓冲区数据写到AOF文件,是默认方案(最多会丢失1s中内的数据)
appendfsync everysec
#写命令执行完先放入AOF缓冲区,由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

在这里插入图片描述

AOF文件重写机制
因为是记录命令,AOF文件会比RDB文件大很多,而且AOF会记录对同一个key的多次修改,通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同的效果。

Redis也可以在触发阈值时自动重写AOF文件,阈值在redis.conf中配置

#A0F文件比上次文件增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
#AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb

Redis 的重写 AOF 过程是由后台子进程 bgrewriteaof 来完成的

混合持久化

将 RDB 和 AOF 合体使用,该方法叫混合使用 AOF 日志和内存快照,也叫混合持久化。

修改redis配置文件

aof-use-rdb-preamble yes

当开启了混合持久化时,在 AOF 重写日志时,fork 出来的重写子进程会先将与主线程共享的内存数据以 RDB 方式写入到 AOF 文件,然后主线程处理的操作命令会被记录在重写缓冲区里,重写缓冲区里的增量命令会以 AOF 方式写入到 AOF 文件,写入完成后通知主进程将新的含有 RDB 格式和 AOF 格式的 AOF 文件替换旧的的 AOF 文件。

使用了混合持久化,AOF 文件的前半部分是 RDB 格式的全量数据,后半部分是 AOF 格式的增量数据。

优点:重启 Redis 加载数据的时候,由于前半部分是 RDB 内容,加载的速度会很快。加载后半部分的 AOF 内容,这里的内容是 Redis 后台子进程重写 AOF 期间,主线程处理的操作命令,可以使得数据更少的丢失。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1860612.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jeecg导入excel 含图片(嵌入式,浮动式)

jeecgboot的excel导入 含图片(嵌入式,浮动式) 一、啰嗦二、准备三、 代码1、代码(修改覆写的ExcelImportServer)2、代码(修改覆写的PoiPublicUtil)3、代码(新增类SAXParserHandler&a…

算法设计与分析:并查集法求图论桥问题

目录 一、实验目的 二、问题描述 三、实验要求 四、算法思想 1. 基准算法 1.1 算法思想 1.2 代码 1.3 时间复杂度 2. 使用并查集的高效算法 2.1 算法思想 2.2 代码: 2.3 时间复杂度: 五、实验结果 一、实验目的 1. 掌握图的连通性。 2. 掌…

《代码大模型安全风险防范能力要求及评估方法》正式发布

​代码大模型在代码生成、代码翻译、代码补全、错误定位与修复、自动化测试等方面为研发人员带来了极大便利的同时,也带来了对安全风险防范能力的挑战。基于此,中国信通院依托中国人工智能产业发展联盟(AIIA),联合开源…

干货分享 | TSMaster 的 CAN UDS 诊断操作指南(下)

上期,我们主要介绍了 UDS 诊断模块的创建以及TSMaster 基础诊断配置。很多客户表示意犹未尽。因此我们将继续带来《TSMaster 的 CAN UDS 诊断操作指南(下)》的精彩内容,为您带来UDS on CAN/CAN FD 的功能以及详细的使用操作。 本文…

深入浅出:npm常用命令详解与实践

简介 在现代的软件开发中,特别是在 JavaScript 生态系统中,npm(Node Package Manager)是一个核心工具。它不仅仅是 Node.js 的包管理器,还扮演着项目依赖管理、脚本执行、项目发布等多重角色。理解 npm 的常用命令不仅…

【数据结构】线性表之《队列》超详细实现

队列 一.队列的概念及结构二.顺序队列与链队列1.顺序队列2.链队列 三.链队列的实现1.创建队列2.初始化队列3.入队4.出队5.获取队头元素6.获取队尾元素7.队列的大小8.队列的判空9.清空队列10.销毁队列 四.队列的盲区五.模块化源代码1.Queue.h2.Queue.c3.test.c 六.栈和队列必做O…

小白上手AIGC-基于FC部署stable-diffusion

AIGC AIGC(人工智能创造内容)作为一种基于人工智能技术生成内容的新型创作模式。打破了过去大家对于AI的理解都是说只能涉足部分领域而无法涉足艺术或者是其他的创作领域的定律,现在的AIGC也能够创作内容了,而不再只是单纯的返回…

MAC Address

文章目录 1. 前言2. MAC Address2.1 MAC 地址格式2.2 Locally Administered MAC Address2.3 MAC 单播 和 多播 3. 参考资料 1. 前言 限于作者能力水平,本文可能存在谬误,因此而给读者带来的损失,作者不做任何承诺。 2. MAC Address 2.1 MA…

Java集合框架深度解析:Hashtable、HashMap与TreeMap的较量,哪个更适合你的项目?

引言 在Java编程世界中,集合是编程语言的重要组成部分。它们负责存储、组织和操作数据集合,是开发过程中不可或缺的工具。Java集合框架提供了丰富且功能强大的数据结构,而其中的Hashtable、HashMap和TreeMap是使用频率极高的三种实现。 本篇文…

2024年希望杯数学竞赛各年级100道练习题及答案

链接里面有无答案版本链接:https://pan.baidu.com/s/1nTIVJrTEWUzb0LJNo4mI_Q 提取码:0548 –来自百度网盘超级会员V7的分享 一年级 二年级 三年级 四年级 五年级 六年级 七年级 八年级

如何使得Macos的剪切板感知fileURL并当fileURL被执行paste 动作时 回调到某个监听的函数 从而来填充file content

问题及尝试: 我在做一个跨平台文件拷贝的功能,文件可能是从其他操作系统比如Linux 或者Windows 拷贝到Macos上, 但是我试过所有可以hook NSPasteboard的方法,确实没有找到可以监听macos 剪切板的方法,因为fileURL 确实…

网络设备框架

文章目录 前言一、主要流程二、Linux网络设备驱动架构1.概述2.读入数据 总结 前言 Linux中的Ethernet驱动框架涉及到网络设备驱动程序的多个方面,包括初始化、注册、数据传输以及与物理层(PHY)的交互。以下是网络设备驱动架构的概述&#xf…

Centos7虚拟机

Centos 7 安装 1 镜像下载1.1 官网下载1.2 阿里云镜像下载 2 环境的安装2.1 打开我们的虚拟机,点击文件进行新建2.2 选择典型之后,下一步2.3 选择稍会安装操作系统2.4 勾选Linux,并且选择CentOS 7的版本2.5 设定我们虚拟机的名称和安装位置2.…

VOSviewer分析知网文献

VOSviewer简介 VOSviewer 是一款用于构建和可视化科学文献计量网络的软件工具。它能够帮助用户分析和可视化期刊、研究人员或单个出版物之间的关系,这些关系可以基于引用、共引、共著或术语共现关系来构建。VOSviewer 还提供了文本挖掘功能,可以用来构建…

Python 爬虫从入门到入狱之路一

实际上爬虫一共就四个主要步骤: 明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据(按照我们想要的方式存储和使用) 我们在之前写的爬虫程序中,都只是获取…

fidder自动测试cookie脚本

前言 工作在使用fidder抓包时,经常需要找到一个请求携带的cookie中,真正校验了那些cookie,从而在代码中实现写入这些cookie的请求。这个过程除了根据经验快速过滤,就只能一个一个删除测试了。 所以我写了这个脚本,自动…

阿里云云服务器、ACR镜像服务、容器化实战:搭建企业应用

一、容器化基础知识 华为云免费试用服务器:https://activity.huaweicloud.com/free_test/index.html 阿里云docker容器教程:https://edu.aliyun.com/course/3111900/lesson/341807097 查询ip地址:www.ip138.com 二、容器化搭建企业应用实战 2…

如何选择和优化谷歌外贸关键词?

长尾关键词是关键,长尾关键词是指由三个或更多词组成的更具体、更详细的搜索词组。与单个关键词相比,长尾关键词虽然搜索量较低,但往往能带来更高的转化率,因为它们更能精准地反映用户的搜索意图和需求 使用长尾关键词有几个优势…

海南云亿商务咨询有限公司抖音带货怎么样?

在数字化浪潮席卷全球的今天,电商行业正迎来前所未有的发展机遇。特别是短视频平台如抖音的崛起,更是为电商行业注入了新的活力。海南云亿商务咨询有限公司,作为抖音电商服务的佼佼者,凭借其专业的团队和卓越的服务,助…

北邮《计算机网络》蒋老师思考题及答案-传输层

蒋yj老师yyds! 答案自制,仅供参考,欢迎质疑讨论 问题一览 传输层思考题P2P和E2E的区别使用socket的c/s模式通信,流控如何反映到编程模型三次握手解决什么问题举一个两次握手失败的例子为什么链路层是两次握手而非三次?…