Redis--持久化机制详解

news2024/9/19 10:45:15

什么是redis持久化?

Redis持久化是将内存的数据持久化到磁盘上,防止Redis宕机或者断点的时候内存中的数据丢失,把内存中的数据写入到磁盘的过程叫持久化。

Redis持久化的方式?

  • RDB(Redis DataBase):在指定时间间隔内将内存中的数据以快照的方式写入到磁盘上,Redis默认的持久化方式。
  • AOF(Append Of File):以日志的形势记录每个写命令、删除命令。
  • 混合持久化:混合持久化并不是一种全新的持久化方式,它只是同时使用了RDB和AOF两种模式,是Redis 4.0版本开启的功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用。

RDB持久化详解:

RDB持久化流程:

  • 客户端触发或者自动执行bagesave命令。
  • 主进程判断是否存在正在执行的子进程,存在返回。
  • 不存在的话fork一个子进程进行持久化数据,fork过程中是阻塞的,fork操作完成后,主进程即可执行其他操作。
  • 子进程先将数据写入临时rdb文件中,数据写入完成后替换旧的rdb文件,同时通知主进程RDB持久化完成。

RDB持久化的优缺点:
优点:

  • 文件紧凑,全量备份,适合数据备份和灾难恢复。
  • 生成RDB文件时,redis主进程会fork()一个子进程来保存工作,主进程不需要进行任何IO操作。
  • RDB在恢复大数据集时速度比AOF的恢复速度要快。

缺点:

  • 因为RDB需要保存整个数据集,所以不是一个轻松的操作,因此一般不会设置太短时间,因此一段发生故障停机,会丢失几分钟的数据。
  • 如果数据集过大的情况下,所fork子进程在协助完成持久化时,所可能导致服务器停止几百毫秒,所甚至几秒钟。

AOF持久化流程:
AOF文件只记录写命令,不记录读命令,当服务端接收到写命令后,redis会将命令写入到aof缓冲区中,只所以写入缓冲区而不直接写入到文件中,是因为每次直接将命令写入文件中,那redis的性能将完全取决于硬盘的读写能力,影响redis性能。

AOF工作流程图:
在这里插入图片描述

AOF三种同步策略:

  1. always(总是):每次执行了写入或删除的命令写入缓冲区后,就调用系统fsync将redis执行的命令写入aof文件中,fsync操作完成后主线程返回。
  2. no:命令写入缓冲区后,调用操作系统的write操作,Redis不主动将命令同步到aof文件中,同步动作由操作系统来负责,一般是30秒一次。
  3. everysec:命令写入缓冲区后,调用操作系统的write操作,write操作完成之后,有专门的线程每秒执行fsync操作。

AOF持久化的优缺点:
优点:

  • AOF持久化几乎不丢失数据,最多丢失一秒的数据。
  • AOF机制采用的是append模式,因此即使在写入过程发生宕机,也不会破坏日志文件中已经存在的内容,如果本次操作只写入了一半就出现了系统宕机,redis下一次重启的时候,可以通过redis-check-aof来解决数据一致性问题。
  • 如果日志文件过大,redis可以自动启用rewriter机制,redis以append模式不断的将修改数据写入到磁盘中,同时会创建一个新的文件记录此期间有哪些命令被修改,在rewriter期间可以更好的保证数据安全性。
  • AOF包含一个格式清晰易于理解的日志文件,也可以通过该文件完成数据重建。

缺点:

  • 对于相同的数据集来说,AOF的文件体积一般大于RDB文件的体积。
  • 对redis性能有一定的损耗。
  • 相对RDB持久化的方式的数据恢复速度,AOF持久化的方式数据恢复速度会更慢一些。

AOF rewrite重写机制是什么意思?
AOF 重写是为了缩小aof文件,AOF持久化模式是不断的记录Redis写入、删除命令到文件中,随着命令的越来越多,文件会越来越大,aof重写会把过程操作过程去掉,把多个命令合并成一个命令,这样就缩小了AOF文件。

AOF rewrite作用:

  1. 使aof文件变的更小,占用更少的磁盘空间。
  2. aof文件编的更小后,在数据恢复的时候会更快。

AOF rewrite流程图:
在这里插入图片描述

AOF 重写规则?

  1. 进程内已经过期的数据不再写入文件。
  2. 只保存最终的写入命令,如set a 1,set a 2,set a 3,此时只保留set a 3。
  3. 多条写命令合并为一条命令,如lpush list 1,lpush list 2,lpush list 3,合并为lpush list 1,2,3,同时为了防止单条命令过大,对于list set zset hash 等以64个元素为界限拆分为多条命令。

什么是混合持久化?
混合持久化是redis4.0版本添加的新功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用,混合持久化体现在aofrewrite时,先写一份全量RDB数据到aof文件中,后续AOF重写缓冲区里的数据继续追加到该文件中,因为开启了混合持久化后,appendonly.aof文件开头是RDB格式,后续是AOF格式。
使用混合持久化后,Redis在重启数据恢复时候,会先加载RDB的内容,然后再执行AOF日志就可以完全替代之前的AOF全量文件执行,重启数据恢复的速度得到大大提升。

Redis进行持久化的时候会阻塞主线程吗?
fork子进程过程是阻塞的,fork过程就是创建一个主进程的副本,创建的子进程除了进程id,其余任何内容和主进程完全一致,这就是fork,fork的子进程独立于主进程存在,虽然两个进程内存空间内容完全一致,但是对于内存的写入、修改以及文件的映射都是独立的,两个进程互不影响,开启aof持久化,使用everysec同步策略时,会发生aof追加阻塞,出现aof阻塞的原因是磁盘负载过高,redis主进程会监控同步线程每次她同步aof缓冲区到aof文件的消耗时间,如果距离上次同步成功时间在2S内,那么主线程就会返回,如果超过2S,redis主进程会阻塞,直到同步完成,不管是RDB还是AOF持久化,都会使用fork创建一个子进程来处理,fork出来的子进程不会阻塞主进程,但是fork的过程还是会阻塞主进程,一般来说主进程内存越大,需要复制的空间内存叶也比较大,fork所需的时间也会长,redis阻塞的时间越长。

本文偏概念、偏面试八股,但学习理解了不管是对工作还是对面试都是有一定的帮助。
如有不正确的地方请各位指出纠正。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1482461.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

无法调试MFC源码

VS无法调试MFC源码 起初 有时候就是这么无奈,MFC源码各种问题没有办法调试,可是又想看下代码如何调用,里面做了些什么,从哪儿调出,学习一下大神的思路什么的。整理一下有可能的原因。 检查生成代码设置 需要设置正…

echarts vue 动画效果的水球图、波浪图教程

1、安装插件 前提是已经安装了echarts(我的版本是4.2.1) npm install echarts-liquidfill --save 我安装了3.1.0版本的,结果运行时报错"TypeError: wave.ensureState is not a function" 原因:echarts版本和echarts-l…

每周一算法:双端队列广搜

题目链接 电路维修 题目描述 达达是来自异世界的魔女,她在漫无目的地四处漂流的时候,遇到了善良的少女翰翰,从而被收留在地球上。翰翰的家里有一辆飞行车。有一天飞行车的电路板突然出现了故障,导致无法启动。 电路板的整体结…

JavaSE——常用API(2/3)-String使用时的注意事项、String的应用案例

目录 String使用时的注意事项 阅读程序并解答(1) 阅读程序并解答(2) String的应用案例 案例1 案例2 小结 String使用时的注意事项 String对象的内容不可改变,被称为不可变字符串对象。(每次试图改变…

软考 系统分析师系列知识点之需求获取(7)

所属章节: 第11章. 软件需求工程 第2节. 需求获取 需求获取是一个确定和理解不同的项目干系人的需求和约束的过程。需求获取是一件看上去很简单、做起来却很难的事情。需求获取是否科学、准备是否充分,对获取出来的结果影响很大,这是因为大部…

每日学习总结20240228

每日总结 20240228 1.获取系统命令执行结果 #include <stdio.h>#define TRUE 1 #define FALSE 0int get_system_cmd_result(const char *command, char *buffer, int bufferLen) {FILE *pipe popen(command, "r");if (pipe NULL) {return FALSE;}while (f…

winform 自定义组件 之踩坑 自定义属性属性列表不展示

问题描述&#xff1a; 使用winform 自定义组件&#xff0c;定义自定义属性性&#xff0c; 使用自定义组件属性页面不展示。 百度N次无解 问了AI 发现犯了个低智错误&#xff1a; 属性末设置为 public; 解决方案一&#xff1a;

NLP Seq2Seq模型

&#x1f368; 本文为[&#x1f517;365天深度学习训练营学习记录博客&#x1f366; 参考文章&#xff1a;365天深度学习训练营&#x1f356; 原作者&#xff1a;[K同学啊 | 接辅导、项目定制]\n&#x1f680; 文章来源&#xff1a;[K同学的学习圈子](https://www.yuque.com/mi…

等概率事件算法

1等概率的生成(0-8)范围内的正整数 // Math.random 数据范围[0,1) 且 是 等概率的产生随机数 // 应用&#xff1a; // 1.生成等概率的整数&#xff08;等概率的生成(0-8)范围内的正整数 int value (int) (Math.random() * 9); System.out.println("value "…

YOLOv9有效提点|加入BAM、CloFormer、Reversible Column Networks、Lskblock等几十种注意力机制(二)

专栏介绍&#xff1a;YOLOv9改进系列 | 包含深度学习最新创新&#xff0c;主力高效涨点&#xff01;&#xff01;&#xff01; 一、本文介绍 本文只有代码及注意力模块简介&#xff0c;YOLOv9中的添加教程&#xff1a;可以看这篇文章。 YOLOv9有效提点|加入SE、CBAM、ECA、SimA…

逆变器专题(13)-逆变器LCL滤波器设计

相应仿真原件请移步资源下载 随着新能源的蓬勃发展&#xff0c;逆变器作为光伏储能的核心电力电子器件之一&#xff0c;其也得到了大力发展&#xff1b;传统的L型以及LC型滤波器因其体积较大、滤波效果差等原因已经被逐渐替代&#xff0c; LCL滤波器因其具有较小的体积&#xf…

JavaWeb HTTP 请求头、请求体、响应头、响应体、响应状态码

J2EE&#xff08;Java 2 Platform Enterprise Edition&#xff09;是指“Java 2企业版”&#xff0c;B/S模式开发Web应用就是J2EE最核心的功能。 Web是全球广域网&#xff0c;也称为万维网(www)&#xff0c;能够通过浏览器访问的网站。 在日常的生活中&#xff0c;经常会使用…

通过GitHub探索Python爬虫技术

1.检索爬取内容案例。 2.找到最近更新的。(最新一般都可以直接运行) 3.选择适合自己的项目&#xff0c;目前测试下面画红圈的是可行的。 4.方便大家查看就把代码粘贴出来了。 #图中画圈一代码 import requests import os import rewhile True:music_id input("请输入歌曲…

编译链接实战(22)C/C++代码覆盖率统计报告生成

文章目录 GCOV 工具简介gcov 使用lcov相关编译选项 GCOV 工具简介 gcov是一个测试代码覆盖率的工具&#xff0c;它是 gcc 自带的查看代码覆盖率的工具。 与GCC结合使用&#xff0c;可以分析您的程序以帮助创建更高效、运行更快的代码&#xff0c;并发现程序中未经测试的部分。…

Linux 之压缩与解压相关命令的基础用法

目录 1、zip 与 unzip 2、gzip 命令 3、tar 命令 1、zip 与 unzip 在桌面新建一个文件和文件夹用于测试 在 test 目录下有一个 1.txt 文件 我们使用 zip 命令对其压缩 用法&#xff1a; zip 自定义压缩包名 被压缩文件路径位置 zip myon.zip 1.txt 因为我们这里就是在 …

数据库管理-第157期 Oracle Vector DB AI-08(20240301)

数据库管理157期 2024-03-01 数据库管理-第157期 Oracle Vector DB & AI-08&#xff08;20240301&#xff09;1 创建示例向量2 查找最近向量3 基于向量簇组的最近向量查询总结 数据库管理-第157期 Oracle Vector DB & AI-08&#xff08;20240301&#xff09; 作者&…

多层感知器(神经网络)与激活函数

单个神经元&#xff08;二分类&#xff09; 多个神经元&#xff08;多分类&#xff09; 多层感知器 多层感知器&#xff0c;他是一种深度学习模型&#xff0c;通过多层神经元的连接和激活来解决非线性问题。 激活函数 激活函数的种类包括relu&#xff0c;sigmoid和tanh等 …

C 嵌入式系统设计模式 15:基本并发概念

本书的原著为&#xff1a;《Design Patterns for Embedded Systems in C ——An Embedded Software Engineering Toolkit 》&#xff0c;讲解的是嵌入式系统设计模式&#xff0c;是一本不可多得的好书。 本系列描述我对书中内容的理解。本文章描述嵌入式并发和资源管理模式之一…

GEE数据集——GLC_FCS30D - 全球 30 米土地覆被变化数据集(1985-2022 年)

GLC_FCS30D - 全球 30 米土地覆被变化数据集&#xff08;1985-2022 年&#xff09; 注 本数据集是正在提交的论文的一部分&#xff0c;因此没有引用和 DOI 信息。请在使用本数据集时注意这一点。 GLC_FCS30D 数据集是全球土地覆被监测领域的一项开创性进展&#xff0c;它以 30…

青少年CTF2024 #Round1 wp web

web EasyMD5 MD5碰撞&#xff0c;使用工具fastcoll生成内容不同但md5值相同的两个pdf文件上传即可获得flag&#xff1b; ./fastcoll_v1.0.0.5.exe -p 1.pdf -o 2.pdf 3.pdf # -p指定任意源文件&#xff0c;-o指定生成两个内容不同但md5值相同的目标文件 工具下载&#x…