Redis如何避免数据丢失?

news2024/11/20 14:21:37

Redis的持久化主要有两大机制 即 AOF(Append Only File)日志, RDB(Redis DataBase)快照。

AOF

日志是如何实现的?

        AOF是写后日志,就是Redis限制性命令,数据写入内存,然后才记录日志。AOF里记录的是Redis收到的每一条命令,这些命令是以文本形式保存的。

以 set hestkey testvalue 为例  其中*3代表的是有三个部分,每个部分都是由$+数字开头,后面跟着具体的命令,键或者值,这里  数据标识这部分中的命令,键或者值一共有多少个字节,例如$3 set 表示这部分有3个自己,也就是‘set’命令。

 写后日志的优势和风险

为了避免额外的检查开销,Redis在向AOF里面记录日志的时候,并不会先去对这个命令进行语法检查,如果先记录日志再执行命令的话,日志中就存在错误的命令,恢复数据的时候就会出现错误,而写后日志就是让系统先执行命令,只有命令执行成功才会被记录到日志中,否则,系统会直接向客户端报错,

所以Redis使用写后日志一大好处就是可以避免出现记录错误命令的情况。

另外一个好处就是 不会阻塞当前的写操作

但是也会有两个潜在的风险:

1.如果刚执行完一个命令,还没有来得及记录日志就当即了,那么这个命令和相应的数据就会有丢失的风险。如果用作缓存没有关系,如果Redis直接用作数据库的话,因为灭有计入日志,所以就没法用日志进行恢复了。

2.AOF虽然避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险

AOF日志也是在主线程中执行(协会策略为always时),如果在把之日文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操作也无法进行了。

日志的写回策略

AOF机制一共有三种写回策略,也就是AOF配置项appendfsync的三个可选值

1. Always同步写回 每个写命令执行完 立马听不得将日志写回磁盘

2.Everysec 每秒写回 每个写命令完,只是先把日志写到AOF文件得内存缓冲区,每隔一秒把缓冲区得内容写入磁盘

3.No 操作系统空值的写回 每个写命令执行完,只是先把之日写道AOF文件得内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。

日志得重写 

重写得作用:

        AOF是以文件得形式在记录接收到得所有写命令。随着接受得写命令越来越多,AOF文件会越来越大,也就意味着小心AOF文件过大导致得性能问题,主要在于一下三个方面:

1、文件系统本身对文件大小有限制

2.如果文件过大,之后追加记录效率比较低

3.如果发生当即,AOF记录中的命令要一个个被重新执行,用于故障恢复,如果日志文件过大,整个恢复过程会非常还满,会影响到redis得正常使用。

AOF重写机制就是在重写得时候,redis根据数据库得现状创建一个新的AOF文件,也就是说,读取数据库中得所有键值对,然后对每一个键值对用一条命令记录他的写入,重写机制具有多变一得功能,旧日志我呢见得多条命令再重写后得新日志中变成了一条命令

 重写得过程

aof日志由主线程写回不同,重写过程是由一个后台子进程bgrewriteaof来完成的。这也是为了避免阻塞主线程,导致数据库性能下降

重写的过程总结为 一个拷贝,两处日志。

一个拷贝 指的 是 每次执行重写时, 主线程fork出后台的bgwrigtaof子进程,此时,fork会把主线程的内存拷贝一份给bgrewrigteaof 子进程,这里面旧包含了数据库的最新数据,然后 bgrewriteaof子进程就可以在不影响主线程的情况下,逐一把拷贝的数据携程操作,计入重写日志。

第一处日志,指的是因为主线程未阻塞,仍然可以处理新来的操作,Redis会把这个操作写道他的缓冲区,这样以来,即便宕机了,这个AOF日志的操作应然是齐全,

第二处日志,指的就是新的AOF重写日志,这个操作也会被写道重写日志得缓冲区,这样重写日志也不会丢失最新得操作,等到拷贝数据得所有操作记录重写完成后,重写日志记录得这些最新操作也会写入新的aof文件,以保证数据库得最新状态,此时我们就可以用新的AOF文件替换旧文件了。

 

总结来说,每次 AOF 重写时,Redis 会先执行一个内存拷贝,用于重写;然后,使用两个日志保证在重写过程中,新写入的数据不会丢失。而且,「因为 Redis 采用子进程进行日志重写,所以,这个过程并不会阻塞主线程」

正因为记录的是操作命令,而不是实际的数据,所以,用 AOF 方法进行故障恢复的时候,需要逐一把操作日志都执行一遍。如果操作日志非常多,Redis 就会恢复得很缓慢,影响到正常使用。这当然不是理想的结果。那么,还有没有既可以保证可靠性,还能在宕机时实现快速恢复的其他方法呢?

RDB

对 Redis 来说,它实现类似照片记录效果的方式,把某一时刻的状态以文件的形式写到磁盘上,也就是快照(RDB 文件)。这样一来,即使宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。

和 AOF 相比,RDB 记录的是某一时刻的数据,并不是操作,所以,在做数据恢复时,我们可以直接把 RDB 文件读入内存,很快地完成恢复。

快照的原理

Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave。

  • 「save」:在主线程中执行,会导致阻塞;

  • 「bgsave」:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。

我们可以通过 bgsave 命令来执行全量快照,这既提供了数据的可靠性保证,也避免了对 Redis 的性能影响。

在执行快照的同时,Redis 就会借助操作系统提供的写时复制技术(Copy-On-Write, COW),正常处理写操作。bgsave 子进程是由主线程 fork 生成的,可以共享主线程的所有内存数据。bgsave 子进程运行后,开始读取主线程的内存数据,并把它们写入 RDB 文件。

如果主线程对这些数据也都是读操作(例如图中的键值对 A),那么,主线程和 bgsave 子进程相互不影响。但是,如果主线程要修改一块数据(例如图中的键值对 C),那么,这块数据就会被复制一份,生成该数据的副本(键值对 C’)。然后,主线程在这个数据副本上进行修改。同时,bgsave 子进程可以继续把原来的数据(键值对 C)写入 RDB 文件。

这样既保证了快照的完整性,也允许主线程同时对数据进行修改,避免了对正常业务的影响。

 

混合 AOF/RDB

虽然 bgsave 执行时不阻塞主线程,但是,如果频繁地执行全量快照,也会带来两方面的开销。

一方面,频繁将全量数据写入磁盘,会给磁盘带来很大压力,多个快照竞争有限的磁盘带宽,前一个快照还没有做完,后一个又开始做了,容易造成恶性循环(所以,在 Redis 中如果有一个 bgsave 在运行,就不会再启动第二个 bgsave 子进程)。

另一方面,bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然,子进程在创建后不会再阻塞主线程,但是,「fork 这个创建过程本身会阻塞主线程」,而且主线程的内存越大,阻塞时间越长。

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说,「内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作」。这样一来,快照不用很频繁地执行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日志也只用记录两次快照间的操作,也就是说,不需要记录所有操作了,因此,就不会出现文件过大的情况了,也可以避免重写开销。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/428344.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

uni-app--》如何制作一个APP并使用?

🏍️作者简介:大家好,我是亦世凡华、渴望知识储备自己的一名在校大学生 🛵个人主页:亦世凡华、 🛺系列专栏:uni-app 🚲座右铭:人生亦可燃烧,亦可腐败&#xf…

大数据应用——hbase shell操作

HBase 逻辑结构 HBase 物理存储结构 数据模型 1)Name Space 命名空间,类似于关系型数据库的 DatabBase概念,每个命名空间下有多个表。HBase 有两个自带的命名空间,分别是 hbase 和 default hbase 中存放的是 HBase 内置的表&…

Android导入第三方SO库,上层Java调用(1)

Android导入第三方SO库,上层Java调用(1) (1)在module的build.gradle文件的android块中配置sourceSet: sourceSets {main {jniLibs.srcDir libs}} (2)在module的路径下,比…

[架构之路-166]-《软考-系统分析师》-4-据通信与计算机网络-2- 网络体系结构、协议

目录 4.2 网络体系结构与协议 4.2.1 网络互联模型 1. OSI / RM 各层的功能 2. TCP / IP 结构模型 4.2.2常见的网络协议 1 . 应用层协议 2 . 传输层协议 3 . 网络层协议 4.2.3网络地址与分配 4.2 网络体系结构与协议 网络体系结构是指计算机网络络的各层及其协议的集…

【k8s完整实战教程2】腾讯云搭建k8s托管集群

系列文章:这个系列已完结,如对您有帮助,求点赞收藏评论。 读者寄语:再小的帆,也能远航! 【k8s完整实战教程0】前言【k8s完整实战教程1】源码管理-Coding【k8s完整实战教程2】腾讯云搭建k8s托管集群【k8s完…

Linux实战案列-发送告警邮件

发送告警邮件 准备 外部邮件服务器 首发在雪月书韵茶香 原因 本地自带邮箱容易被过滤,需要延迟性低的邮箱发送 配置docker 配置环境变量 主机版本:macOS 12.6.4 open .bash_profile export DOCKER_PATH"/Applications/Docker.app/Contents/Re…

threejs-效果合成器(EffectComposer)

文章目录前言EffectComposer 使用流程场景初始化:自转的地球创建THREE.EffectComposer添加后期处理通道并更新渲染EffectComposer 使用示例示例一:FilmPass 添加电视效果示例二:OutlinePass 添加闪烁效果总结前言 threejs中的效果合成器 Eff…

Python的基础

这是我自己学习Python的三个星期的小总结,内容包含了规范、数据类型、函数、类和捕捉异常,做了一个简单的梳理,希望可以帮助到和我一样开始学习Python的小伙伴,也希望多多支持,相互进步,下面步入正题。 基…

记一次 .NET某医疗器械清洗系统 卡死分析

一:背景 1. 讲故事 前段时间协助训练营里的一位朋友分析了一个程序卡死的问题,回过头来看这个案例比较经典,这篇稍微整理一下供后来者少踩坑吧。 二:WinDbg 分析 1. 为什么会卡死 因为是窗体程序,理所当然就是看主…

MySQL全局锁、表级锁、行级锁介绍演示(详细)

目录 介绍 分类 1、全局锁 1.1介绍 1.2场景 1.3语法 1.4演示 2、表级锁 2.1介绍 2.2分类 2.3语法 2.4演示 3、行级锁 3.1介绍 3.2分类 3.3场景 介绍 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(…

linux下搭建Hbase分布式数据库

文章目录Hbase概念1.安装Hbase1.jdk的配置2.安装hbase2.启动和操作1.启动服务2 **web-ui访问地址:http://node01:16010/master-status**3.简单的操作1.连接 HBase2.帮助命令3.创建一张表 create a table4.使用查看表是否存在5.describe 查看表描述6.put命令插入数据到表7. scan…

jmeter插件的安装

前言 jmeter常用的插件有很多,本身安装的jmeter是没有安装插件的工具,需要下载一个jar包,通过插件安装工具去安装jmeter插件plugins-manager.jar这个jar包就是用来安装jmeter插件的jar把这个jar包下载后放到jmeter的lib/ext目录下重启jmeter…

C++语法(16)---- 多态

https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501 目录 1. 多态的概念 2.多态的实现 1.虚函数 2.多态条件 得到的多态条件 特殊条件 3.虚函…

Socks5代理和IP代理

Socks5代理和IP代理是常用的网络代理服务,它们为用户提供了匿名访问和保护隐私的功能。在本文中,我们将介绍这两种代理的基本概念和工作原理,并展示如何编写一个简单的代理服务器。 一、什么是Socks5代理和IP代理? Socks5代理…

[操作系统安全]SetUID与Capability权能

问题一、解释“passwd”, “sudo” , “ping”等命令为什么需要 setuid位,去掉s位试运行,添加权能试运行。 1、为什么需要setuid位: 首先明确setuid的作用是:执行该设置后,文件执行时将以文件拥有者的身份执行&#xf…

C++【栈队列(3种)反向迭代器】

文章目录一、容器适配器二、栈(一)栈定义(二)栈使用接口(三)栈模拟实现(1) 栈模拟实现解析(2) 栈模拟实现代码(3) 栈模拟结果三、队列(一)普通队列(1)普通队列…

4、浅谈Makefile文件及其简单的使用知识

文章目录1、什么是Makefile?(1)makefile关系到了整个工程的编译规则。(2)makefile带来的好处就是——“自动化编译”(3)make是一个命令工具,是一个解释makefile中指令的命令工具2、为…

[FREERTOS]队列

1.什么是队列 队列也称消息队列,是一种常用于任务间通信的数据结构,队列可以在任务之间,中断和任务之间传递信息 2.传递信息为什么不用全局变量呢? 确实全局变量依然可以传递信息,但是如果全局变量改变的很频繁&#x…

网工必知—什么是堡垒机?-CCIE

什么是堡垒机? 网络工程师一定听过或用过所谓的“堡垒机”,那么堡垒机到底是什么呢? 堡垒机是一种跳板机制(Jump Server),在一个特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的…

flink 1.16 在centos安装 部署踩的坑

报错: 1 RESOURCES_DOWNLOAD_DIR : 这个错误是修改了 conf目录下 的 master 或 workers 等信息造成的. 2 修改了这个信息可能会造成输入密码的问题. 3 Could not connect to BlobServer at address localhost/127.0.0.1:39203 这个端口还会变化,这种问题可能是因为conf下的…