Redis RDB 和 AOF原理讲解

news2024/9/27 23:29:22

redis提供了两种持久化方式。

aof(APPEND ON FILE)持久化:原理是将redis的操作以命令的方式写入aof文件中,追加。
rdb(Redis DataBase)内存快照持久化,就是将redis的内存中的数据全量拷贝一份存储在磁盘中。
我们来详细的分析下这两种持久化方式。

1. aof持久化

aof持久化是将reids的每次执行成功后的命令记录到aof文件中。
在这里插入图片描述
执行成功后记录AOF日志,可以保证每次记录的AOF命令都是正确的,错误就直接返回给客户端。 AOF的文件中是如何记录的呢? 我们以redis的一个成功记录的命令为例:

set test 'hello world'

aof日志内容中*3表示 此命令由三部分组成【set,test,hello world】,每部分都是以$+数字开头,后面跟上命令、键或者值。其中数字表示后面跟的命令、键或者值的长度(字节)。例如 “$4 test”表示这部分有4个字节,就是 test。
如图所示
在这里插入图片描述

redis提供了三种aof写回策略

1. always 同步回写:每条命令执行完成后,回立即将日志写回磁盘。
2. everysec 每秒回写:每个命令执行完后回先将日志写入aof文件的内存缓冲区,每隔一秒把缓冲区中的命令写入磁盘
3. no 操作系统控制的回写:每个写命令执行完后只是先把日志写入aof文件的内存缓冲区,何时回写磁盘由操作系统决定。

分析:
always回写回占用主线程资源,每次回写都是一个慢速的罗盘操作,基本上可以避免数据的丢失,会对主线程产生影响,如果你对redis数据的准确性要求非常高,而写入和读取占比不高的话,可以采用这种策略。

每秒回写采用一秒回写一次的策略,避免了同步回写的性能开销,虽然减少了对系统性能的影响,但是如果1秒内产生了大量的写操作,在aof缓冲区积压了很多日志,这时候还没来得及写入aof日志文件就发生了宕机,就会造成数据的丢失。

采用操作系统控制的回写,在写完aof缓冲区后就可以继续执行命令,但是如果系统发生宕机了,也同样会造成数据的丢失。
在这里插入图片描述
aof日志本身由哪些性能问题呢?

aof日志是以文件形式将命令存储到磁盘中,如果修改的频繁,redis的数据库也比较大的时候,就会造成aof文件日志过大。

文件过大会造成以下三个方面的问题:

如果redis服务器发生重启的时候,依靠aof文件去恢复数据库就会导致执行的时间过长,会对性能产生影响。
文件系统对文件的大小本身就有大小限制。
文件过大,再往里面加内容的时候,就会变慢。

如何解决这种问题呢?
redis提供了aof重写机制,aof日志是把所有写命令记录下来,如果对一个键值对做十次修改,则就会记录十次,aof重写机制就是把这条键值对的多次操作压缩成一次操作,这样就大大减少了aof日志文件的大小。
尽管aof重写机制大大缩小了aof文件的大小,如果redis数据库本身的数据就比较庞大的时候aof重写也会占用很多时间。

aof重写会阻塞吗?
aof日志的重写是由后台程序bgrewriteaof子进程完成的,这也是为了避免阻塞主线程,导致数据性能下降。
在重写的时候,redis主进程会fork出一个bgrewriteaof子进程,bgrewriteaof会在不影响主进程的情况下完成回写。
如果在回写的过程中,主进程有命令写入怎么办?
如果有新的写入,主进程会在老的aof缓冲区写入,也会在新的aof文件缓冲区写入,这样就算重写失败,老的aof数据也不会丢失,新的aof文件重写完成后,可以把aof文件缓冲区再次写入aof中,新的aof也不会丢失文件。

在这里插入图片描述

2. RDB日志

RDB持久化方式时以内存快照的方式把文件存储到磁盘中,文件是以.rdb结尾,里面存储的是二进制数据。

两种RDB存储方式
save:save 是需要占用主线程资源的,会阻塞主线程。
bgsave:使用的是子进程写,不会占用主线程的资源(fork会阻塞主线程,但是copyonwrite过程是纳秒级别相对较快,aof是毫秒级别)。
redis为了数据的可靠性,每次rdb的时候都是全量快照。

如果redis在执行快照的时候,有数据写入了怎么办?
redis使用了操作系统的写时复制技术(COPY -ON-WRITE COW)
bgsave子进程是由主进程fork生成的,可以共享主进程的内存,如果主进程有写入命令时候,主进程会把写入的那块内存页先复制一份给fork使用,这样就不影响主进程的写操作,可以继续修改原来的数据,避免了对正常业务的影响。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/438887.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C++STL精讲】stack与queue的基本使用及模拟实现

文章目录 💐专栏导读💐文章导读🌷stack是什么?🌷stack的基本使用🌷stack的模拟实现🌷queue是什么?🌷queue的基本使用🌷queue的模拟实现 💐专栏导读…

Python基础实战2-Python安装

安装简介 电脑系统:Windwos 10 安装的Python版本:3.7.8 安装Python环境 安装运行Python程序的工具,也称位Python解释器。 初学者可以安装anaconda,里面自带500常用库。 第一步,下载Python 可以在Python官方网站…

mockjs基础及项目使用

Mock介绍 Mock.js 是一款模拟数据生成器,旨在帮助前端攻城师独立于后端进行开发,帮助编写单元测试。提供了以下模拟功能: 1. 根据数据模板生成模拟数据 2. 模拟 Ajax 请求,生成并返回模拟数据 3. 基于 HTML 模板生成模拟数据 以上…

网络安全之ATP

目录 APT 定义 特点 目的 APT攻击的生命周期 阶段一 --- 扫描探测 阶段二 --- 工具投送 阶段三 ---漏洞利用 阶段四 --- 木马植入 阶段五 --- 远程控制 阶段六 --- 横向渗透 阶段七 --- 目标行动 防御APT 最佳有效办法 --- 沙箱技术 沙箱技术 针对APT攻击的防御…

归并排序的递归实现

归并排序是一种比较排序,通过分治法思想来进行实现的,其基本思想是: 将已有序的子序列合并,得到完全有序的序列,即先使每个子序列有序,再使子序列段间有序。 若将两个有序表合并成一个有序表,称…

【轻松开发微信小程序】实现用户增删改查功能

文章目录 前言创建微信小程序项目创建项目目录结构编写首页页面编写编辑页面实现增删改查功能展示最终效果总结写在最后 前言 上一篇博客中我们学习了什么是小程序以及开发一个小程序的具体步骤。 在本篇博客中,我们来开发一个用户列表增删改查功能的完整流程&…

【UE】UE5 学习笔记

UE5 学习笔记(持续更新中) 界面 快捷键 快捷键描述F定位关一卡对象:双击游戏对象名字或选游戏对象名字鼠标中键移动视野alt鼠标左键移旋转视野滑动鼠标滚轮缩放视野alt鼠标右键拖动鼠标缩放视野鼠标左键移动鼠标前后漫游WASD鼠标右键自由漫游漫游时滑…

【vue】插件集合

一、复制粘贴vue-clipboard2 1、安装vue-clipboard2 npm install ue-clipboard2 2、main.js引入插件 // 复制 import VueClipboard from vue-clipboard2 Vue.use(VueClipboard) 3、页面使用 <el-buttonsize"mini"type"text"ref"copyButton&q…

JAVAWeb06-动态WEB开发核心Servlet-02-ServletConfig/Context

1. ServletConfig 1.1 ServletConfig 基本介绍 ServletConfig 类是为 Servlet 程序的配置信息的类Servlet 程序和 ServletConfig 对象都是由 Tomcat 负责创建Servlet 程序默认是第 1 次访问的时候创建&#xff0c;ServletConfig 在 Servlet 程序创建时&#xff0c;就创建一个…

thinkphp5 线上部署后view-source:可以看到源码,但是http显示空白页面的原因及解决方法汇总

本篇文章主要讲解:thinkphp5 项目线上部署后view-source:可以看到源码,但是http显示空白页面的原因及解决方法教程 作者:任聪聪 日期:2023年4月17日 thinkphp版本5.1 现象说明: 线下测试环境,显示可以看到界面 部署到线上配置完毕后发现页面空白 在php中写入echo 1232…

pytorch进阶学习(七):神经网络模型验证过程中混淆矩阵、召回率、精准率、ROC曲线等指标的绘制与代码

参考笔记 【机器学习】五分钟搞懂如何评价二分类模型&#xff01;混淆矩阵、召回率、精确率、准确率超简单解释&#xff0c;入门必看&#xff01;_哔哩哔哩_bilibili 混淆矩阵的概念_GIS_JH的博客-CSDN博客 机器学习中的混淆矩阵&#xff0c;准确率&#xff0c;精确率&#…

[java]String类

String表示字符串类型。 注意c中没有表示字符串的类型。 String内部包含如下两个变量。 java中String结尾没有/0&#xff0c;java不需要/0标注结束位置。 str2代表指向的对象内容为空&#xff0c;str3代表不指向任何对象。 str1和str2指向对象不一样&#xff0c;所以不相等 可…

在Linux中进行Jenkins-2.190的安装及使用

Jenkins-2.190安装在公网IP为x.x.x.x的服务器上 环境准备 第一步&#xff0c;下载server-jre-8u202-linux-x64.tar.gz安装包。 登录地址&#xff1a;https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载server-jre-8u202-linux-x64.tar.gz…

黑马程序员---微服务笔记【实用篇】

微服务技术栈导学 微服务实现流程&#xff1a; 所有要学的技术&#xff1a; 分层次教学&#xff1a; 具体分层&#xff1a; 实用篇---第一天 一、认识微服务 单体架构 将业务所有功能集中在一个项目中开发&#xff0c;打成一个包部署 优点&#xff1a;架构简单、部署成本低 …

Linux系统编程(三)—— 文件编程(2)系统数据文件和信息

一、文件&#xff1a;/etc/passwd 这是 /etc/passswd 文件下的内容&#xff1a; &#xff08;1&#xff09;标准库函数&#xff1a;getpwuid( ) 和 getpwname( ) getpwuid( )函数是根据 uid 来找到系统用户的信息&#xff1b;getpwname( )函数是根据 name 来找到用户的信息&…

机器学习 day04(梯度下降算法,学习率,偏导数,执行过程示意图)

1. 梯度下降 我们可以用一种更系统的方法&#xff0c;来找到一组w&#xff0c;b&#xff0c;使成本函数的值最小。这个方法叫梯度下降算法&#xff0c;它可用于最小化任何函数&#xff0c;不仅仅包括线性回归的成本函数&#xff0c;也包括两个以上参数的其他成本函数在线性回…

C#:在datagridview中每行添加图片,点击图片删除整行

今天要讲的是关于datagridview中的操作。 首先现在winform界面中拉取一个datagridview控件&#xff0c;如下图所示&#xff1a; 然后需要在控件中添加如下图所示的三列数据&#xff1a; 其中第一列的数据类型选择如下图所示的DataGridViewImageColumn&#xff0c;另外两列的数…

基于matlab使用 CSI-RS 的 NR 下行链路发射端波束细化

一、前言 此示例演示了使用 5G 工具箱中的信道状态信息参考信号 &#xff08;CSI-RS&#xff09; 的下行链路发射端波束细化过程。该示例展示了如何在散射环境中向不同方向传输多个CSI-RS资源&#xff0c;以及如何根据参考信号接收功率&#xff08;RSRP&#xff09;测量结果选择…

PHP调用api接口,电商平台商品详情API接口(封装可高并发)

PHP传递参数 1、通过GET方式接收调用api接口传递的参数。 2、使用switch语句&#xff0c;当GET接收到不同的值时&#xff0c;调用不同的函数。 3、分别创建one(&#xff09;&#xff0c;two()&#xff0c;three()三个函数用于返回api接口调用后返回的数据。 4、在浏览器打开…

反弹shell原理与实现

一、什么是反弹shell&#xff1f; 反弹shell&#xff08;Reverse Shell&#xff09;是一种常用于网络攻击中的技术&#xff0c;其目的是让攻击者通过远程控制程序获取被攻击计算机的权限。反弹shell技术通常是通过在受害者计算机上运行一个程序&#xff08;称为“后门”&#…