“Redis中的持久化:深入理解RDB与AOF机制“

news2024/11/26 20:29:37

目录

# 概念

1. RDB持久化

1.1 备份是如何执行的(RDB过程)

1.2 配置文件信息

1.3 RDB持久化操作

1.4 RDB优势

1.5 RDB劣势

1.6 RDB做备份

2. AOF持久化

2.1 AOF开启及使用

2.2 异常恢复

2.3 配置文件操作

2.4 AOF持久化流程

2.5 优点

2.6 劣势


# 概念

  • redis持久化概念

    redis是我们的内存数据,存在内存中的,但是redis也可以写道硬盘中去,这个过程就叫持久化;

  • RDB与AOF的优先级

    AOF和 RDB 同时开启,系统默认取 AOF的数据(数据不会存在丢失);

1. RDB持久化

  • 概念

    就是在指定的时间间隔中将内存中的数据集快照写入到磁盘中(硬盘是磁盘的一种),比如每个10秒写入一次,再过10秒写入一次等;

1.1 备份是如何执行的(RDB过程)

        Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何I0操作的,这就确保了极高的性能如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB 的缺点是最后一次持久化后的数据可能丢失;

  • Fork:

    Fork 的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程;

    在 Linux 程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会 exec 系统调用,出于效率考虑,Linux 中引入了“写时复制技术”;

    一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程;

dump.rdb文件:

1.2 配置文件信息

配置文件存在:vim /etc/redis.conf

一、stop-writes-on-bgsave-error yes(当redis无法写入磁盘,直接关闭redis写操作,推荐yes)

二、rdbcompression yes(对于存储到磁盘中的快照,设置是否进行压缩存储)

对于存储到磁盘中的快照,设置是否进行压缩存储。如果是,redis会采用LZF算法进行压缩;

如果不想消耗CPU进行压缩,可以设置为关闭此功能,推荐yes;

三、rdbchecksum检查完整性(存储快照后让redis使用CRC64算法进行数据校验)

推荐yes;

四、Save秒钟(写操作次数)

  • 在 Redis 的配置文件中,save 命令用于配置数据库的 RDB(Redis Database)持久化策略。它定义了在特定时间间隔内,如果发生了一定数量的键改变,Redis 将触发持久化操作,将数据保存到磁盘中。

这三条配置定义了 Redis 在以下条件下触发持久化的规则:

  1. save 900 1:
    • 时间间隔: 900秒(15分钟)。
    • 键改变数量: 至少1个键。
    • 解释: 如果在900秒内,至少有1个键发生了变化(被修改、删除或新增),Redis 将触发一次持久化操作,将数据保存到磁盘。
  2. save 300 10:
    • 时间间隔: 300秒(5分钟)。
    • 键改变数量: 至少10个键。
    • 解释: 如果在300秒内,至少有10个键发生了变化,Redis 将触发一次持久化操作,将数据保存到磁盘。
  3. save 60 10000:
    • 时间间隔: 60秒(1分钟)。
    • 键改变数量: 至少10000个键。
    • 解释: 如果在60秒内,至少有10000个键发生了变化,Redis 将触发一次持久化操作,将数据保存到磁盘。
  • 运行原理

    Redis 会在后台持续监视键的变化。如果在指定的时间间隔内键的变化次数达到设置的数量,Redis 就会创建一个 RDB 快照。这个快照包含当前数据库状态的一个副本并将其写入磁盘,以便于恢复数据。配置多个 save 条目可以根据不同的条件灵活地触发持久化操作。

  • 配置的意义和影响

    • 灵活的持久化策略: 不同时间间隔和键改变数量的配置使得 Redis 能够灵活处理持久化操作。在频繁变化的情况下(如 save 60 10000),它能快速保存数据;而在变化较少的情况下(如 save 900 1),则不会频繁触发持久化,减少性能开销。
    • 数据持久化: 这些配置确保了 Redis 的数据能够定期持久化到磁盘中,以防止数据丢失。
    • 性能权衡: 更频繁的持久化会导致更多的磁盘 I/O,从而影响性能;而较少的持久化则可能在崩溃时导致更多的数据丢失。

五、save VS bgsave

  • save:

    工作机制

    • 同步操作: save 是一个同步操作,阻塞当前 Redis 实例,直到保存过程完成。
    • 数据持久化: 它会生成一个 RDB (Redis Database) 快照文件,将当前的内存数据保存到磁盘。

    优缺点

    • 优点: 操作简单,适合在 Redis 启动期间使用,确保启动时的数据被持久化。
    • 缺点: 由于是同步操作,期间 Redis 将不能处理其他请求,可能导致性能问题,尤其在数据量大时。

    典型使用场景

    • 紧急保存: 在进行数据恢复操作之前确保数据不丢失。
    • 开发和调试: 当需要手动触发保存数据以查看具体状态时。

    示例SAVE

  • bgsave:

    工作机制

    • 异步操作: bgsave 是一个异步操作,Redis 主进程会 fork 一个子进程来执行数据持久化。
    • 数据持久化: 子进程会生成一个 RDB 快照文件,将当前的内存数据保存到磁盘,而主进程继续处理客户端的请求。

    优缺点

    • 优点: 不阻塞 Redis 主进程,允许 Redis 继续处理其他请求,适合在运行时定期保存数据。
    • 缺点: fork 操作在数据量大时可能会占用较多的系统资源,并且对系统内存开销较大。

    典型使用场景

    • 定期备份: 在运行时定期进行数据备份,减少持久化对性能的影响。
    • 大规模应用: 适合需要频繁持久化数据且不希望阻塞请求处理的大规模应用。

    示例BGSAVE

  • 主要区别总结

特性savebgsave
操作模式同步异步
阻塞行为阻塞非阻塞
系统资源较少较多
执行时机手动手动或自动配置
性能影响
1.3 RDB持久化操作

设置key:

写入后查询(证明做了持久化操作):

1.4 RDB优势

适合大规模的数据恢复;

对数据完整性和一致性要求不高更适合使用;

节省磁盘空间;

恢复速度快;

1.5 RDB劣势

Fork 的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑;

虽然 Redis.在 fork 时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能;

在备份周期在一定间隔时间做一次备份,所以如果 Redis 意外 down 掉的话就会丢失最后一次快照后的所有修改;

1.6 RDB做备份

我们在移除前先做一个插入操作,以上操作后重新启动redis,在删除dump文件后,进入复制的文件中查看,这时候就有之前设置的3个key了(save 20 3)这个是备份恢复过程;

2. AOF持久化

  • 概念

    (Append Only File:在redis中的另一种持久化的方式)

    以日志的形式来记录每个写操作(增量保存),将 Redis 执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行-次以完成数据的恢复工作;

2.1 AOF开启及使用

开启后就会有默认文件:appendonly yes

使用(在开启完后在redis中set入值,这时候文件的大小发生了变化 )

2.2 异常恢复

修改默认的 appendonly no,改为 yes;

如遇到 AOF文件损坏,通过/usr/local/bin/redis-check-aof--fix appendonly.aof 进行恢复;

作用:备份被写坏的 AOF 文件;

恢复:重启 redis,然后重新加载;

2.3 配置文件操作

1. AOF同步步率设置

appendfsync always:始终同步,每次Redis的写入都会立刻记入日志;虽然性能较差,但数据完整性比较好;

appendfsync everysec:每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失;

appendfsync no:redis不主动进行同步,把同步时机交给操作系统;

2. rewrite压缩

  • rewrite是什么:

    AOF 采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制,当AOF 文件的大小超过所设定的阈值时,Redis 就会启动 AOF 文件的内容压缩 , 只保留可以恢复数据的最小指令集,可以使用命令 bgrewriteaof;

  • 重写原理,如何实现重写:

    AOF 文件持续增长而过大时,会 fork 出一条新进程来将文件重写(也是先写临时文件最后rename),redis4.0 版本后的重写,是指上就是把 rdb 的快照,以二级制的形式附在新的 aof头部,作为已有的历史数据,替换掉原来的流水账操作;

3. no-appendfsync-on-rewrite :AOF 是否继续同步数据到磁盘

在 Redis 中,no-appendfsync-on-rewrite 配置选项,与 AOF(Append Only File)持久化和 RDB(Redis Database)持久化的相互作用相关。这个选项控制了在执行 RDB 快照的同时,AOF 是否继续同步数据到磁盘;

no-appendfsync-on-rewrite 的值为 no 时(默认情况):

  • AOF 重写期间继续 ****fsync: 在进行 RDB 持久化(快照)或 AOF 重写时,Redis 将继续按照 appendfsync 配置进行 fsync 操作,将 AOF 缓冲区中的数据同步到磁盘。
  • 保持 AOF 持久化的完整性: 即使在进行快照或 AOF 重写期间,也不会延迟或暂停 AOF 文件的同步操作,确保 AOF 文件的实时性和数据完整性。

no-appendfsync-on-rewrite 的值为 yes 时:

  • AOF 重写期间暂停 ****fsync: 在进行 RDB 持久化或 AOF 重写时,Redis 会暂停 fsync 操作。这意味着在持久化操作期间,AOF 文件的数据不会实时同步到磁盘。
  • 降低磁盘 I/O 负载: 通过暂停 fsync,可以减轻磁盘 I/O 负载,减少系统压力和潜在的性能影响,适合 I/O 密集型应用或磁盘性能有限的环境。

2.4 AOF持久化流程

(1)客户端的请求写命令会被append追加到 AOF 缓冲区内;

(2)AOF缓冲区根据 AOF持久化策略[always,everysec,no]将操作sync 同步到磁盘的AOF文件中;

(3)AOF文件大小超过重写策略或手动重写时,会对 AOF 文件rewrite 重写,压缩AOF 文件容量;

2.5 优点

备份机制更稳健,丢失数据概率更低;

可读的日志文本,通过操作 AOF文件,可以处理误操作;

2.6 劣势

比起 RDB 占用更多的磁盘空间;

恢复备份速度要慢;

每次读写都同步的话,有一定的性能压力;

存在个别 Bug,造成不能恢复;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1832465.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于振弦采集仪的地下综合管廊工程安全监测技术研究

基于振弦采集仪的地下综合管廊工程安全监测技术研究 地下综合管廊工程是一项重要的城市基础设施工程,承载着城市供水、供电、供热、排水等重要功能。为了确保地下综合管廊工程的安全运行,需要进行有效的安全监测。本文将重点研究基于振弦采集仪的地下综…

Python学习笔记12:进阶篇(一),类的相关知识

前言 在讲类之前,我们简单介绍一些Python的知识。这些知识在入门篇没讲,想学Python的,基本都对Python有基础的了解,但是今天开始的进阶知识,会涉及到一些Python的特性,所以在这里介绍一下。 Python是一种高…

vivado NODE、PACKAGE_PIN

节点是Xilinx部件上用于路由连接或网络的设备对象。它是一个 WIRE集合,跨越多个瓦片,物理和电气 连接在一起。节点可以连接到单个SITE_, 而是简单地将NETs携带进、携带出或携带穿过站点。节点可以连接到 任何数量的PIP,并且也可以…

升级到tomcat10和Java 21后,idea控制台system.out.println输出中文乱码问题

最近一次性从tomcat 9升级到tomcat 10,同时Java sdk也从1.8升级到21。 升级过程中,当然会遇到很多问题,但是控制台输出中文乱码问题,着实折腾了很久。 1、尝试各种方法 网上说的很多通用方法都试过了,就是不生效。包…

论文学习_Large Language Models Based Fuzzing Techniques: A Survey

论文名称发表时间发表期刊期刊等级研究单位 Large Language Models Based Fuzzing Techniques: A Survey 2024年arXiv- 悉尼大学 0.摘要 研究背景在软件发挥举足轻重作用的现代社会,软件安全和漏洞分析对软件开发至关重要,模糊测试作为一种高效的软件…

苹果电脑病毒怎么处理 苹果电脑病毒查杀用什么软件 苹果电脑病毒软件

苹果电脑并不是完全免疫于病毒的威胁,尤其是在使用了一些不安全的软件或网站后,可能会感染一些恶意程序,导致电脑运行缓慢,数据丢失,甚至被黑客控制。那么,苹果电脑病毒怎么处理呢?苹果电脑病毒…

Confluence 可以用哪些开源知识库替换?盘点主流的11款

Confluence 本身并不是开源的,而是一个基于订阅模式的商业产品。而类似于confluence的有11款知识库软件,包括:PingCode 知识库、BlueSpice、MediaWiki、DokuWiki、Nuclino、ClickUp、XWiki、BookStack、TiddlyWiki、Bloomfire 和 Quip。 虽然…

C# 通过Win32API设置客户端系统时间

在日常工作中,有时可能会需要获取或修改客户端电脑的系统时间,比如软件设置了Licence有效期,预计2024-06-01 00:00:00到期,如果客户手动修改了客户端电脑时间,往前调整了一年,则软件就可以继续使用一年&…

c++编程(19)——STL(5)容器适配器

欢迎来到博主的专栏——c编程 博主ID:代码小豪 文章目录 适配器adaptorstackqueuepriority_queue传送门: 适配器adaptor 适配器看起来像一个容器,实际上adaptor并不属于容器的范畴,更像是一种专门用于某种容器的接口。 常用的适…

【实用工具】Skyworking

文章目录 一、Skywalking概述1.1 核心功能1.2 指标概述1.2.1 一些常用指标1.2.2 指标的使用方式 二、仪表盘2.1 APM2.1.1 全局维度的指标2.1.2 服务维度的指标2.1.3 实例维度的指标2.1.4 端点维度的指标 2.2 数据库2.3 其他 三、追踪3.1 界面划分3.2 请求链路界面分析3.3 一般流…

保姆级pycharm远程连接linux服务器

1、登录服务器,创建账号。 一般都是管理员账户登录,创建自己的账号。如果不需要,可跳过这步。 打开MobaXterm,点击左上角Session创建会话。 再点击左上角SSH,分别输入服务器ip和账号,最后点ok,进…

【第16章】Vue实战篇之跨域解决

文章目录 前言一、浏览器跨域二、配置代理1.公共请求2.代理配置 总结 前言 前后端项目分离衍生出浏览器跨域问题,开发之前我们通过配置代理解决这个问题。 一、浏览器跨域 浏览器的跨域问题主要是由于浏览器的同源策略导致的。同源策略是浏览器的一个安全功能&…

Web应用安全测试-综合利用(一)

Web应用安全测试-综合利用(一) 文章目录 Web应用安全测试-综合利用(一)1.跨站脚本攻击(XSS)漏洞描述测试方法GET方式跨站脚本Post方式跨站脚本 风险分析风险等级修复方案总体修复方式对于java进行的web业务…

openGauss 6.0高可用测试,系统上线前很关键

作者:IT邦德 中国DBA联盟(ACDU)成员,10余年DBA工作经验, Oracle、PostgreSQL ACE CSDN博客专家及B站知名UP主,全网粉丝10万 擅长主流Oracle、MySQL、PG、高斯及Greenplum备份恢复, 安装迁移,性能优化、故障…

示例:WPF中应用Grid的SharedSizeGroup设置整齐的布局

一、目的&#xff1a;应用Grid的SharedSizeGroup设置整齐的布局 二、实现 <ItemsControl ItemsSource"{local:GetStudents Count5}"><ItemsControl.ItemTemplate><DataTemplate><Grid ShowGridLines"True"><Grid.ColumnDefinit…

编程之道:程序员必备的五大职业素养

引言 在数字化时代&#xff0c;程序员的角色变得日益重要。他们不仅是代码的编写者&#xff0c;更是技术变革的推动者。然而&#xff0c;成为一名优秀的程序员&#xff0c;除了技术能力之外&#xff0c;还需要具备一系列职业素养。本文将探讨程序员在职业生涯中应具备的五大职业…

美国犹他州立大学《Nature Geoscience》(IF=18)!揭示草本植物对土壤有机碳的重要贡献!

随着全球变暖的影响越来越显著&#xff0c;碳固定成为了一个备受关注的话题。在这个背景下&#xff0c;热带草原被认为是一个潜在的碳固定区域。然而&#xff0c;目前的研究主要关注于在热带草原中种植树木&#xff0c;以期望增加土壤有机碳含量。但是&#xff0c;热带草原中的…

万字长文详述 - 带你了解Jvm虚拟机运行时数据区

JVM虚拟机&#xff0c;对大部分Java程序员而言&#xff0c;是既熟悉又陌生的存在&#xff0c;Java程序在虚拟机的自动内存管理机制帮助下&#xff0c;减少了绝大部分的内存管理工作。但也正是因为如此&#xff0c;虚拟机如果出现了内存溢出或者泄露的情况&#xff0c;问题排查、…

NettyのEventLoopChannel

Netty的重要组件&#xff1a;EventLoop、Channel、Future & Promise、Handler & Pipeline、ByteBuf 本篇主要介绍Netty的EventLoop和Channel组件。 1、Netty入门案例 服务器端的创建&#xff0c;主要分为以下步骤&#xff1a; 创建serverBootstrap对象。配置服务器的…

10.Docker Compose容器编排

文章目录 Compose简介安装和卸载步骤核心概念compose文件两要素 使用步骤Compose常用命令微服务测试本地编码打包编写Dockerfile文件构建镜像 不使用Compose调试使用Compose调试WordPress测试验证增量更新 Compose简介 ​ docker建议我们每一个容器中只运行一个服务,因为docke…