Redis高级篇——持久化

news2024/11/24 10:52:05

Redis持久化

1.RDB

1.1RDB简介

RDB全称Redis Database Backup file (Redis数据备份文件),也被叫做Redis数据快照。把内存中的数据都记录到磁盘中,当Redis实例故障重启后,从磁盘中读取快照文件,恢复数据。

快照文件称为RDB文件,默认保存在当前运行目录下

  • save 由Redis主进程执行RDB,会阻塞所有命令(Redis 单线程)
  • bgsave 开启子进程执行RDB,避免主进程受到影响

Redis停机会自动执行一次RDB (Redis正常关闭)

redis.conf 配置文件
在这里插入图片描述

1.2RDB底层实现原理

bgsave 开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入RDB文件
在这里插入图片描述

linux系统中所有进程都不能直接操作物理内存,操作系统会给进程分配一块虚拟内存,进程通过页表进行物理内存和虚拟内存数据的映射,fork时直接复制一份页表通过映射关系读取物理内存数据,然后写入磁盘

fork采用的时copy-on-write技术:

  • 当主进程执行读操作时,访问共享内存
  • 当主进程执行写操作时,则会拷贝一份数据,执行写操作

1.3总结

1.RDB方式bgsave的基本流程

  • fork主进程得到一个子进程,共享内存空间
  • 子进程读取内存数据并写入新的RDB文件
  • 用新的RDB文件替换旧的RDB文件

2.RDB在什么时候执行? save 60 1000 代表什么含义?

在Redis正常关闭时会默认执行一次,可以通过配置文件配置执行时机。save 60 1000 表示每60s内如果由1000个key发生修改就执行一次RDB

3.RDB的缺点?

  • RDB 通过自定义时间段内key的修改来判断是否进行数据持久化,但是如果设置时间过长,可能在还没持久化Redis突然宕机,造成数据丢失。如果设置时间过短,会频繁的进行持久化操作,影响性能
  • fork子进程、压缩、写出RDB文件都比较耗时

2.AOF

2.1AOF简介

AOF全称Append Only File (追加文件)。Redis处理每一个写命令都会记录在AOF文件,命令日志文件

AOF是默认关闭的,需要修改redis.conf配置文件来开启AOF

在这里插入图片描述

AOF的命令记录频率:

在这里插入图片描述

always 每执行一次写命令,立即记录到AOF文件

everysec 写命令执行完先放入AOF缓冲区,每隔1秒将缓冲区数据写到AOF文件,默认方案

no 写命令执行完先放入AOF缓冲区,由os决定何时将缓冲区内容写入磁盘

在这里插入图片描述

AOF由于是记录命令,因此文件会比RDB大。对于同一个key的多次修改,其实只有最后一次是有意义的,但是AOF全部记录一个个执行,浪费资源

2.2AOF的重写

通过bgrewriteaof命令执行AOF文件的重写

在这里插入图片描述

auto-aof-rewrite-percentage 100 AOF文件比上次文件 增长超过多少百分比则触发重写

auto-aof-rewrite-min-size 64mb AOF文件体积最小多大以上才触发重写

AOF的重写原理:

通过对Redis的指令进行压缩,(比如同一个key修改了上千次,只需要记录最后一次。相同数据类型的key的修改可以压缩成一条批处理指令)

AOF的重写过程:

1.根据当前Redis内存里面的数据重新构建一个新的AOF文件

2.读取当前Redis里面的数据,写入新的AOF文件里面

3.重写完成后新文件覆盖旧文件

AOF重写时需要读取Redis中所有键值对数据生成新的指令,此过程耗时较多,可能对业务有影响,Redis如何解决的?

Redis把重写的过程放在后台的一个子进程去完成,子进程在重写时主进程仍然可以处理客户端的请求。

子进程在重写的过程中,主进程对数据进行了修改,导致Redis内存中的数据和AOF文件不一致,如果保证数据的一致性?

Redis针对此问题进行了优化,子进程在重写过程中,主进程的数据变更会追加到AOF的重写缓冲区里面,等到AOF文件重写完成之后再把AOF缓冲区里面的数据追加到新的AOF文件里面

总结:

如果两者文件都有,redis会优先选择AOF持久化方式,AOF方式的数据完整性更好

RDB更多做备份

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/46279.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

蓝海创意云接受【看苏州】独家专访:助力苏州数字文化行业全方位发展

近日,由蓝海创意云提供渲染服务的动漫电影《老鹰抓小鸡》获金鸡奖最佳美术片提名,位列获奖名单的《长津湖》《独行月球》也由蓝海创意云渲染提供了后期服务。 就此,苏州广播电视总台旗下的苏州权威热点新闻和视频平台【看苏州】对蓝海彤翔执…

# Vue 中 JSON 编辑器使用

Vue 中 JSON 编辑器使用 文章目录Vue 中 JSON 编辑器使用背景描述vue-json-edit安装依赖测试页面效果图bin-code-editor安装依赖测试页面效果图CodeMirror安装依赖测试页面效果图vue-json-views安装依赖属性说明测试页面效果图vue-json-pretty安装依赖属性说明测试页面效果图码…

【CSS3】重点知识内容,快速上手

推荐前端学习路线如下: HTML、CSS、JavaScript、noodJS、组件库、JQuery、前端框架(Vue、React)、微信小程序和uniapp、TypeScript、webpack 和 vite、Vue 和 React 码源、NextJS、React Native、后端内容。。。。。。 层级选择器 a>b …

Kotlin高仿微信-第3篇-主页

Kotlin高仿微信-项目实践58篇详细讲解了各个功能点,包括:注册、登录、主页、单聊(文本、表情、语音、图片、小视频、视频通话、语音通话、红包、转账)、群聊、个人信息、朋友圈、支付服务、扫一扫、搜索好友、添加好友、开通VIP等众多功能。 Kotlin高仿…

Matlab图像处理基础(2):区域处理,边沿检测

目录 0. 概要 2. 卷积和相关 2.1 卷积 2.2 相关 2.3 卷积与相关的关系 2.4 Matlab函数 2.5 2-D卷积/相关的分解 3. 高通滤波,edge detection 3.1 matlab edge()函数 3.2 各种算子简介 3.2.1 Robert算子 3.2.2 Prewitt算子 3.2.3 Sobel算子 3.4 Cann…

维也纳国际酒店+丽柏酒店首个同物业双品牌项目成功加盟,中高端酒店品牌联动浮现新模式

从改革开放开启中国酒店市场化浪潮伊始,中国酒店市场一直处在高速发展的快车道。但四十年来,这条赛道上的竞争也出现了多次驱动引擎的动能转换。1996年起的20年里,庞大的经济型酒店切割了市场的主要蛋糕。而从2016年开始,中端酒店…

P2 Pytorch 张量数据类型

前言 1: 数据类型 2: 常用API 参考: 课时14 张量数据类型-1_哔哩哔哩_bilibili 一 数据类型 除了string ,相对于Numpy PyTorch 都能找到对应的数据类型 1.1 常用的Data type 常用的5种: IntTensor, LogTensor, ByteTensor, DoubleTensor,…

从迷之自信到逻辑自信(简版)

从2012年开始工作,10多年了; 从2002年开始奋斗,20多年了。 回首这20年,感觉自己的成绩很有限,相比过往的勤奋努力。 时代因素也有,个人智商等先天性制约也存在,但是呢,我就特别想…

ObjectARX的对象引用关系以及深克隆(deepClone)

目录1、对象引用概念1.1 概念1.2 所有权引用1.3 指针引用1.4 对象引用实现的例子2 关于深克隆(Deep Clone)2.1 深克隆基础2.2 clone() 和deepClone()2.3 关键概念2.3.1 克隆和存档2.3.2 克隆和所有权2.3.3 克隆和ID映射2.3.4 克隆和转换2.4 典型的deepClone操作1、对象引用概念…

第3讲 Android Camera Native Framework cameraserver.rc详解(上)

本讲是Android Camera Native Framework专题的第3讲,我们介绍cameraserver.rc详解(上),包括如下内容: Android init语言简介cameraserver.rc详解 serviceuser选项group选项ioprio选项task_profiles选项rlimit选项 视频…

ubuntu安装配置mysql

ubuntu安装配置mysql 提示:ubuntu版本16.0.4,默认安装的mysql版本为 5.7 提示:MYSQL的安装、配置: ubuntu mysql的安装既可以使用命令直接安装,也可以安装包方式安装。本文主要介绍命令直接安装方式,包括安…

Spring更加简单地存储Bean

目录 前提引入 更加简单地存储Bean对象到Spring中 context:component-scan 将Bean存储到Spring中用到的注解 Controller Service Repository Component Configuration 这五大类注解都有什么关系呢 ? 为什么要有这么多类注解有什么作用么 ? Bean命名规则 Bean注解…

61 - 智能指针类模板

---- 整理自狄泰软件唐佐林老师课程 1. 智能指针 1.1 智能指针的意义 现代C开发库中最重要的类模板之一C中自动内存管理的主要手段能够很大程度上避开内存相关的问题 1.2 STL中智能指针 auto_ptr 生命周期结束时,销毁指向的内存空间不能指向堆数组,只…

大数据平台功能

一 前言 计算机设备和信息数据的相互融合,对各个行业来说都是一次非常大的进步,已经渗入到工业、农业、商业、军事等领域,同时其大数据平台软件也得到一定发展。就目前来看,各类编程语言的发展、人工智能相关算法的应用、大数据时…

【DevPress】V2.4.4版本发布,增加数据看板功能

DevPress V2.4.4版本于2022年11月24日发版,增加社区数据看板功能,方便客户查看社区数据概览。 一、该版本功能包含 1、新需求 1)社区控制台增加数据看板功能,方便客户根据每日查看社区流量数据、用户数据和内容数据。 - 社区流…

【JAVA案例】作业管理系统(控制台版本)

博主:👍不许代码码上红 欢迎:🐋点赞、收藏、关注、评论。 格言: 大鹏一日同风起,扶摇直上九万里。 文章目录一、JAVA面向对象程序设计1.1 工程分包1.2 各类属性及功能二、数据初始化三、学生模块四、教师…

【在线研讨会】12月12日Softing工业物联网解决方案 助力工业4.0

本次研讨会设有抽奖环节,并有精美礼品相送! 一 会议介绍 水平和垂直通信一体化是工业4.0背后的核心原则之一,实现这一点需要标准化通信接口,这些接口能够促进各种组件的相互连接并传输同步数据流。本次研讨会将提供解决方案将过程…

AAC音视频编码详解

一、AAC编码概述 AAC是高级音频编码(Advanced Audio Coding)的缩写,出现于1997年,最初是基于MPEG-2的音频编码技术,目的是取代MP3格式。2000年,MPEG-4标准出台,AAC重新集成了其它技术&#xff…

【CALIPSO】星载激光雷达CALIPSO产品数据下载教程

【CALIPSO】星载激光雷达产品下载教程星载激光雷达产品下载教程一、下载地址二、注册登录三、选择数据1. 选择产品2. 时间选择3. 区域选择4. 确认提交5. 下载文件预览6. 下载文件名录列表7. 提交请求下载四、下载数据1. 修改FIleList文件2. IDM下载星载激光雷达产品下载教程 最…

论文阅读之Syntax Encoding with Application in Authorship Attribution(2018)

文章目录摘要引言Syntax Encoding实验结果参考摘要 我们提出了一种新的策略,将句子的语法分析树编码为可学习的分布式表示。所提出的语法编码方案是可证明的信息无损的。具体而言,为句子中的每个单词构建嵌入向量,对语法树中与该单词对应的路…