Redis持久化与主从同步

news2024/11/16 18:05:42

1 淘汰策略

127.0.0.1:6379> help expire

  EXPIRE key seconds
  summary: Set a key's time to live in seconds
  since: 1.0.0
  group: generic

127.0.0.1:6379> help PEXPIRE

  PEXPIRE key milliseconds
  summary: Set a key's time to live in milliseconds
  since: 2.6.0
  group: generic

expire是直接让key失效,而不能针对某个具体的元素,例如对hash的某个域设置过期

在这里插入图片描述

里面有一个lru

Redis.conf

在这里插入图片描述

通常maxmemory填真实内存的一半,以便持久化fork子进程时,有足够的内存

淘汰策略:

  • volatile-lru:最近最久未使用的过期key
  • allkeys-lru:对所有的key使用LRU策略淘汰
  • volatile-lfu:最少使用的过期key进行淘汰
  • allkeys-lfu
  • volatile-random:随机淘汰过期key
  • allkeys-random:随机淘汰
  • noeviction:禁止淘汰,当达到最大maxmemory时,继续写入数据会报错

2 持久化

fork原理:
fork的时候,仅对页表进行了复制,父进程对数据修改时,触发写保护中断,从而进行物理内存的复制,父进程的页表指向新的物理内存,子进程的页表指向旧的物理内存(谁修改,谁指向新的),在发生写操作的时候,系统才会去复制物理内存,避免物理内存的复制时间过长导致父进程长时间阻塞

fork进程那一刻相当于给父进程的内存打了一个快照

2.1 aof

append only file

追加日志,是一个顺序磁盘io(与随机磁盘差不多)

aof有三个策略:

  • always:对Redis有修改,就写到aof文件中
  • every_sec:每1秒写一次aof文件,由bio_aof_fsync操作
  • no:只写入到page cache,由操作系统自己刷到磁盘中

但假如对某个key操作多次,则aof都有相关记录

set test 1
set test 2
set test 3

但set test 1和set test 2是不需要的数据,即aof会存在冗余的问题,因此可以使用aof-rewrite

aof-rewrite:当aof文件过大,为了减少aof数据恢复速度过慢

  • fork进程,根据内存数据生成aof文件,避免同一个key历史冗余数据
  • 在重写aof期间,对redis的写操作回记录到重写缓冲区,当重写aof结束后,附加到aof文件末尾

优点:数据可靠,丢失较少;持久化过程代价较低
缺点:aof文件过大,数据恢复慢

注意:aof并不需要fork进程,aof-rewrite才需要fork进程

2.2 rdb

redis database

通过fork子进程进行持久化,基于内存中(所有数据)对象编码直接持久化

rdb只记录了fork那一刻的内存情况,但Redis仍然在提供服务,那部分的数据丢失了

优点:rdb文件小,数据恢复快
缺点:数据丢失较多,持久化过程代价较高

2.3 rdb-aof混用

通过fork子进程,根据内存数据生成rdb文件

在rdb持久化期间,对redis的写操作回记录到重写缓冲区,当rdb持久化结束后,附加到aof文件末尾

2.4 大key

kw中v如果占用大量空间就是大key,比如v是hash、zset,里面存储大量元素

大key对持久化的影响:

  • fsync压力大
  • fork时间长,fork的时候,写时复制造成持久化时间过长

3 Redis主从复制

主要用来实现 redis 数据的可靠性,防止主 redis 所在磁盘损坏,造成数据永久丢失

在这里插入图片描述

主从之间采用异步复制的方式

使用replicaof指定从数据库

3.1 全量数据同步

在这里插入图片描述

3.2 增量数据同步

在这里插入图片描述

replication buffer:记录发送RDB的时候的命令

repl_backlog_buffer:主库会记录自己写到的位置,从库则会记录自己已经读到的位置。

在这里插入图片描述

4 哨兵模式

上述的主从复制,仅保证了数据的安全性,但若主库挂掉了,从库无法提供服务。

因此,需要从从库中选择一个数据库,作为主数据库。

哨兵会在主数据库挂掉后,按照一定规则,选择一个从数据库作为主库,并通知其他从库和client。

在这里插入图片描述

5 Redis cluster集群

Redis cluster 将所有数据划分为 16384(2^14)个槽位,每个 redis 节点负责其中一部分槽位。

cluster 集群是一种去中心化的集群方式。

当 redis cluster 的客户端来连接集群时,会得到一份集群的槽位配置信息。这样当客户端要查找某个 key 时,可以直接定位到目标节点。

在这里插入图片描述

4.0 Clustering In Redis

参考资源:
《Redis核心技术与实战》
https://xxetb.xetslk.com/s/1QH6AQ

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2085915.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【CSP:202112-1】序列查询(Java)

题目链接 202112-1 序列查询 题目描述 求解思路 模拟:a数组可以看作是记录 f ( x ) f(x) f(x) 函数值发生变化出的 x x x 点(每次自增1)。因此将每段相同数值的 f ( x ) f(x) f(x) 用乘法计算出来即可,最后记得要加上最后一…

Java Web —— 第九天(事务)

事务管理 & AOP 事务回顾 概念 事务 是一组操作的集合,它是一个不可分割的工作单位,这些操作 要么同时成功,要么同时失败 操作 开启事务(一组操作开始前,开启事务): start transaction / begin 提交事务(这组操作全部成功…

服务器访问端口命令

服务器访问端口命令是一组用于管理服务器端口的命令行指令。服务器端口是用于与外部设备或应用程序进行通信的逻辑通道,它允许数据在服务器和其他设备之间传输。以下是一些常见的服务器访问端口命令。 netstat:这个命令用于检查服务器上当前的网络连接和…

FPGA第 5 篇,FPGA技术优略势,FPGA学习方向,FPGA学习路线(FPGA专业知识的学习方向,FPGA现场可编程门阵列学习路线和方向)

前言 前几篇讲了一下FPGA的发展和应用,以及未来前景。具体详细,请看 FPGA发展和应用,以及未来前景https://blog.csdn.net/weixin_65793170/category_12665249.html 这里我们来,记录一下,FPGA专业知识的学习路线 一.…

OpenAI remove key access while using AAD authentication

题意:“OpenAI 在使用 AAD 认证时移除了密钥访问权限” 问题背景: I am calling Azure OpenAI API in my python code. To set it up, we need to provide a few parameters, one of which is openai.api_key. There are 2 options to get this value -…

力扣hot100-动态规划

文章目录 概念动态规划基本思想常见步骤常用技巧常见问题类型 动态规划题目题目: 爬楼梯题解 概念 动态规划 动态规划(Dynamic Programming,简称DP)是一种解决问题的算法思想,通常用于优化问题。它的核心思想是将一个…

K8S声明式的管理方式

一、K8S声明式的管理方式: 1、适合对资源的修改操作 2、声明式管理依赖于yaml文件,所有的内容都在yaml文件中声明 3、编辑好的yml文件还是要靠陈述式命令发布到K8S集群中 二、K8S中支持三种声明式的资源管理方式: 1、deployment格式&…

如何用Java SpringBoot Vue搭建创新创业学分管理系统?实战教程

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…

GLM大模型 - CogVideoX:5B 开源,2B 转为 Apache 协议

8月6日,我们发布并开源了CogVideoX-2B模型,受到广大开发者的欢迎。 为了促进社区的自主使用和开放式创新,我们现决定将参数规模更大、性能更强的产品级模型 CogVideoX-5B 开源,同时 CogVideoX-2B 的开源协议调整为更加开放的Apac…

阿里云链接远程桌面Ubuntu22.4,出现的各种问题汇总,太艰辛,所以发出来,帮助一下后边的小伙伴

问题一:远程登录桌面计算机名写什么:写ip,公网ip,用户名不要填 问题二 Win10远程连接Ubuntu20.04桌面黑屏的问题 如果你是用浏览器连接上了云服务器,那么请先logout!

算法的学习笔记—从 1 到 n 整数中 1 出现的次数(牛客JZ43)

😀前言 在编程面试中,求解从 1 到 n 的整数中数字 1 出现的次数是一个常见的挑战。该问题的关键在于如何高效地统计数字 1 出现的次数。本文将详细分析该问题的解题思路,并提供一个高效的 Java 实现。 🏠个人主页:尘觉…

java 切面日志打印出参入参

切面Controller出入参日志打印 项目结构 切面日志对controller下所有的方法生效 切面代码 Slf4j Aspect Component public class ControllerLogAspect {// 定义一个切点,拦截所有Controller层的public方法Before("execution(public * com.jzt.market.cont…

Android解析异步消息处理机制

文章目录 Android解析异步消息处理机制MessageHandlerMessageQueueLooper Android解析异步消息处理机制 Android中的异步消息处理主要由4个部分组成:Message、Handler、MessageQueue和Looper。其中Message和Handler在上一小节中我们已经接触过了,而Mess…

大数据基础:离线与实时数仓区别和建设思路

文章目录 离线与实时数仓区别和建设思路 一、离线数仓与实时数仓区别 ​​​​​​​二、实时数仓建设思路 离线与实时数仓区别和建设思路 ​​​​​​​一、离线数仓与实时数仓区别 离线数据与实时数仓区别如下: 对比方面 离线数仓 实时数仓 架构选择 传…

ComsolMatlab 两级串联扩张式消声器仿真解与解析解

消声器的声学性能通常要求消声器在工作频率范围内有较大的消声量以及较宽的消声频带。常用的消声器声学性能评价指标通常有传递损失、插入损失、减噪量三种。其中插入损失只能反映整个系统在安装消声器前后声学特性的变化,并不能直接反映消声器本身单独具有的属性。…

计算机毕业设计选题推荐-中药材进存销管理系统-Java/Python项目实战

✨作者主页:IT研究室✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python…

假期学习--对象底层结构和继承链

OC本质底层实现转化其实都是C/C代码。 OC对象的本质就是结构体。 NSObject底层是struct objc_object结构体 ;struct objc_class : objc_object { …省略无关代码 // Class ISA; //ISA(从objc_object继承过来的) Class superclass; //指向其父类 cache_t cache…

王伊朵闪耀“快乐阳光”舞台 再夺全国冠军

在近日落幕的“赛克杯”第20届快乐阳光少年儿童歌曲卡拉OK电视大赛全国总决赛中,就读于北京市建华实验学校,年仅11岁的小选手王伊朵以其出色的唱功和卓越的舞台表现,一举夺得全国冠军,成为本次大赛一颗耀眼的小明星。 王伊朵自小对…

基于NNG的六种通信模式

NNG是一个消息传递框架,用来解决常见的消息传递问题。NNG是nanomsg的继任版本,纯c语言开发,工作模式分为一下几种: Pipeline单向管道 此模式可用于解决生产者/消费者问题,包括负载均衡。 消息从推侧流向拉侧。 如果多…

‌U盘闪一下就没了?‌如何有效恢复数据

在日常使用U盘的过程中,‌我们可能会遇到一种突发情况:‌U盘插入电脑后仅仅闪了一下就消失了,‌无法再被识别或访问。‌这种情况下,‌U盘中的数据似乎瞬间变得遥不可及。‌然而,‌不必过于担心,‌因为仍然有…