redis之高可用

news2024/9/28 15:31:06

(一)redis之高可用

1、在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天)99.9%

2、redis的高可用的含义更加广泛,正常服务是指标之一,数据容量的扩展、数据的安全性

3、在redis中实现高可用的技术

(1)持久化
(2)主从复制
(3)哨兵模式
(4)cluster集群

(二)持久化(RDB/AOF)(重点)

1、持久化:最简单的高可用方法,主要作用是数据备份,也就是把redis缓存在内存中的数据保存到本地的硬盘当中(冷备份—停止服务备份)

2、redis持久化的两种方式

(1)RDB持久化:redis在内存中的数据定时保存到磁盘(自动执行、手动执行)(生产中很少使用)
(2)AOF持久化:redis的操作日志,以追加的方式写入一个AOF的文件,类似于mysql的binlog

(三)RDB持久化

1、RDB:指在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),用二进制压缩存储,保存的文件名后缀.rdb,redis启动时可以直接读取快照文件,实现数据恢复

2、RDB的触发机制

(1)手动机制:save、bgsave都可以生成RDB文件
save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完整为止(生产中禁止用save生成RDB文件)
bgsave:就是主从复制的机制。特点:主进程会通过fork机制创建一个子进程,子进程创建的过程中,主进程会阻塞,子进程创建完毕,主进程解除阻塞,由子进程创建RDB文件,创建完成之后,通知主进程更新通知信息(重点)

③bgsave的工作流程

关闭服务(冷备份):

恢复:

(2)自动机制(/ect/redis/6379.conf)
除了配置文件的save m n之外,还有:
①主从复制,从节点执行全量复制操作,直接执行bgsave,把RDB文件传送给从节点
②关闭主进程,shutdown之后,会自动指定RDB的持久化
③启动时加载,RDB文件被损坏,日志中会打印错误,redis会拒绝启动
④redis-check-rdb工具修复RDB的持久化文件

save 900 1:表示当时间到900秒时,redis的数据至少发生一次变化,就执行bgsave

save 300 10:表示当时间到300秒时,redis的数据至少发生十次变化,就执行bgsave

save 60 10000:表示当时间到60秒时,redis的数据至少发生一万次变化,就执行bgsave

时间间隔不能太短,执行不能太频繁(数据变动的越多,执行的时间越短,数据变动不大,时间间隔要长一点)

生产中一般设置:save 120 1000、save 60 10000

rdbcompression yes

开启RDB文件的压缩功能,在高并发场景建议关闭

(生产中默认是no)

(四)AOF持久化(生产中普遍使用)

1、AOF持久化是将redis的每一次读、写、删除命名记录到一个单独的.aof结尾的文件,查询操作由主进程记录,当redis重启时,再次执行AOF文件中的命令来恢复数据

2、AOF的实时性更好,也是主流的持久化方案

3、RDB是redis的默认持久化文件,但是一旦开启AOF持久化,那么redis会以AOF的持久化文件作为最高级优先级

 

aof-load-truncated yes:用于判断AOF文件是否被截断,发现被截断(写入过程中出现异常,导致文件未能完全写入)(重点)

AOF文件被截断时:

设置为yes,redis会尽可能的恢复文件中的数据,redis会继续运行

设置为no,发现AOF文件被截断,redis会拒绝启动

数据完整祥的要求高:设置No

注重数据服务器的可用性:设置yes

4、AOF的工作流程(自动机制:编辑vim appendonly.aof)

(五)AOF的重写功能(重点)

1、重写的原因:随着时间增长,AOF文件中的数据也会不断增加,AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致数据恢复的时间过长

2、文件重写:是指定期的重写AOF文件,减小AOF文件的体积,AOF重写是把redis进程内的数据转化为写命令,同步到新的AOF文件中(不会额外的生成一个新的文件,只是在原内容中进行压缩),不会对原有的AOF文件进行任何读写的操作

3、文件重写虽然是AOF持久化强烈推荐的,但不是必须的,没有重写,并不影响redis启动时读取数据,在实际中,会关闭自动的文件重写,通过定时任务来完成

4、重写机制的工作路程(重点)

5、AOF同步文件策略的三种方式

(1)appendfsync always:写入过程中,立刻调用redis系统的fsync操作写入到AOF文件,这次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命会大大降低(不推荐)

(2)appendfsync everysec命名写入,调用write操作,write操作结束后,write线程会返回,fsync同步文件操作由专门的线程每秒同步一次(这是一个折中的策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置)

(3)appendfsync no:写入操作调用系统的write操作,不对AOF文件进行同步,操作系统来同步,同步周期30秒,文件同步的时间不可控,缓冲区会堆积大量数据,数据的安全也无法保证

6、重写的触发条件

(1)手动触发:redis-cli bgrewriteaof

(2)自动触发(配置配置文件):

auto-aof-rewrite-percentage 100

表示文件的大小超过基准的百分比,默认值就是100,文件的大小超过两倍时,执行bgrewriteaof,设置为0,表示禁用自动触发(100M—200M—400M)

*若要创建定时任务,可以设置为0,或者注释掉

auto-aof-rewrite-min-size 64mb(必须要有):

表示只有文件大于基准值,才会进行重写,这个值是AOF执行重写的最小值,可以避免开始启动redis后,文件太小,然后频繁的进行重写

7、AOF重写为什么能压缩文件

(1)重写的过程中,如果有过期的数据不会写入文件
(2)无效的命令不再写入文件,数据被重复设置(set test 1,set test 2),删除的数据也不会写入
(3)把多条命令合并成一个
例:sadd test1 1 sadd test1 2 sadd test1 3——sadd test1 1 2 3
(4)重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也增加了(重写不是必须的,根据需求——重点

(六)RDB和AOF之间的优缺点

1、DRB

(1)RDB的优点:RDB文件体积小,网络传输速度很快,适合全量复制,恢复速度也比AOF要快
(2)RDB的缺点:做不到实时的持久化,数据如此重要,不能容忍丢失的;RDB需要满足特定的格式,兼容性很差,老版本的RDB不支持新版本(redis的版本要一致,redis的版本:5.0.7)

2、AOF

(1)AOF的优点:秒级持久化,兼容性好(文本格式保存的命名,命令通用)
(2)AOF的缺点:文件大,恢复速度慢,AOF持久化需要频繁的向磁盘写入数据,磁盘的I/O压力很大,对redis 主进程的性能也会有一定影响

(七)持久化总结

1、redis的持久化也算是高可用的一种,通过备份文件来恢复数据(冷备份)

2、RDB:save(线上禁用),bgsave

3、AOF:

(1)实时持久化,写入的是操作命令,除了查(set和del会记录,select和get不记录)。实时记录,恢复方式类似于mysql的binlog
(2)重写(推荐但是不是必须的):也是主进程创建一个子进程,在过程中产生的数据以及同步策略都会写入到AOF文件当中

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1235752.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ueditor整合到thinkPHP里

<?phpnamespace app\ueditor\controller;use think\Controller;class Ueditor extends Controller {//首页public function upload(){//header(Access-Control-Allow-Origin: http://www.baidu.com); //设置http://www.baidu.com允许跨域访问//header(Access-Control-Allow…

2023亚太杯数学建模思路 - 案例:最短时间生产计划安排

文章目录 0 赛题思路1 模型描述2 实例2.1 问题描述2.2 数学模型2.2.1 模型流程2.2.2 符号约定2.2.3 求解模型 2.3 相关代码2.4 模型求解结果 建模资料 0 赛题思路 &#xff08;赛题出来以后第一时间在CSDN分享&#xff09; https://blog.csdn.net/dc_sinor?typeblog 最短时…

使用JMX监控ZooKeeper和Kafka

JVM 默认会通过 JMX 的方式暴露基础指标,很多中间件也会通过 JMX 的方式暴露业务指标,比如 Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink 等等。掌握了 JMX 监控方式,就掌握了一批程序的监控方式。本节介绍 JMX-Exporter 的使用,利用 JMX-Exporter 把 JMX…

ODBC配置数据源及相关问题(“找不到工程和库”“实时错误91对象变量或with块变量未设置”等)

目录 背景遇到的问题及解决步骤1、找不到工程和库问题分析问题解决 2、 实时错误91&#xff0c;对象变量或with块变量未设置问题分析问题解决 3、文件dsn配置问题什么是dsn文件&#xff0c;内容是什么&#xff0c;作用是什么ODBC配置dsn文件配置文件dsn默认路径ODBC 32位和64位…

股票统计信息(七)

7-统计信息 文章目录 7-统计信息一. 股票周级别统计信息二. 查询可支持的所有的股票资金类型三. 股票图形统计信息四. 查询当前用户自选表里面最近十天的交易信息五. 查看天/星期范围统计的历史记录六. 查看最近多少天某个属性的涨跌幅度值 一. 股票周级别统计信息 接口描述: …

【Spring】使用xml配置AOP

文章目录 1.前言2.xml配置AOP3. 总结 1.前言 在之前的学习中,都是使用注解的方式进行AOP的配置.其实使用xml配置文件也可以配置AOP. 2.xml配置AOP xml配置AOP方法如下: 添加相关依赖 <dependencies><dependency><groupId>org.springframework</groupId…

数学建模之插值法及代码

发现更多知识&#xff0c;欢迎访问Cr不是铬的个人网站 引言 数模比赛中&#xff0c;常常需要根据已知的函数点进行数据、模型的处理和分析&#xff0c;而有时候现有的数据是极少的&#xff0c;不足以支撑分析的进行&#xff0c;这时就需要使用一些数学的方法&#xff0c;“模…

www.testfire.nets渗透测试报告

www.testfire.nets渗透测试报告 一、测试综述 1.1.测试⽬的 通过实施针对性的渗透测试&#xff0c;发现testfire.net⽹站的安全漏洞&#xff0c;锻炼自己的渗透水平 1.2.测试范围 域名&#xff1a;www.testfire.net IP:65.61.137.117 测试时间&#xff1a; 2023年11月…

Go 语言中 For 循环:语法、使用方法和实例教程

for循环用于多次执行特定的代码块&#xff0c;每次都可以使用不同的值。每次循环执行都称为一次迭代。for循环可以包含最多三个语句&#xff1a; 语法 for 语句1; 语句2; 语句3 {// 每次迭代要执行的代码 }语句1&#xff1a;初始化循环计数器的值。语句2&#xff1a;对每次循环…

第十九章Java绘图

9.1.1——Graphics类 Graphics类是所有图形上下文的抽象基类&#xff0c;它允许应用程序在组件以及闭屏图像上进行绘制&#xff0c;Graphics类封装了Java支持的基本绘图操作所需要的状态信息&#xff0c;主要包括颜色&#xff0c;字体&#xff0c;画笔&#xff0c;文本&#xf…

composer切换全局镜像源的方法

composer 默认配置中的镜像地址为国外的&#xff0c;在下载一些依赖包的时候会感觉很慢。当然国内也有很多composer镜像地址的&#xff0c;比如阿里云&#xff0c;腾讯云等。下面的博文73so博客就和大家说说&#xff0c;如何将composer的默认镜像改为国内镜像源的方法。 compo…

Java-认识String类

本章重点&#xff1a; 1. 认识 String 类 2. 了解 String 类的基本用法 3. 熟练掌握 String 类的常见操作 4. 认识字符串常量池 5. 认识 StringBuffer 和 StringBuilder 1.String类的重要性 在C语言中已经涉及到字符串了&#xff0c;但是在C语言中要表示字符串只能使用字符数组…

Selenium自动化测试详解

最近也有很多人私下问我&#xff0c;selenium学习难吗&#xff0c;基础入门的学习内容很多是3以前的版本资料&#xff0c;对于有基础的人来说&#xff0c;3到4的差别虽然有&#xff0c;但是不足以影响自己&#xff0c;但是对于没有学过的人来说&#xff0c;通过资料再到自己写的…

C++初阶--类型模板

文章目录 泛型编程函数模板使用通用加法函数多模板参数必须用实例化 函数模板的原理类模板使用 注意事项 泛型编程 先看一个例子&#xff1a; 这是一些对于Swap重载的函数&#xff0c;区别是类型不同&#xff1b; 虽然能够重载使用&#xff0c;但代码复用率比较低&#xff0c…

技术分享| anyRTC之RTN网络

RTN(Real-time Network)中文名&#xff1a;实时音视频传输网络。 RTN是最近几年由各大RTC的云厂商提出的一个全新架构的音视频实时传输网络概念。类似于直播的CDN网络&#xff0c;RTN是对音视频的实时性又强烈要求的场景而设计的&#xff0c;原理上全球端到端的时延通过RTN网络…

vue2【相关介绍】

目录 1&#xff1a;什么是单页面应用程序 2&#xff1a;什么是vue-cli 3&#xff1a;安装使用 4&#xff1a;vue项目的目录结构&#xff1a;​编辑 5&#xff1a;了解src目录的构成&#xff1a; 6&#xff1a;vue项目的运行流程 7&#xff1a;el&#xff1a;容器名称&…

01-了解微服务架构的演变过程和微服务技术栈

微服务 微服务架构演变 单体架构:将业务的所有功能集中在一个项目中开发最后打成一个包部署 优点: 架构简单, 部署成本低,适合小型项目缺点: 耦合度高, 升级维护困难 分布式架构:根据业务功能对系统做拆分,每个业务功能模块作为独立项目开发称为一个服务 优点: 降低服务耦合…

电脑显示msvcp140_1.dll丢失的5个常用解决方法,亲测可修复

常见于计算机操作中的"msvcp140_1.dll丢失"错误警示&#xff0c;往往令部分应用程序无法正常启动。为了解决这个问题&#xff0c;我们需要采取一些措施来修复丢失的文件。本文将介绍6个解决msvcp140_1.dll丢失的方法&#xff0c;帮助大家快速恢复计算机的正常运行。 …

SpatialFeaturePlot画图是空的

stmeta.datadplyr::left_join(stmeta.data,coor[,c(3,7:8)],by"barcodes") SpatialFeaturePlot(st,features "test",images "P02") 做了上述操作之后画出的图是空的 原因&#xff0c;left_join之后自动把stmeta.data的行名变成了1&#xff0…