redis的数据类型的增删改查

news2024/9/25 21:22:01
redis的高可用

在集群中有一个非常重要的指标,提供服务的时间的百分比(365天)99.9%

redis的高可用含义更加宽泛,正常服务是指标之一,数据容量的扩展,数据的安全性

在redis中实现高可用技术

持久化,主从,哨兵模式,cluster集群

持久化

持久化是最简单的高可用方法,主要作用是数据备份,也就是把redis缓存在内存当中的数据保存到本地的硬盘中(冷备份)

redis持久化的两种方式

1、RDB持久化:redis的内存中的数据定时保存到磁盘(自动执行,手动执行)

2、AOF持久化:redis的操作日志,已追加的方式写入一个AOF的文件,类似于mysql的binlog

RDB的持久化

指在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),用二进制压缩存储

保存的问加你的后缀.rdb ,redis启动时,可以直接读取快照文件,实现数据恢复

rdb的触发机制

手动机制:save bgsave都可以生成RDB文件

save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完成为止

save的数据流程图

在redis数据库中创建几个列表
 set test1 1 
 set test2 2
 set test3 3
save

进入备份文件目录
cd /var/lib/redis/6379
cp dump.rdb /opt

清空数据库
停服务
/etc/init.d/redis_6379 stop


把复制到opt目录下的dump.rdb复制到etc/init.conf/6379目录下

开启服务
/etc/init.d/redis_6379 start
刚刚创建数据库的文件,也恢复了

bgsave的数据流程

bgsave就是主从复制的机制

bgsave工作流程

主进程会通过fork机制创建一个子进程,子进程的创建过程中,主进程会阻塞,子进程创建完毕,主进程解除阻塞

子进程来创建RDB文件,创建完成之后,通知主进程更新通知信息

自动存储机制
vim /etc/redis/6379.conf
219行
save 900 1
900秒	当时间到900秒时,redis的数据至少发生了1次变化,就执行bgsave

save 300 10
300秒	当时间到300秒时,redis的数据至少发生了10次变化,就执行bgsave

save 60 10000
60秒	当时间到60秒时,redis的数据至少发生了10000次变化,就执行bgsave

数据变动越多,执行的时间要越短,数据变动不大,时间间隔

242行
rdbcompression yes
开启RDB的文件压缩功能,在高并发场景建议关闭

264行
dir /var/lib/redis/6379 
保存持久化文件目录

除了配置文件中的save m n之外

主从复制,从节点执行全量复制操作,直接点会执行bgsave,把rdb文件传送给从节点

关闭主进程,shutdown之后,会自动执行rdb的持久化

启动时加载

rdb文件被损坏,日志中会打印错误,redis会拒绝启动

redis-check-rdb 修复rdb的持久化文件

AOF持久化

AOF持久化是将redis的每一次读 写 删除命令纪录到一个单独的.aof为结尾的文件,查询操作由主进程纪录,当redis重启时,再次执行aof文件中的命令来恢复数据

AOF的实时性更好,也是主流的持久化方案

vim /etc/redis/6379.conf
700行
appendonly yes 
yes是开启持久化功能

appendfilename "appendonly.aof"

aof-load-truncated yes
用于判断AOF文件,如果被截断时的行为
yes:发现被截断(写入过程中出现异常,导致文件未能完全写入),redis会尽可能的恢复文件中的数据,redis会继续运行
no:发现AOF文件被截断,redis将拒绝启动
如果你对数据完整性的要求高 no
	   注重数据服务器的可用性 yes
aof备份和恢复
进入数据库并创建
set test1 1
set test2 2
set test3 3

删除库内容

关闭服务
/etc/init.d/redis_6379  stop

进入日志文件
vim /var/lib/redis/appendonly.aof

flushall上面*以下全部删除

在开启服务
/etc/init.conf/6379 start 
刚刚删除的文件,就会恢复

rdb是redis的默认持久化文件,但是一旦开启AOF持久化,那么redis会以AOF的持久化文件作为最高优先级

AOF的重写功能
为什么要重写?

随着时间增长,AOF文件当中的数据也会不断增加,AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致导致数据恢复的时间过长

什么叫重写?

文件重写是指定期的重写AOF文件,减少AOF文件的体积,AOF重写是吧redis进程内的数据,转化为写命令,同步到新的AOF文件当中(不会额外的生成一个新的文件,只是在原内容中进行压缩),不会对原有的AOF文件进行任何读、写的操作

特殊注意:文件重写虽然是AOF持久化强烈推荐的,但不是必须的,没有重写,并影响redis启动时读取数据,在实际中,会关闭自动的文件重写,通过定时任务来完成

AOF同步文件策略的三种方式
vim /etc/redis/6379.conf
729行

#appendfsync always
appendfsync everysec
#appendfsync no

appendfsync always  写入过程中,立刻调用redis系统的fsync操作写入到AOF文件,这次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命也会大大降低

appendfsync no	写入操作调用系统的write操作,不对AOF文件进行同步,操作系统来同步,同步周期30秒,文件同步的时间不可控,缓冲区堆积大量数据,数据的安全也无法保证

appendfsync everysec	命令写入,调用write操作,write操作结束后,线程会返回,FSYNC同步文件操作由专门的线程,每秒调用一次,这一个折中的策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置
重写的触发条件是什么?

1、手动触发

redis-cli bgrewriteaof 执行重写的命令

查看日志文件

手动触发的数据流程

对原有的数据,只是保留纪录 没有其他的操作

2、自动触发

vim /etc/redis/6379.conf
771行和772行
auto-aof-rewrite-percentage 100
文件的大小查过基准的百分比,默认值就是100,文件的超过两倍时,执行bgrewriteaof 设置为0 禁用自动触发

auto-aof-rewrite-min-size 64mb
文件大于基准值,才会进行重写,这个值是AOF文件执行重写的最小值,避免开启启动redis后,文件太小,然后频繁的进行重写
AOF重写为什么能够压缩文件

1、重写的过程中,过期的数据不会写入文件

2、无效的命令不在写入文件,数据被重复设置 例如 set test=1 set test=2 ,删除的语句也不会写入 set test 1 del test

3、会把多条命令合并成一个,sadd test1 v1 sadd test1 v2 sadd test1 v3 sadd test1 v1 v2 v3

重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也增加了(重写不是必须的,要根据需求而定,影响恢复数据快慢)

RDB和AOF之间的优缺点

RDB的优点 文件体积小,网络传输速度很快,适合全量复制,恢复速度也比AOF要快

缺点 做不到实时持久化,数据如此重要,不能够容忍丢失的,另外RDB需要满足特定的格式,兼容性很差,比如老版本的RDB不支持新版本(redis的版本一定要一致)5.0.7

AOF的优点 秒级持久化,兼容性好(文本格式保存的命令)

缺点 文件大,恢复速度慢,AOF持久化需要频繁的向磁盘写数据,磁盘的IO压力也很大,对redis主进程的性能也会有一定的影响

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1236475.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

11.21序列检测,状态机比较与代码,按键消抖原理

序列检测 用一个atemp存储之前的所有状态,即之前出现的七位 含无关项检测 要检测011XXX110 对于暂时变量的高位,位数越高就是越早出现的数字,因为新的数字存储在TEMP的最低位 不重叠序列检测 ,一组一组 011100 timescale 1ns…

从零开始学习typescript——数据类型

数据类型 以前我们用js编写代码的时候,都是直接使用let、var、const 来定义数据类型;js会在运行时来确定数据类型,但是在ts中,可以在声明时就可以指定数据类型。如果你学过其他编程语言,比如c、java就能更好的理解了。…

kolla 安装多节点openstack kolla部署openstack

Kolla 概述: Kolla是OpenStack下用于自动化部署的一个项目,它基于docker和ansible来实现,其中docker主要负责镜像制作和容器管理,ansible主要负责环境的部署和管理。Kolla实际上分为两部分:Kolla部分提供了生产环境级…

一种全新且灵活的 Prompt 对齐优化技术

并非所有人都熟知如何与 LLM 进行高效交流。 一种方案是,人向模型对齐。 于是有了 「Prompt工程师」这一岗位,专门撰写适配 LLM 的 Prompt,从而让模型能够更好地生成内容。 而另一种更为有效的方案则是,让模型向人对齐。 这也是…

迅为RK3568开发板学习之Linux驱动篇第十三期输入子系统

驱动视频全新升级,并持续更新~更全,思路更科学,入门更简单。 迅为基于iTOP-RK3568开发板进行讲解,本次更新内容为第十三期,主要讲解输入子系统,共计24 讲。 关注B站:北京迅为电子,在…

腾讯云代金券怎么领取(腾讯云代金券在哪领取)

腾讯云代金券是可抵扣费用的优惠券,领券之后新购、续费、升级腾讯云相关云产品可以直接抵扣订单金额,节省购买腾讯云的费用,本文将详细介绍腾讯云代金券的领取方法和使用教程。 一、腾讯云代金券领取 1、新用户代金券【点此领取】 2、老用户…

汽车智能座舱/智能驾驶SOC -2

第二篇(笔记)。 未来智能汽车电子电气将会是集中式架构(车载数据中心)虚拟化技术(提供车载数据中心灵活性和安全性)这个几乎是毋庸置疑的了。国际大厂也否纷纷布局超算芯片和车载数据中心平台。但是演进需…

从零开始学习typescript——变量

就像我们在学校学习语文、英文时候一样,最开始学习的是语法,要知道基础的结构。 图片中包含 变量、标识符、数据类型、运算符、字面量、表达式、控制语句等语法 变量 变量是使用给定的符号名在内存中申请存储地址,并且可以容纳某个值。 语…

人工智能的时代---AI的影响

人工智能(AI)是当前科技领域的一个热门话题,它正在以前所未有的速度改变着我们的生活方式和工作方式。从智能家居到自动驾驶,从智能医疗到智能金融,人工智能正在渗透到我们生活的方方面面。在这篇文章中,我…

如何在3dMax中使用Python按类型选择对象?

如何在3dMax中使用Python按类型选择对象? 3dMax提供了pymxs API,这是MAXScript的Python包装器,可帮助您扩展和自定义3dMax,并更轻松地将其集成到基于Python的管道中。 pymxs模块包含一个运行时成员,该成员提供对MAXSc…

Android HAL学习 及 与BSP的区别

Android HAL学习 及 与BSP的区别 参考链接: 1、https://www.cnblogs.com/looner/articles/11579335.html 2、https://blog.csdn.net/leesan0802/article/details/124087630 3、https://zhuanlan.zhihu.com/p/336531442 在HAL的学习之前,我们来先了解…

909-2015-T2

文章目录 1.原题2.算法思想3.关键代码4.完整代码5.运行结果 1.原题 编写算法,删除二叉搜索树(二叉排序树)的最小元素。叙述算法思想并给出算法实现,分析算法复杂性。二叉树采用链式存储结构,节点结构如下:…

利用逻辑过期解决缓存击穿问题

需求:修改根据id查询商铺的业务,基于逻辑过期方式来解决缓存击穿问题 思路分析:当用户开始查询redis时,判断是否命中,如果没有命中则直接返回空数据,不查询数据库,而一旦命中后,将v…

实验(四):指令部件实验

一、实验内容与目的 实验要求: 利用CP226实验仪上的小键盘将程序输入主存储器EM,通过指令的执行实现微程序控制器的程序控制。 实验目的: 1.掌握模型机的操作码测试过程; 2.掌握模型机微程序控制器的基本结构以及程序控制的基本原…

GDB Debugging Notes

1 Debugging programs using gdb 1.1 gdb简介 gdb是一个功能强大的调试工具,可以用来调试C程序或C程序。在使用这个工具进行程序调试时,主要涉及下面几个方面的操作: 启动程序:在启动程序时,可以设置程序运行环境。设置断点:程序…

Linux socket编程(5):三次握手和四次挥手分析和SIGPIPE信号的处理

在我之前写的Wireshark抓包:理解TCP三次握手和四次挥手过程中,通过抓包分析了TCP传输的三次握手和四次挥手的过程。在这一节中,将分析在Linux中的三次握手和四次挥手的状态和过程,另外还有一个在我们编程过程中值得注意的SIGPIPE信…

水果音乐制作软件FL Studio21.2中文版新功能介绍

FL Studio21.2中文版,一般又称水果音乐制作软件。 FL Studio 21.2简称FL,全称FruityLoopsStudio,因此国人习惯叫它"水果"。它让你的计算机就像是全功能的录音室,大混音盘,非常先进的制作工具,让…

ZYNQ_project:lcd_pic_400x400

在lcd液晶屏上显示400x400像素的图片, 像素信息通过电脑的串口调试助手,发送给fpga,存储在例化的双端口ram中, 在要显示图像区域,读取ram中的像素信息。 模块框图: 时序图: 代码:…

代码随想录刷题】Day16 二叉树03

文章目录 1.【104】二叉树的最大深度(优先掌握递归)1.1 前言1.2 题目描述1.3 递归法java代码实现1.4 迭代法java代码实现1.5 相关练习题【559】N叉树的最大深度 2.【111】二叉树的最小深度(优先掌握递归)2.1 题目描述2.2 递归法ja…

新建模板,或组件自适应

1,***一定要改为固定布局(才可以自适应) 2, 3, 4,系统序号“1”就是第一根柱 5,系列-自动-配色这里1就是第一根柱颜色,2..... 6,坐标柱 标红的去掉,在那里设…