大数据-47 Redis 缓存过期 淘汰删除策略 LRU LFU 基础概念

news2024/9/20 23:39:47

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (正在更新…)

章节内容

上一节我们完成了:

  • RDB的配置方式、触发方式
  • RDB的文件结构、优点、缺点
  • AOF的配置方式、触发方式
  • AOF的优点、缺点、瘦身方式
  • RDB + AOF 混合方式

在这里插入图片描述

Redis性能

官方数据是:

  • 读 110000次/s
  • 写 81000次/s
    长期使用,Key会不断地增加,Redis作为缓存使用,物理内存也会满。
    所以需要一个过期淘汰的策略

MaxMemory

不设置的情况:

  • Redis 的 Key 是固定的,不会增加。
  • Redis 作为 DB 使用,保证数据的完整性,不允许淘汰,可以做集群进行扩展。

淘汰策略:禁止驱逐(默认设置)

设置的情况

Redis 作为缓存使用,不断地增加Key,MaxMemory默认是0不进行限制。
在服务器上,保留1G给操作系统,剩下的就可以用作Redis的缓存。

通过修改 redis.conf 可以配置这个值:

maxmemory 1024mb
# 获取值
CONFIG GET maxmemory

设置MaxMemory后,当趋近于设置的值时,通过缓存的淘汰策略,就会从内存中删除

Expire

最常用的方式)在 Redis 中可以使用 expire 设置一个键的存活时间,过了这段时间,键会自动被删除

可以进行如下的测试:

./redis-cli
# 2秒失效
expire name 2 
get name
# 这种是永久有效
set name 123
ttl name

# 设置过期时间
expire name 10
ttl name 

删除策略

Redis 数据的删除有定时删除惰性删除主动删除 三种方式。’
Redis 目前采用的是:

  • 惰性删除
  • 主动删除

定时删除

在设置键的过期时间时,创建一个定时器,让定时器在指定时间时删除键。

惰性删除

在 key 被访问的时候发现过期了,就删除这条数据。

主动删除

我们打开 redis.conf 可以配置主动删除的策略:

# 默认是 no-enviction 不删除
maxmemory-policy allkeys-lru

主动删除: LRU

LRU(Least Recently Used)最近最少使用,算法根据数据的历史访问记录来进行淘汰数据。
其核心思想是:如果数据最近被访问过,那么将来被访问的概率也会更高

最常见的实现是使用一个链表来保存数据:

  • 新数据插入到链表头部
  • 每当缓存命中的时候,则将数据移动到链表的头部
  • 链表满了的时候,将链表尾部数据删除
  • 在Java中可以使用LinkedHashMap来实现LRU

Redis-LRU

在服务器中保存了 LRU 计数器:server.lrulock,会定时更新,这个值是根据 server.unixtime 来计算的。
LRU的数据淘汰机制是:在数据集中随机挑选几个值,取出其中LRU最大的淘汰掉。

  • volatile-lru:从设置过期时间的数据集中挑选最少使用的淘汰
  • allkeys-lru:从数据集中挑选最近最少使用的数据淘汰

LFU

LFU(Least Frequency used)最不经常使用,如果一个数据在最近一段时间内使用次数很少,那么将来一段时间内被使用的可能性也很小。

  • volatile-lfu 同LRU
  • allkeys-lfu 同LRU
  • volatile-random 从设置过期时间的数据集中随机淘汰数据
  • allkeys-random 从数据集中任意选择进行淘汰

TTL

  • volatile-ttl 从设置过期时间的数据里,选择快要过期的数据淘汰

noenviction

禁止驱逐数据,不淘汰数据(默认的)

淘汰策略选择

  • allkeys-lru 在不确定时一般采用的策略 冷热数据交换
  • volatile-lruallkeys-lru性能要差,因为要查过期时间
  • allkeys-random 希望请求符合平均分布(每个值被访问的概率差不多)
  • 自己控制 volatile-ttl

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1947435.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

试过可道云teamOS的权限管理,才知道团队协作可以这么顺

在快节奏的工作环境中,团队协作的顺畅与否往往决定了项目的成败。作为团队中的一员,我深知权限管理在团队协作中的重要性。 我们的团队在协作过程中总是被权限问题所困扰。文件共享、资料访问、任务分配……每一个环节都需要小心翼翼地处理权限设置&…

学术研讨 | 区块链与隐私计算领域专用硬件研讨会顺利召开

学术研讨 近日,国家区块链技术创新中心主办,长安链开源社区支持的“区块链与隐私计算领域专用硬件研讨会”顺利召开,会议围绕基于区块链与隐私计算的生成式AI上链、硬件加速、软硬协同等主题展开讨论,来自复旦大学、清华大学、北京…

主题公园- 海豹主题式风格餐厅设计【AIGC应用】

业务背景:海洋馆针对细分客群增设一个打卡主题点位,以海豹主题式餐厅为打卡卖点,效果参见海豹主题式风格。 AIGC概念图制作平台:(可灵) https://klingai.kuaishou.com/ 关键词: 海豹主题餐厅…

机器学习 | 回归算法原理——随机梯度下降法

Hi,大家好,我是半亩花海。接着上次的多重回归继续更新《白话机器学习的数学》这本书的学习笔记,在此分享随机梯度下降法这一回归算法原理。本章的回归算法原理还是基于《基于广告费预测点击量》项目,欢迎大家交流学习!…

Python 教程(二):语法与数据结构

目录 前言专栏列表语法特点实例代码基本数据类型变量命名规则赋值动态类型作用域示例代码 运算符list、set和dict 数据结构 区别1. list(列表)2. set(集合)3. dict(字典) 总结 前言 Python 是一种计算机编…

HarmonyOS实现跨语言交互(Node-API)

Node-API简介 通过Native接口,实现两种代码的交互。 是在Node.js提供的Node-API基础上扩展而来,但与Node.js中的Node-API不完全兼容。本质就是提供了对C/C代码的使用接口,使得两种代码共同工作。规范I/O、CPU密集型、OS底层等能力。 应用场景…

Python | Leetcode Python题解之第264题丑数II

题目: 题解: class Solution:def nthUglyNumber(self, n: int) -> int:dp [0] * (n 1)dp[1] 1p2 p3 p5 1for i in range(2, n 1):num2, num3, num5 dp[p2] * 2, dp[p3] * 3, dp[p5] * 5dp[i] min(num2, num3, num5)if dp[i] num2:p2 1if …

pytest的安装和介绍和 Exit Code 含义

pytest 准备工作(在cmd里): 1安装 pip install -U pytest2验证安装 pytest --version # 会展示当前已安装版本3其他的 显示可用的内置函数参数 pytest --fixtures通过命令行查看帮助信息及配置文件选项 pytest --help一、pytets框架中的…

Windows安装go语言开发环境

一、下载安装包 安装包下载地址 下载完毕后双击进行安装。 查看是否安装成功: go version #查看go版本 go env #查看go环境变量正常显示则安装完成。 二、安装vscode 一般开发go语言项目使用vscode工具: 下载地址 下载完毕后双击进行安装。 三…

FPGA开发——D触发器的设计

1、概述 锁存器和触发器有时组合在一起,因为它们都可以在其输出上存储一位(1或0)。与锁存器相比,触发器是需要时钟信号(Clk)的同步电路。D 触发器仅在时钟从0 到 1(上升沿)或 1 到 …

python—NumPy基础(3)

文章目录 算术函数算术函数的使用算术函数中out参数的使用mod()函数的使用 统计函数power()函数的使用median ()函数的使用mean ()函数的使用函数的使用 其他常用函数tile()和repeat()函数的使用roll()函数的使用resize()函数的使用replace()和put()函数的使savetxt()和loadtxt…

可视挖耳勺的正确使用方法:四款宝藏单品,等你来挑选!

现在很多人都关注自己的个护健康,越来越多人开始使用可视挖耳勺。传统挖耳勺很有可以清洁不干净,导致耳耵聍堆积在耳道深处,引起耳朵发炎甚至感染。可视挖耳勺可以在看见耳道内部的情况下精准挖出耳耵聍,一定程度上安全又有效。但…

git命令使用详细介绍

1 环境配置 设置的信息会保存在~/.gitconfig文件中 查看配置信息 git config --list git config user.name设置用户信息 git config --global user.name "有勇气的牛排" git config --global user.email “1809296387qq.com”2 获取Git仓库 2.1 本地初始化一个仓…

Apache压测工具ab(Apache Bench)工具的下载安装和使用示例

场景 Jmeter进行http接口压力测试: Jmeter进行http接口压力测试_接口压测两万量-CSDN博客 上面讲压测工具Jmeter的使用,下面介绍另外一个ab(Apache Bench)压测工具的使用。 apache bench apache bench是apache自带的压力测试工具。 ab不仅可以对ap…

HTML开发笔记:3.图形化开发软件与模版网站

一、Google Web Designer 下载网址:webdesigner.withgoogle.com(得挂梯子) 可以编辑文字 可以插入图片,快捷键是ctrlshiftI 右侧“大纲”属性中可以调节大小 可以点击右上角在浏览器中预览效果: 二、模版网站 https://…

前端学习3——自学习梳理

1.学习一下盒子模型(盒子就是元素&#xff0c;标签) 盒子模型又分为4种&#xff1a;块级&#xff0c;内联级&#xff0c;内联块级&#xff0c;弹性盒子 (弹性盒子续在下一节) 2.元素的结构 1.盒子模型 <!DOCTYPE html> <html lang"en"> <head>&l…

《Java初阶数据结构》----5.<二叉树的概念及使用>

前言 大家好&#xff0c;我目前在学习java。之前也学了一段时间&#xff0c;但是没有发布博客。时间过的真的很快。我会利用好这个暑假&#xff0c;来复习之前学过的内容&#xff0c;并整理好之前写过的博客进行发布。如果博客中有错误或者没有读懂的地方。热烈欢迎大家在评论区…

mysql定时备份

为什么写这篇文章 最近项目里面需要定时备份mysql的数据&#xff0c;网上找了下&#xff0c;找到了一些比较好的解决方案。但是发现有几个地方与自己不匹配&#xff0c;我期望有如下 备份过程不能锁表&#xff0c;网上很多都是会锁表备份定时任务无法执行&#xff0c;但是手动…

CTF ssrf 基础入门 (一)

0x01 引言 我发现我其实并不是很明白这个东西&#xff0c;有些微妙&#xff0c;而且记忆中也就记得Gopherus这个工具了&#xff0c;所以重新学习了一下&#xff0c;顺便记录一下吧 0x02 辨别 我们拿到一个题目&#xff0c;他的名字可能就是题目类型&#xff0c;但是也有可能…

STM32H7的MDMA、DMA2D和通用DMA性能比较

STM32H7的MDMA、DMA2D和通用DMA性能比较 MDMA测试初始化MDMA数据传输&#xff08;DWT单位2.5n&#xff09; DMA2DDMA2D初始化数据传输 DMA最终结论&#xff08;参考armfly&#xff09; MDMA&#xff0c;DMA2D 和每个都测试了四种情况&#xff1a; ◆ 64 位带宽的 AXI SRAM 内部…