Redis核心技术与实战【学习笔记】 - 15.Redis 缓存的淘汰策略

news2024/7/6 19:50:17

前言

Redis 缓存使用内存来保存数据,避免业务应用直接从数据库读取数据,可以提升应用的访问速度。但是,我们又没有办法做到把所有的数据都放入缓存,因为这样做的性价比不高,而且缓存也存不下数据库中的所有数据。

例如,Mysql 中有 1TB 的数据,如果使用 Redis 把这些数据都缓存起来,虽然应用都能在内存中访问数据了,但是这样配置并不合理,因为性价比低。一方面内存的价格比磁盘的价格贵很多。另一方面,数据访问都是有局部性的,也就是“二八原理”,80% 的请求实际只访问了 20% 的数据。所以,用 1TB 的内存做缓存,并没有必要。

所以,缓存的容量必然小于数据库的总量。有限的缓存空间也不可避免的会被写满。此时就要涉及到缓存系统的一个重要机制了,即缓存数据的淘汰机制。淘汰机制分为两步:

  1. 根据一定的策略,选出对应用访问来说“不重要”的数据;
  2. 将这些数据从缓存中删除,为新来的数据腾出空间;

缓存满了之后的数据淘汰机制,也叫作缓存替换机制。了解缓存淘汰机制和相应的策略,才可以选择合理的 Redis 配置,提高缓存命中率,提升应用的访问性能。

在学习淘汰策略之前,我们首先要知道设置缓存容量的依据和方法。毕竟,在实际使用缓存时,我们需要决定用多大的空间来缓存数据。


1.设置多大的缓存合适

缓存容量设置的是否合理,会直接影响到使用缓存的性价比。我们通常希望以最小的代价去获得最大的收益,所以,把昂贵的内存资源用在关键的地方就非常重要了。

实际应用中的数据访问是有局部性的。如果按照“二八原理”来设置缓存空间容量,也就是把缓存空间容量设置为总数据量的 20% ,就有可能拦截到 80% 的访问。

为什么说是“有可能”呢?这是因为,“八二原理”是对大量实际应用的数据访问情况做了统计后,得出的一个统计学意义上的数据量和访问量的比例。具体到一个应用来说,数据访问的规律会和具体的业务场景有关。对于最常被访问的 20% 的数据来说,它们贡献的访问量,既有可能超过 80%,也有可能达不到 80%。

在商品促销时,热门商品的信息可能只占到总商品数量的 5%,而这些商品信息承载可能超过 90% 的访问请求。这时,我们只要缓存这 5% 的数据,就能获得很好的性能收益。
另一方面,如果业务应用要对所有商品信息进行查询统计,这时候,即使按照“八二原理”缓存了 20% 的商品数据,也不能获得很好的访问性能,因为 80% 的数据仍然需要从后端数据库中获取。

正式因为 20% 的数据不一定能贡献 80% 的访问量,我们不能简单地按照“总数据量的 20%”来设置缓存最大空间容量。在实践过程中,我看到过的缓存容量占总数量的比例,从 5% 到 40% 的都有。这个容量规划不能一概而论,需要结合应用数据实际访问特征成本开销来综合考虑的。

系统的设计选择是一个权衡的过程:大容量缓存是能带来性能加速的收益,但是成本也会更高,而小容量缓存不一定就起不到加速访问的效果。一般来说,我会建议把缓存容量设置为总数据量的 15% 到 30%,兼顾访问性能和内存空间开销

对于 Redis 来说,一旦确定了缓存最大容量,比如 4GB,你可以使用下面这个命令来设定缓存的大小了:

127.0.0.1:6379> config set maxmemory 4gb
OK

不过,缓存被写满是不可避免的。即使你精挑细选,确定了缓存容量,还是要面对缓存写满时的替换操作。缓存替换需要解决两个问题:决定淘汰哪些数据,如何处理哪些被淘汰的数据。

2.Redis 缓存的淘汰策略

Redis 4.0 之前一共实现了 6 种内存淘汰策略,在 4.0 之后,又增加了 2 种策略。我们可以按照是否会进行数据淘汰把他们分成两类:

  • 不进行数据淘汰策略,只有 noeviction 这一种。
  • 会进行淘汰的 7 种其他策略。

会进行淘汰的 7 种策略,我们可以再进一步根据淘汰候选数据集的范围,把它们分成两类:

  • 在设置了过期时间的数据中进行淘汰,包括 volatile-randomvolatile-ttlvolatile-lruvolatile-lfu(Redis 4.0 后新增)
  • 在所有数据范围内进行淘汰,包括 allkeys-randomallkeys-lruallkeys-lfu(Redis 4.0 后新增)

在这里插入图片描述

默认情况下,Redis 在使用的内存空间超过 maxmemory 值时,并不会淘汰数据,也就是设定的设定的 noeviction 策略。也就是指,一旦缓存被写满了,再有些请求来是,Redis 不在提供服务,而是直接返回错误

再来分析下 volatile-randomvolatile-ttlvolatilr-lruvolatile-lfu 这四种淘汰策略。它们只会淘汰 已经设置了过期时间的键值对 上。即使缓存没有写满,这些数据过期了,也会被删除。

例如,使用 EXPIRE 命令对一批键值对设置了过期时间后,无论这些键值对过期时间是快到了,还是 Redis 的内存使用量达到了 maxmemory 阈值,Redis 都会按照 volatile-randomvolatile-ttlvolatilr-lruvolatile-lfu 这四种淘汰策略进行淘汰。

  • volatile-random 在设置了过期时间的键值对中,进行随机删除。
  • volatile-ttl 针对设置了过期时间的键值对,根据时间先后顺序进行删除,越早过期的越先被淘汰。
  • volatile-lru 会使用 LRU 算法筛选设置了过期时间的键值对。
  • volatile-lfu会使用 LFU 算法筛选设置了过期时间的键值对。

volatile-randomvolatile-ttl 的淘汰规则比较简单,而 volatilr-lru 涉及了 LRU 算法,会在稍后的 allkeys-lru 进行解释。volatilr-lfu 使用了 LFU 算法,我们会在后续的 Redis 缓存污染章节进行解释。现在,你只要知道, LFU 算法是在 LRU 算法的基础上,同时考虑了数据的访问时效和数据的访问次数,可以看作是对淘汰策略的优化。

allkeys-randomallkeys-lruallkeys-lfu 是在所有键值对中进行淘汰,无论这些键值对是否设置了过期时间。

  • allkeys-random ,从所有键值对中随机选择并删除数据
  • allkeys-lru,使用 LRU 算法在所有键值对中进行筛选
  • allkeys-lfu,使用 LFU 算法在所有键值对中进行筛选

接下来,一起看看 volatile-lruallkeys-lru 策略都用到的 LRU 算法。

LRU 算法的全称是 Least Recently Used,即按照最近最少使用的原则来淘汰数据。把最不常用的数据筛选出来,而最近频繁使用的数据则会留在缓存中。

LRU 是如何筛选数据的呢?

LRU 会把所有的数据组织成一个链表,链表的头和尾分别表示 MRU 端LRU 端,分别代表最近常使用的数据和最近不常用的数据。我们看一个例子:

在这里插入图片描述
我们现在有数据 【6、3、9、20、5】。如果 20 和 3 被先后访问,它们都会从现有的链表位置移到 MRU端,而在它之前的数据则相应地往后移动一位。因为,LRU 算法选择删除数据时,都是从 LRU 端开始,所以把刚刚访问过的数据移到 MRU 端,就可以让它们尽可能地留在缓存中。

如果一个新数据 15 要被写入缓存,但此时已经没有缓存空间了,也就是链表没有空余位置了,那么 LRU 算法做两件事:

  1. 数据 15 是被刚被访问的,所以它会被放到 MRU 端
  2. 算法把 LRU 端的数据 5 从缓存中删除

其实,LRU 算法背后的原理很朴实:它仍为刚刚被访问的数据,肯定还会被再次访问,所以把它放到 MRU 端;长久不访问的数据,肯定不会再被访问,所以就让它逐渐后移到 LRU 端,在缓存满时,就先删除它。

不过,LRU 算法在实际实现时,需要用链表管理所有的缓存数据,这会带来额外的空间开销。而且,当有数据被访问时,需要在链表上把数据移动到 MRU 端,如果有大量的数据被访问,就会带来很多链表移动操作,会耗时,进而降低 Redis 缓存性能。

在 Redis 中,LRU 算法被做了简化,以减轻数据淘汰对缓存性能的影响。具体来说,Redis 默认会记录每个数据最近一次访问的时间戳(由键值对数据结构 RedisObject 中的 lru 字段记录)。然后,Redis 在决定淘汰数据时,第一次会随机选出 N 个数据,把它们作为一个候选集合。接下来,Redis 会比较这 N 个数据的 lru 字段,把 lru 字段值最小的数据从缓存中淘汰出去。

Redis 提供了一个配置参数 maxmemory-samples,这个参数就是 Redis 选出的数据个数 N。例如,执行下面命令,可以让 Redis 选出 100 个数据作为候选数据集:

CONFIG SET maxmemory-samples 100

当需要再次淘汰数据时,Redis 需要挑选数据进入第一次淘汰时创建的候选集合。挑选标准是:能进入候选集的数据的 lru 字段值必须小于候选集合中最小的 lru 值。当有新数据进入候选数据集后,如果候选数据集中的数据个数达到了 maxmemory-samples,Redis 就把候选数据集中 lru 字段值最小的数据淘汰出去。

这样一来,Redis 缓存不用为所有数据维护一个大表,也不用在每次数据访问时都移动链表项,提升了缓存的性能。

这里总结了三个淘汰策略的使用建议:

  • 优先使用 allkeys-lru 策略。这样充分利用 LRU 这一经典算法的优势,把最近最常访问的数据留在缓存中,提升应用的访问性能。如果你的业务数据中有明显的冷热数据区分,我建议你使用 allkeys-lru 策略。
  • 如果业务应用中的数据访问频率相差不大,没有明显的冷热数据区分,建议使用 allkeys-random 策略,随机选择淘汰的数据就行。
  • 如果你的业务中有置顶的需求,比如说置顶新文、置顶视频,那么,可以使用 volatile-lru 策略,同时不给这些置顶数据设置过期时间。这样一来,这些需要置顶的数据一致不会被删除,而其他的数据会在过期时根据 LRU 规则进行筛选。

3.如何处理被淘汰的数据

一般来说,一旦被淘汰的数据选定后,如果这个数据是干净数据,那么我们就直接删除;如果是脏数据,我们需要把它写回数据库,如下所示:
在这里插入图片描述
干净数据和脏数据的区别在于,和最初后后端数据库例读取时的值相比,有没有被修改过。干净数据是没有被修改过,所以后端数据库的数据也是最新的。在替换时,它可以被直接删除。

而脏数据就是被修改过的,已经和数据库中的数据不一致了。此时,如果不把脏数据写回到数据中,这个数据的最新值就丢失了,就会影响应于的正常使用。

这么一来,缓存替换既腾出了缓存空间,用来缓存新的数据,同时,将脏数据写回数据库,也保证了最新数据不会丢失。

不过,对于 Redis 来说,它决定了被淘汰的数据后,会把它们删除。即使淘汰的数据是脏数据,Redis 也不会把它们写回数据库。所以,我们在使用 Redis 缓存时,如果数据被修改了,需要在数据修改时就将它写回数据库。否则,这个脏数据被淘汰时,会被 Redis 删除,而数据库里也没有最新的数据了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1428609.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《Pandas 简易速速上手小册》第8章:Pandas 高级数据分析技巧(2024 最新版)

文章目录 8.1 使用 apply 和 map 函数8.1.1 基础知识8.1.2 重点案例:客户数据清洗和转换8.1.3 拓展案例一:产品评分调整8.1.4 拓展案例二:地址格式化 8.2 性能优化技巧8.2.1 基础知识8.2.2 重点案例:大型销售数据分析8.2.3 拓展案…

Echarts+Vue 首页大屏静态示例Demo 第三版

效果图: 源码: <template><div class="content bg" style="height: 100vh;overflow-y: auto" :class="{ fullscreen-container: isFullScreen }"><div class="reaDiv" style="height: 10vh"><div…

【华为】GRE VPN 实验配置

【华为】GRE VPN 实验配置 前言报文格式 实验需求配置思路配置拓扑GRE配置步骤R1基础配置GRE 配置 ISP_R2基础配置 R3基础配置GRE 配置 PCPC1PC2 抓包检查OSPF建立GRE隧道建立 配置文档 前言 VPN &#xff1a;&#xff08;Virtual Private Network&#xff09;&#xff0c;即“…

国产飞腾ARM+FPGA电力行业 DCS 联合解决方案

联合解决方案概述 在火电的发展过程中&#xff0c;随着社会对电力资源需求越来越高&#xff0c;以往较为粗放式的发电已经行不通了&#xff0c;需要 更精细化的发电&#xff0c;以达到资源的最大利用。而这种控制都需要靠自动化技术来实现&#xff0c;单纯的人工是达不到这种 …

从第一性原理看大模型Agent技术

引 一个乐观主义者的悲观估计 随着大规模模型技术的兴起&#xff0c;我们正处于一个崭新的智能时代的黎明。我们有一个大胆的预测&#xff0c;未来的5到10年将可能带来一场大变局&#xff1a;99%的开发、设计和文字工作将被AI接管。这不仅仅是一个想象&#xff0c;而是对未来可…

算法学习——华为机考题库2(HJ11 - HJ20)

算法学习——华为机考题库2&#xff08;HJ11 - HJ20&#xff09; HJ11 数字颠倒 描述 输入一个整数&#xff0c;将这个整数以字符串的形式逆序输出 程序不考虑负数的情况&#xff0c;若数字含有0&#xff0c;则逆序形式也含有0&#xff0c;如输入为100&#xff0c;则输出为0…

政安晨的AI笔记——示例演绎OpenAI的ChatGPT与DALL·E提示词总原则(并融合创作一副敦煌飞天仙女图)

ChatGPT是由OpenAI开发的一种基于大规模预训练的语言生成模型。它建立在GPT&#xff08;Generative Pre-trained Transformer&#xff09;模型的基础上&#xff0c;通过大量的无监督学习和生成式任务训练来学习语言的概念和模式。 ChatGPT的原理是基于Transformer模型。Transfo…

java处理ppt方案详解

需求 需要系统中展示的ppt案例有一个动态展示的效果&#xff0c;也就是要有动画的交互&#xff0c;要求支持浏览器直接打开预览 背景 目前已经实现了前端上传pptx文件&#xff0c;后端解析为png的图片&#xff0c;前端掉接口返回对应的图片&#xff0c;模拟播放ppt的效果 各种尝…

Kafka_03_Consumer详解

Kafka_03_Consumer详解 Consumer消费消息订阅/拉取ConsumerRecord 消费位移位移提交位移消费 实现原理RebalanceConsumerInterceptorDeSerializer 多线程消费消费线程处理线程 Consumer Consumer(消费者): 从Partition拉取并消费消息(非线程安全) Topic的Partition在每个消费…

最新!2024顶级SCI优化!TTAO-CNN-BiGRU-MSA三角拓扑聚合优化、双向GRU融合注意力的多变量回归预测程序!

适用平台&#xff1a;Matlab 2023版及以上 TTOA三角聚合优化算法&#xff0c;将在2024年3月正式发表在中科院1区顶级SCI期刊《Expert Systems with Applications》上。 该算法提出时间极短&#xff0c;目前以及近期内不会有套用这个算法的文献。新年伊始&#xff0c;尽快拿下…

备战蓝桥杯---数据结构与STL应用(入门1)

话不多说&#xff0c;直接看题&#xff1a; 下面为分析&#xff1a;显然&#xff0c;我们要先合并最小的两堆&#xff08;因为他们在后边也得被计算&#xff0c;换句话&#xff0c;我们独立的看&#xff0c;某一堆的体力值为他自己重量*从现在到最后的次数&#xff09; 因此&a…

JAVA Web 学习(三)Web服务架构

五、软件架构模式——MVC MVC是一种 分层开发的模式 &#xff0c;其中&#xff1a;M-Model&#xff0c;业务模型&#xff0c;处理业务&#xff1b;V&#xff1a;View&#xff0c;视图&#xff0c;界面展示&#xff1b;C&#xff1a;Controller&#xff0c;控制器&#xff0c;处…

vulhub靶机activemq环境下的CVE-2015-5254(ActiveMQ 反序列化漏洞)

影响范围 Apache ActiveMQ 5.x ~ Apache ActiveMQ 5.13.0 远程攻击者可以制作一个特殊的序列化 Java 消息服务 (JMS) ObjectMessage 对象&#xff0c;利用该漏洞执行任意代码。 漏洞搭建 没有特殊要求&#xff0c;请看 (3条消息) vulhub搭建方法_himobrinehacken的博客-CSD…

柔性电流探头方向判断有哪些方法?干货分享!

柔性电流探头方向判断的方法干货分享&#xff01;从理论到实践&#xff0c;助您成为专业人士&#xff01;干货收藏&#xff0c;快看起来吧&#xff01;      柔性电流探头方向判断一直是电力行业测试中的关键问题之一&#xff0c;确切地判断电流方向对于测试电力系统的稳定…

分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别

分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别 目录 分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现G…

jsp 产品维修管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 产品维修管理系统是一套完善的java web信息管理系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为 TOMCAT7.0,Myeclipse8.5开发&#xff0c;数据库为Mysql5.…

追觅科技发布全折叠高速吹风机Pocket

2月2日&#xff0c;追觅科技召开2024新品发布会&#xff0c;一系列年度新品亮相。现场&#xff0c;追觅科技发布了个护重磅新品——追觅Pocket折叠高速吹风机&#xff0c;这也是行业首个全折叠高速吹风机。 创新柔性折叠技术&#xff0c;直卷吹一机全能 追觅Pocket折叠高速吹风…

体育馆运动场地预定小程序的独特优势与用户体验

随着人们健康意识的提高&#xff0c;体育馆成为了大家进行锻炼和运动的重要场所。为了更好地满足用户的需求&#xff0c;体育馆需要开发一款预定场地的小程序&#xff0c;为用户提供便捷、高效的预定服务。本文将介绍如何使用乔拓云平台开发体育馆运动场地预定小程序&#xff0…

如何评价 Linux 中国停止运营?

如何评价 Linux 中国停止运营&#xff1f; 在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「Linux的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&…

MySQL之谈谈MySQL里的日志

文章目录 前言一、SQL是如何做更新操作的二、MySQL中的redo log三、MySQL中的binlog四、聊聊两阶段提交总结 前言 上一章我们讲了一条SQL是如何做查询的&#xff0c;其中经历了许多步骤。这次来讲讲一条SQL是如何做更新操作的。 常有大佬说他可以把MySQL恢复到半个月内任意一秒…