一文读懂 Redis 缓存系统

news2025/2/24 10:27:59

【摘要】本文介绍了Redis缓存原理、详细解析了缓存模型、缓存一致性和缓存异常场景。

【作者】李杰,专注于Java虚拟机技术、云原生技术领域的探索与研究。

尽管(关系型)数据库系统 (SQL) 带来了许多出色的属性,例如 ACID,但为了保持这些属性,数据库的性能在“ 3 高” 条件环境下下往往显得捉襟见肘、苍白无力 。

为了解决这个问题,我们往往需要在应用层(即处理业务逻辑的后端代码)和存储层(即 SQL 数据库)之间增加一个缓存层。该缓存层通常使用内存缓存来实现,毕竟,传统 SQL 数据库的性能瓶颈通常发生在二级存储(即硬盘)的 I/O 层面。随着主内存 (RAM) 的价格在过去十年中下降,故将(至少部分)数据存储在主内存中以提高性能便是一种性价比较高的解决方案。基于当前的技术发展现状,Redis 便成为当下一种较为流行的选择。

图片

当然,大多数系统只将所谓的“热数据”存储在缓存层(即主内存)中。基于帕累托原理(也称为 80/20 法则),对于大多数事件,大约 80% 的影响来自 20% 的原因。为了节省成本,我们只需要将这 20% 存储在缓存层中。为了识别“热数据”,我们可以指定驱逐策略(例如 LFU 或 LRU )来确定哪些数据将过期。

图片

缓存概述

缓存是一种“预热”技术,用于将经常访问的数据存储在临时存储器(称为缓存)中,以减少硬盘驱动器的读/写。缓存无处不在,基于此技术可以大大地提高 Web 应用程序的性能。

通常,在最初的单体架构模型,当用户向我们的服务发送一个消息请求时,Web 服务器首先会读取或写入数据库再返回响应。在缓存的情况下,服务器首先检查缓存副本是否存在,如果存在则从缓存返回数据而不是询问数据库。它节省了时间和数据库的计算工作量。

下面简要介绍一下应用程序如何请求 Redis ,此处主要基于 Master-Slave-Sentinel 模式的集群,App 通过调用 Redis Client ,例如,Jedis、Lettuce 及 Redisson 等来与 Redis Sentinel 通信,当 Redis Master 切换至 Slave 时,Application 依旧能够正常工作,如下为详细的时序图:

图片

缓存模型

在分布式系统中,基于 CAP 定理指导,根据业务需求和上下文选择这些策略,通常可将其划分为常规模式和 Cache-Aside 模式。在开始之前,让我们通过刷新缓存的方式来了解常用的缓存模式,具体如下所 示:

图片

写模型

1、Write Through:即“直写”。此模型为同步写入数据库后再缓存。这是安全的,因为它首先写入数据库,但比后写慢。与写无效相比,它为先写后读场景提供了更好的性能。在这种写入策略中,数据首先写入缓存,然后写入数据库。缓存与数据库串联,写入总是通过缓存到主数据库。

图片

直写模式的算法是:

1)对于不可变操作(读取):

此策略不处理不可变操作。它应该与通读模式相结合。

2)对于可变操作(创建、更新、删除):

客户端只需要在 Redis 中创建、更新或删除条目。缓存层必须以原子方式将此更改同步到 MySQL。

直写模式的缺点也很明显。首先,许多缓存层本身并不支持这一点。其次,Redis 是缓存而不是 RDBMS。它的设计并非具有弹性。因此,更改在复制到 MySQL 之前可能会丢失。即使 Redis 现在已经支持 RDB 和 AOF 等持久化技术,但仍然不推荐这种方式。

就其本身而言,直写缓存似乎没有太大作用,实际上,它们会引入额外的写入延迟,因为数据先写入缓存,然后再写入主数据库。但是当与通读缓存配对时,我们可以获得通读的所有好处,并且我们还可以获得数据一致性保证,使我们免于使用缓存失效技术。

DynamoDB Accelerator (DAX) 是读取/写入缓存的一个很好的例子。它与 DynamoDB 和应用程序内联。可以通过 DAX 对 DynamoDB 进行读取和写入。

2、Write Behind:即“后写或回写”。基于此策略 ,应用程序将数据写入缓存,缓存会立即确认,并在延迟一段时间后将数据写回数据库 。这对于写入速度非常快,如果将同一键上的多个写入合并为一次对数据库的写入,则速度会更快。但是数据库长时间与缓存不一致,如果在数据刷新到数据库之前进程崩溃,可能会丢失数据。RAID 卡是这种模式的一个很好的例子,为了避免数据丢失,通常需要 RAID 卡上的电池备份单元将数据保存在缓存中,但尚未登陆到磁盘。

图片

Write Behind 模式的算法是:

1)对于不可变操作(读取):

此策略不处理不可变操作。它应该与通读模式相结合。

2)对于可变操作(创建、更新、删除):

客户端只需要在 Redis 中创建、更新或删除条目。缓存层将更改保存到消息队列中并向客户端返回成功。更改会异步复制到 MySQL,并且可能在 Redis 向客户端发送成功响应后发生。

后写模式与直写不同,因为它异步地将更改复制到 MySQL。它提高了吞吐量,因为客户端不必等待复制发生。具有高持久性的消息队列可能是一种可能的实现。Redis 流(自 Redis 5.0 起受支持)可能是一个不错的选择。为了进一步提高性能,可以结合更改并批量更新 MySQL(以节省查询次数)。

Write Behind 模式的缺点是相似的。首先,许多缓存层本身并不支持这一点。其次,使用的消息队列必须是 FIFO(先进先出)。否则,对 MySQL 的更新可能会乱序,因此最终结果可能不正确。

回写缓存提高了写入性能,适用于写入繁重的工作负载。与通读结合使用时,它适用于混合工作负载,其中最近更新和访问的数据始终在缓存中可用。

它对数据库故障具有弹性,并且可以容忍一些数据库停机时间。如果支持批处理或合并,它可以减少对数据库的总体写入,从而减少负载并降低成本,如果数据库提供程序按请求数量收费,例如动态数据库。请记住,DAX 是直写的,因此如果应用程序写入繁重,则不会看到任何成本降低。

一些开发人员将 Redis 用于缓存和回写,以更好地吸收峰值负载期间的峰值。主要缺点是如果缓存失败,数据可能会永久丢失。

大多数关系数据库存储引擎(即 InnoDB)在其内部默认启用回写缓存。查询首先写入内存并最终刷新到磁盘。

3、Write invalidate:类似于直写,先写入数据库,然后使缓存无效。在并发更新的情况下,这简化了缓存和数据库之间的一致性处理。我们不需要复杂的同步,权衡是命中率较低,因为我们总是使缓存无效并且下一次读取将始终未命中。

读模型

Read Through:即“ 通读 ”。当读取未命中时,需要从数据库中加载并保存到缓存中。这种模式的主要问题是基于某些特定的场景有时需要预热缓存。通读缓存与数据库保持一致。当缓存未命中时,它会从数据库中加载丢失的数据,填充缓存并将其返回给应用程序。

图片

通读模式的算法是:

1、对于不可变操作(读取):

客户端将始终简单地从缓存中读取。缓存命中或缓存未命中对客户端是透明的。如果是缓存未命中,缓存应该具有自动从数据库中获取的能力。

2、对于可变操作(创建、更新、删除):

此策略不处理可变操作。它应该与直写(或后写)模式结合使用。

通读模式的一个主要缺点是许多缓存层可能不支持它。例如,Redis 将无法自动从 MySQL 获取(除非为 Redis 编写插件)。

Cache-Aside 和 Read-Through 策略都是延迟加载数据,即仅在第一次读取时加载。其适用 用例场景如下所示:

虽然 Read- Through 和 Cache-Aside 非常相似,但至少有两个关键区别:

在缓存侧,应用程序负责从数据库中获取数据并填充缓存。在通读中,此逻辑通常由库或独立缓存提供程序支持。

与 Cache-Aside 不同,Read-Through Cache 中的数据模型不能与数据库的数据模型不同。

当多次请求相同的数据时,通读缓存最适合读取繁重的工作负载。例如,一个新闻故事。缺点是当第一次请求数据时,总是会导致缓存未命中,并招致将数据加载到缓存中的额外惩罚。开发人员通过手动发出查询来“加热”或“预热”缓存来处理这个问题。就像 cache-aside 一样,缓存和数据库之间的数据也有可能不一致,解决方法在于写入策略,我们将在下面看到。

不读或不写模型

Refresh ahead:预测热点数据并自动刷新数据库中的缓存,永不阻塞读取,最适合小型只读数据集,例如邮政编码列表缓存,我们可以定期刷新整个缓存,因为它很小并且是只读的。如果能够可以准确地预测最常读取哪些键,那么,还可以在此模式中预热这些键。最后,如果数据在系统之外更新而系统无法收到通知,可能必须使用此模式。

在大多数场景下,我们通常使用通读和直写/后写/写无效等模型。针对 Refresh-ahead 模型,其可以单独使用,也可以作为一种优化来预测和预热读取以进行通读。由谁负责缓存维护,调用者或专用层有两种实现模式。

1、Cache-Facade:缓存层是一个库或服务委托写入数据库,我们只与缓存层交谈。然后数据库对我们的应用程序是透明的。缓存层可以处理一致性和故障转移。例如,许多数据库都有自己的缓存,这是缓存外观的一个很好的例子。我们还可以编写一些进程内 DAO 层来读取/写入具有嵌入式缓存层的实体,从调用者的角度来看,这个小层也是一个缓存门面。

2、Cache-Aside:我们的应用程序保持缓存一致性,这意味着应用程序代码更复杂,但这提供了更大的灵活性。例如,像数据库查询缓存这样的缓存外观模式只能缓存行,如果想缓存带有行的 Java POJO 或 Kotlin 数据类,则将缓存放在一边要容易得多。但是它仍然可以使用缓存门面,例如,将 Spring 缓存作为门面库来缓存 POJO,并在后台自动处理数据库中的 POJO。

当缓存不支持原生的读通和写通操作,并且资源需求不可预测时,我们使用这种缓存侧模式。

1)读取:尝试命中缓存。如果没有命中,则从数据库中读取,然后更新缓存。

2)写入:先写入数据库,然后删除缓存条目。这里一个常见的陷阱是人们错误地用值更新了缓存,高并发环境下的双写会使缓存变脏。

在这种模式下,仍然有可能出现脏缓存。在满足这两种情况时会发生上述情况:读取数据库并更新缓存、 更新数据库并删除缓存。

缓存一致性

图片

缓存一致性模型(参考)图

如何保障缓存(Redis)与 数据存储(数据库)之间的数据一致性,通常 有多种 设计实现策略,本文重点针对 Cache Aside Pattern(旁路缓存模式) 进行简要解析,此模型也是在实际的业务场景中使用较为广泛的。具体如下。

在 Cache Aside Pattern 模型中,通常写请求场景基本流程主要为:先更新 DB,然后直接删除 Cache 。

在业务场景实现中,如果更新数据库成功,而进行缓存删除操作时出现失败的情况下,简单地说,通常主要有以下两个解决方案:

1、缩短 Cache 失效时间:我们让缓存数据的过期时间变短,这样的话缓存就会从数据库中加载数据。另外,这种解决办法对于先操作缓存后操作数据库的场景不适用。此方案在实际的业务场景中通常 不推荐,本质上治标不治本。

2、增加 Cache 更新重试机制:如果 Cache 服务当前不可用导致缓存删除失败的话,我们就隔一段时间进行重试,重试次数可以自己定。如果多次重试还是失败的话,我们可以把当前更新失败的 Key 存入队列中,等缓存服务可用之后,再将缓存中对应的 Key 删除即可。可考虑使用消息队列。此方案算是一种 常用的解决策略,能够满足绝大多数业务场景需要。

其实,从本质上而言,缓存方案的规划设计往往依赖于实际的业务场景需求,毕竟,技术是为业务服务的。可能有时我们引入缓存之后,为了解决短期内的不一致性问题,选择让系统设计变得更加复杂的话,完全没必要。

缓存异常场景

图片

缓存场景模型图

其实。在实际的场景中,考虑到各种应用异常和业务故障,通常不可能完全使用分布式缓存和数据库系统来实现线性一致性模型。每一种缓存模式都有其自身的局限性,在某些情况下我们无法获得顺序一致性,或者有时会在缓存和数据库之间获得意外延迟。对于笔者在本文中展示的所有的解决方案,依据不同的业务需求总是会遇到高并发的极端情况。因此,对此没有灵丹妙药,在选择解决方案之前了解限制并定义特定的一致性要求。

如果想要实现线性一致性和容错性,建议最好不要使用缓存策略,可考虑其他的方案。以上为 Redis 缓存系统相关解析,希望对大家有用。

活动时间~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1027750.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

APP产品经理岗位的具体内容(合集)

APP产品经理岗位的具体内容1 1、负责项目产品团队的管理工作,对项目产品团队考核目标负责; 2、全面负责“工务园”所有产品,全方位负责其生命周期管理; 3、按照产品管理相关的计划和规范,对产品版本的更新及发布负责,完善产品的…

MyBatis 反射模块

文章目录 前言反射模块实现ReflectorReflectorFactoryInvokerMetaClassMetaObject 反射模块应用SqlSessionFactory执行SQL 前言 MyBatis在进行参数处理、结果集映射等操作时会使用到大量的反射操作,Java中的反射功能虽然强大,但是代码编写起来比较复杂且…

MSTP+VRRP vlan接口作为网关(2)

SW2 g0/0/2 g0/0/5 g0/0/3 g0/0/4 shutdow 链路失效, vlan 3 的 根桥、master 依然是sw2 PC3的数据包会什么还会到达外部环回口? SW2: dis stp instance 2 brief dis vrrp brief vlan3的主机PC3访问3.3.3.3.数据包发给网关(master)Sw2 pc3 : tracert …

go语言unsafe.Pointer与uintptr

以下内容来源go语言圣经 1、unsafe.Pointer,相当于c语言中的void *类型的指针,如果需要运算需要转成uintptr类型的指针 2. uintptr uintptr是一个无符号的整型,它可以保存一个指针地址。 它可以进行指针运算。 uintptr无法持有对象, GC不把…

新能源汽车运行安全性能检验规程需要哪些CAN数据才符合标准

新能源汽车的前生命周期包括了整车制造、使用、转让市场及报废回收这几个主要阶段,在政策大力扶持下,国内新能源汽车的制造产业链完善,补贴培育市场取得丰硕的果实。目前来说,我国新能源汽车有着技术领先、设计先进、低成本优势&a…

Android集成微信支付

​ 打开微信开放平台登录账户后点击创建应用 根据提示填写完相应的内容提交审核通过后,需要开通支付权限。 1.接着在你的项目工程build.gradle文件中添加微信支付依赖库 ​api com.tencent.mm.opensdk:wechat-sdk-android: 2.在你的包的根目录下,创建w…

Nodejs+vue体育用品商城商品购物推荐系统_t81xg

本课题基于协同过滤算法,主要采用nodejs技术和MySQL数据库技术以及vue框架进行开发。功能主要包括首页、个人中心、用户管理、商品分类管理、商品信息管理、交流论坛、留言板、系统管理、订单管理等功能,从而实现个性化智能体育商品推荐方式,…

MyBatis基础之动态SQL

文章目录 动态 SQLif 元素choose-when-otherwise 元素where 元素set 元素foreach 元素 动态 SQL 简而言之,动态 SQL 就是在 Mapper 中使用分支、循环等逻辑。常见的动态 SQL 元素包括: if 元素choose-when-otherwise 元素where 元素set 元素foreach 元…

2024年中国计量大学MBA最新招生计划公布:有哪些看点?

中国计量大学MBA项目立项于2023年,第一年招生就顺利完成开班任务,虽然人数不多,但是因为其有自身的项目培养定位,因此未来的市场中还是可以保持自身的优势。从2024年最新的招生计划来看,中国计量大学的总体计划依然采取…

大数据-离线项目

第一章 需求分析 需求分析与设计 项目需求背景 "某APP上线后 经营得当 使用户 日活量增多 出现以下问题""营销分析断层:"市场营销成本居高不下,投放拉新的效果追踪出现断层,无法追踪各渠道实际转化率,难以…

应用在摄像头对焦镜头中的马达驱动芯片

摄像头(CAMERA或WEBCAM)又称为电脑相机、电脑眼、电子眼等,是一种视频输入设备,被广泛的运用于视频会议、远程医疗及实时监控等方面。普通的人也可以彼此通过摄像头在网络进行有影像、有声音的交谈和沟通。另外,人们还…

记录uniapp 微信小程序胶囊分享bug处理 (第一次点击分享的时候不能修改标题或者路径)

问题复现情况: 以下为博主代码: 问题原因: 因为博主的业务需求,需要在分享的时候调用后端的接口来实现分享挂载推广关系。也就是因为调用了接口导致 重新给分享赋值标题或者路径的时候赋值不上。(刚开始怀疑是微信分享的问题,后面…

HarmonyOS创作激励计划启动:助力技术创作突破边界

即日起推出HarmonyOS创作激励计划,成功投稿并入选的文章将在HarmonyOS开发者公众号上线,9大技术社区同步宣发,不仅有丰厚稿酬,还有机会赢取创作奖品! 活动时间 即日起-2024年12月31日,每季度按照活动规则评…

RabbitMQ 几种模式

一、Hello World 模式 在这一部分中,我们将用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。模型如下所示: 在下图中,“ P” 是我们的生产者,“ C” 是我们的消费者。中间的框是一个队列 RabbitMQ 代表…

灞桥论“健” 共话康养 灞桥康养论坛取得圆满成功

随着我国“老龄化”的加速,养老资源的匮乏已经成为一个十分严峻的社会问题。同时随着生活水平的大幅提高,康养产业应势而生。涵盖了养老、医疗、体育、养生、旅游等多个领域的康养产业,不仅要为老人们实现“老有所乐、身体健康”的理想&#…

【数据结构】二叉树的前序遍历(七)

题目:二叉树的前序遍历 题目详情:给你二叉树的根节点 root ,返回它节点值的 前序 遍历; 我们先来看几个示例: 输入:root [ 1,null,2,3 ] 输出:[ 1&#xf…

【送书】从不了解用户画像,到用画像数据赋能业务看这一本书就够了丨《用户画像:平台构建与业务实践》

文章目录 内容了解本书目录参与方式 🌈hello! 各位铁汁们大家好啊,今天给大家推荐的的是机械工业出版社的 《用户画像:平台构建与业务实践》这本书!   ⛳️大数据时代,如何有效地挖掘数据价值并通过画像数…

jvm-sandbox-repeater时间mock插件设计与实现

一、背景 jvm-sandbox-repeater实现了基础的录制回放流程编排,并简单的给了几个插件的demo,离实际项目运用其实还需要二次开发很多东西,其中时间mock能力是一个非常基础的能力,业务代码里经常需要用到这块; 二、调研 …

win10安装kafka,监听9092端口,java调用

1、从Kafka的官网下载Kafka安装包&#xff1a;Apache Kafka 我下的是2.8.0 对应pom.xml配置 <dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.8.0</version> </dependency&…

linux安装配置zeppein

zeppelin是一个让交互式数据分析变得可行的基于网页的开源框架&#xff0c;具有数据分析、数据可视化等功能 一 解压安装包 这里提供了网盘资源 链接: https://pan.baidu.com/s/16pIoHL6ApGAs063cTOUYUg?pwdffq6 提取码: ffq6 下面的是 zeppein 安装包以及&#xff0c;上面的…