【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(数据缓存不一致分析)

news2024/11/23 18:58:14

一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(数据缓存不一致问题分析)

  • 数据不一致的原因
    • 逻辑失败导致的数据不一致
    • 物理失败导致的数据不一致
  • 数据一致性的解决方案
    • 消费消息异步删除缓存
      • 主要流程如下图所示
    • 订阅Binlog
    • 利用队列串行化
      • 具体分析
        • 存在的问题
        • 最终一致性
  • 彩蛋案例

数据不一致的原因

在引入缓存后,数据就会分散在两个不同的数据源中。由于数据的更新是实时的,因此很难保持数据的一致性,除非采用强一致性方案。在探索适当的解决方案之前,我们需要分析导致数据不一致的主要原因,并针对性地解决这些问题:
在这里插入图片描述

逻辑失败导致的数据不一致

之前我们详细分析了三种更新策略。在并发的情况下,无论是先删除缓存再更新数据库,还是先更新数据库再使缓存过期,都可能导致数据不一致的情况。这主要是因为在并发操作下,异步读写请求的时序可能导致了数据不一致,我们将其称为“逻辑失败”。解决这种由并发操作时序导致的问题的核心思想是将异步操作串行化执行。

物理失败导致的数据不一致

Cache Aside 模式中,先更新数据库再删除缓存以及异步双删策略等在同一个事务中,通常情况下,当使用分布式缓存时,如果缓存服务耗时较长,将更新数据库和使缓存失效操作放在同一个事务中,会导致大量的数据库连接挂起,严重降低系统性能,甚至可能因为数据库连接数过多而导致系统崩溃。这种由于缓存操作失败而导致的数据不一致称为"物理失败"。大多数情况下,我们会采用重试的方式解决物理失败的情况。

数据一致性的解决方案

  • 物理失败导致的数据不一致:在绝大部分业务场景中,我们通常追求的是最终一致性。为了解决因物理失败而导致的数据不一致,常见的解决方案包括消费消息异步删除缓存和订阅Binlog。

  • 逻辑失败导致的数据不一致:而对于逻辑失败导致的数据不一致,常用的解决方案则是通过队列实现异步操作的同步化。
    在这里插入图片描述

消费消息异步删除缓存

当涉及到消费消息异步删除缓存时,需要考虑数据一致性的问题。在这种情况下,如果缓存的删除操作是在消息消费后异步进行的,那么存在以下两种可能的数据一致性问题:

消息处理失败导致的数据不一致:如果消息消费过程中发生了错误,导致缓存删除操作未能正确执行,数据就会出现不一致。为了解决这个问题,可以采取一些措施,如记录消费状态、定期检查未完成的消息、重试消费等。

延迟删除导致的数据不一致:由于异步删除缓存的操作通常需要一定的时间,因此在缓存删除完成之前,可能会出现查询时获取到已经被删除的数据的情况。这种延迟删除可能会导致短暂的数据不一致。为了解决这个问题,可以采用一些方法,如使用合适的缓存过期时间、添加版本控制或标记来跟踪数据更新状态等。

主要流程如下图所示

在这里插入图片描述

为了确保数据一致性,可以考虑以下几点建议:

使用事务:如果可能的话,在消费消息和删除缓存的操作之间使用事务,确保它们要么都成功,要么都失败。这可以减少数据不一致的可能性。

监控和日志记录:设置监控机制来检测消息消费和缓存删除的状态,并记录日志以便排查问题和进行故障恢复。

定期校验和修复:定期检查数据一致性,并在发现问题时进行修复。可以编写一些脚本或工具来扫描数据并修复不一致性。

综上所述,要确保消费消息异步删除缓存的数据一致性,需要采取适当的措施来处理潜在的问题,并实施监控和修复机制来确保数据的准确性和一致性。

订阅Binlog

主要流程如下图所示:
在这里插入图片描述

利用队列串行化

在分析缓存旁路模式(cache aside pattern)时,我们发现在高并发情况下可能会发生数据不一致的情况,尽管这种情况发生的概率很低。

此外,在并发读写的情况下,如果我们先删除缓存再更新数据库,也可能导致数据不一致的问题。这些问题都是由于并发时序导致的,即写请求还未完成时,读请求就会读取到旧数据。

然而,如果我们能够确保请求的处理能够串行化,即读请求在写请求之后处理,那么就能保证读请求能够读取到最新的数据,从而避免数据不一致的问题。综上所述,我们在处理数据一致性的问题时需要考虑并发场景下请求处理的时序关系。

具体分析

采用队列将请求进行串行化。每个队列只对应一个工作线程。对于更新数据的写请求,我们将其放入队列中,等待异步处理;对于读请求,如果可以从缓存中获取数据,则直接返回;如果缓存中没有数据,我们将读请求放入队列中,等待写请求完成数据更新后再处理。

存在的问题

在这里插入图片描述

  • 读请求长时间阻塞:确实,如果队列中有多个写请求,读请求可能会长时间阻塞。为了解决这个问题,可以设置一个适当的超时时间,并在超时后直接从数据库中读取数据返回。这可以确保系统在高并发情况下的响应性。同时,在进行压力测试时,应注意队列中累积的写请求数量,如果积压过多,可以考虑队列的优化措施或相应解决方案。

  • 多个队列分散压力:是的,通过根据数据项进行哈希等路由方式,创建多个队列并行执行可以提高系统的吞吐量。这样可以将负载均衡到多个队列上,降低单个队列的压力,从而提高整体性能。

  • 操作复杂需要考虑全面:确实,将请求进行串行化通过队列是一种有效的数据一致性方案,但也需要考虑到队列的可用性、阻塞情况以及容灾恢复策略等问题。确保队列的稳定性和可靠性非常重要,尽量避免单点故障,并建立相应的容灾方案。

最终一致性

除了提到的三种通用方法,为缓存设置过期时间并定期进行全量同步也是一种接近最终一致性的简单有效方式。通过设置合理的过期时间,可以在缓存中保持数据的一致性,并定期进行全量同步,以确保缓存中的数据与数据库中的数据保持一致。这种方法可以在一定程度上提高系统的性能,并减少对队列串行化的依赖。

总结而言,选择适合业务场景的技术方案非常重要。在决策时,请综合考虑系统性能、数据一致性要求以及资源的限制,并进行权衡和优化。

彩蛋案例

在这里,我向大家推荐一本关于JVM优化和调优的实战系列书籍,《深入浅出Java虚拟机 — JVM原理与实战》。这本书是最新出版的,内容涵盖了与我们当前工作和开发实例密切相关的技术和实战案例。通过学习这本书,我们可以深入了解Java虚拟机的原理,并通过实践掌握优化和调优的技巧。我诚挚地推荐这本书给大家,相信它将为我们的工作和技术发展带来巨大的收益。希望大家能够抽出时间多多学习一下这本宝贵的资料
在这里插入图片描述
【当当-点击链接】【京东-点击链接】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/719671.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

只出现一次的数字

题目链接 只出现一次的数字 题目描述 注意点 1 < nums.length < 30000-30000 < nums[i] < 30000除了某个元素只出现一次以外&#xff0c;其余每个元素均出现两次 解答思路 最初想到使用一种数据结构将元素存储起来&#xff0c;但是空间复杂度为O(n)&#xff0…

Linux(ubuntu)上安装vmware workstation虚拟机

Linux&#xff08;ubuntu&#xff09;上安装vmware workstation虚拟机 首先下载vmware workstation 官网下载地址&#xff1a;https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html 下滑至页面下方下载&#xff1a; 或者点击此处下载 下载完成后…

首发价11999元?华为智慧屏S3Pro电视7月10日上市

华为最新推出了两款全新的智慧屏 S3 Pro&#xff0c;分别是65英寸和75英寸版本&#xff0c;售价分别为5999元和7999元。除此之外&#xff0c;华为还推出了全新的S3 Pro 86英寸型号&#xff0c;首发价为11999元。这款电视将于7月10日上市&#xff0c;对于感兴趣的用户来说&#…

押注数字人,百度、科大讯飞“短兵相接”

配图来自Canva可画 近两年&#xff0c;小雀斑、柳夜熙、AYAYI等大量网红数字人的相继出现&#xff0c;以及虚拟数字技术在《指环王》和《阿凡达》以及《刺杀小说家》等电影中的广泛应用&#xff0c;还有北京冬奥会期间数字人在手语解说、节目直播等众多场合亮相&#xff0c;使…

2024浙大GMSCM提面第一场:全英文项目的生死选择题

本周末是今年浙大MBA非全英文项目GMSCM的第一场提前批面试&#xff0c;作为诸多方向中相对比较稳定的项目之一&#xff0c;GMSCM项目每年的提前批面试申请也都表现的比较稳健&#xff0c;而其目前主要的招生也是依托于提前批面试&#xff0c;根据这几年的情况&#xff0c;每年浙…

vue+cesium 获取鼠标浮动的经纬度

一、需求 是在地图中展示鼠标的经纬度 二、成果展示 三、思路和方法 html <div class"mouseMove" v-if"mouseMove.lat"><div v-if"mouseMove.lat">经度&#xff1a;{{ mouseMove.lng }}</div><div v-if"mouseMove…

关于研究SELECT * 是否会导致SQL查询效率变低的问题

引言 无论在工作还是面试中&#xff0c;关于SQL中不要用“SELECT *”的问题&#xff0c;经常会被大家用作讨论&#xff0c;虽说听烂了&#xff0c;但普遍理解还是在很浅的层面&#xff0c;并没有多少人去追根究底&#xff0c;探究其原理。 一、效率低的原因 先看一下最新《阿…

计算机网络_ 1.3 网络核心(数据交换_电路交换_多路复用)

计算机网络_数据交换_电路交换_多路复用 多路复用频分多路复用FDM时分多路复用TDM波分多路复用WDM码分多路复用CDM 多路复用 多路复用&#xff08;Multiplexing&#xff09;&#xff0c;简称复用&#xff0c;是通信技术的基本概念。 链路/网络资源&#xff08;如带宽&#x…

【动态规划算法】第四题:91.解码方法

&#x1f496;作者&#xff1a;小树苗渴望变成参天大树 &#x1f389;作者宣言&#xff1a;认真写好每一篇博客 &#x1f38a;作者gitee:gitee &#x1f49e;作者专栏&#xff1a;C语言,数据结构初阶,Linux,C 动态规划算法 如 果 你 喜 欢 作 者 的 文 章 &#xff0c;就 给 作…

一建建筑周超口袋书

第一部分 建筑工程技术1A414000 建筑工程材料[B-4,2021] 常见的高分子防水卷材有哪些?三元乙丙、聚氯乙烯、氯化聚乙烯、氯化聚乙烯-橡胶共混及三元丁橡胶防水卷材记忆技巧三单数年考试中&#xff0c;2011 年屋面女儿墙渗漏水处理&#xff0c;2015 年女儿墙防水识图找错&#…

element ui table 状态用switch展示

效果图如下 方法一&#xff1a;将图片封装成组件 1.&#xff1a;ImgswitchOpen.vue 2&#xff1a;页面引入组件 3&#xff1a;使用 方法二&#xff1a;引入图片 1&#xff1a;引入图片 2&#xff1a;在data中定义 3.使用

垂直领域大模型:从医疗ChatDoctor到金融BloombergGPT、法律ChatLaw/LawGPT_zh

第一部分 各种医疗类ChatGPT&#xff1a;或中英文数据微调LLaMA、或中文数据微调ChatGLM 1.1 基于LLaMA微调的中英文版ChatDoctor 1.1.1 ChatDoctor&#xff1a;通过self-instruct技术提示API的数据和医患对话数据集微调LLaMA Github上有一个基于LLaMA模型的医疗微调模型&am…

c++高性能264/265实时h5流媒体服务器前后端整体解决方案

c高性能264/265实时h5流媒体服务器前后端整体解决方案 1.效果展示 下图展示了前端播放效果。 播放1路264视频流&#xff0c;4路265视频流 CPU占用率10%(测试机器上运行着c服务端和其他工具程序) GPU0占用率17% 1.1 作者测试机器配置 处理器 11th Gen Intel Core™ i7-118…

如何确定适合网站的长尾关键词?

确定适合网站的长尾关键词&#xff0c;需要进行以下几个步骤&#xff1a; 1. 目标受众分析&#xff1a;首先&#xff0c;要确定网站的目标受众是谁。了解目标受众的特点和需求&#xff0c;可以帮助我们选择适合他们的长尾关键词。例如&#xff0c;如果目标受众是学生&#xff…

【Linux | Shell命令】Linux 环境变量

目录 一、概述二、什么是环境变量2.1 全局环境变量2.2 局部环境变量 三、设置用户自定义变量3.1 设置局部用户自定义变量3.2 设置全局环境变量3.3 删除环境变量 四、默认的 shell 环境变量五、5.1 设置 PATH 环境变量5.2 一、概述 Linux 系统中&#xff0c;很多程序和脚本通过环…

爱创科技携腾讯云拓展海内外药械数字溯源服务,“一物一码”全程可追踪

想象一下&#xff0c;当每个人从医院取药窗口或药房买到关乎自己生命健康的药品时&#xff0c;只需掏出手机打开微信&#xff0c;扫一扫药盒上的二维码&#xff0c;就可以看到药品真伪、出厂厂家、用药科普等信息&#xff0c;既带来一份用药的安心&#xff0c;也能清晰地看到医…

二进制、十进制相互转换

二进制转十进制&#xff1a; 1100 0000转为十进制的数值为&#xff1a;12864192 十进制转二进制&#xff1a; 列如&#xff1a;十进制数为202 1286432168421二进制11001010 解析&#xff1a; 202>128&#xff0c;第一个二进制数为&#xff1a;1 202-128>64&#xf…

服务器垃圾怎样清理?C盘垃圾如何清理?

好多人都在问电脑垃圾如何清理&#xff1f;服务器的垃圾清理是系统维护中必不可少的一项任务&#xff0c;而C盘垃圾的清理同样也是必须要做的任务之一。那么&#xff0c;如何一键清理服务器垃圾&#xff0c;C盘垃圾如何清理呢&#xff1f;今天&#xff0c;我会以服务器助手为例…

8、架构:服务端介绍

作为一个产品化的项目&#xff0c;就必然有服务端的支持&#xff0c;这次的项目我们依然使用与上一本小册一样的技术栈 NestJS作为产品的服务端开发语言。 服务端的内容对于常规的前端开发会比较难上手&#xff0c;因为除了服务端的开发语言之外&#xff0c;我们还需要安装各种…

如何查看docker File!!!!

1.如何查看dockerfile&#xff01; 先docker images 查看所有的镜像&#xff0c;然后再一个目录下先创建一个脚本&#xff0c;把下面内容复制进去 #!/bin/bash export PATH$PATH if [ $# -eq 1 ];thendocker history --format {{.CreatedBy}} --no-trunctrue $1 |sed "s…