【缓存常见问题】

news2025/4/5 3:01:38

在使用缓存时特别是在高并发场景下会遇到很多问题,常用的问题有缓存穿透缓存击穿缓存雪崩以及缓存一致性问题。

1、缓存穿透

首先,什么是缓存穿透呢?
缓存穿透是指请求一个不存在的数据,缓存层和数据库层都没有这个数据,这种请求会穿透缓存直接到数据库进行查询。它通常发生在一些恶意用户可能故意发起不存在的请求,试图让系统陷入这种情况,以耗尽数据库连接资源或者造成性能问题。

解决方案

增加校验机制

例如:我们规定执行查询语句时,id必须是长整型而且是固定长度的格式,如果请求的id不符合则不再查询数据库。这种方案可以解决一部分的问题,还是有一定的可行性的。

缓存一个空值或者特殊值

在查询数据库的时候,发现数据不存在,此时我们依旧进行缓存,而不是直接返回。在这个时候我们可以缓存一个特殊值或者空值,避免下次请求再去访问数据库,从而避免缓存穿透。

使用布隆过滤器

后续更新。。。

2、缓存击穿

首先缓存击穿是什么呢?
缓存击穿发生在访问热点数据,大量请求访问同一个热点数据,当热点数据失效后同时去请求数据库,瞬间耗尽数据库资源,导致数据库无法使用。前提是有大量的并发。
比如某手机新品发布,当缓存失效时有大量并发到来导致同时去访问数据库。

解决方案

使用锁

单体架构下(单进程内)可以使用同步锁控制查询数据库的代码,只允许有一个线程去查询数据库,查询得到数据库存入缓存。

synchronized(obj){
  //查询数据库
  //存入缓存
}

分布式架构下(多个进程之间)可以使用分布式锁进行控制。

// 获取分布式锁对象
RLock lock = redisson.getLock("myLock");
try {
    // 尝试加锁,最多等待99秒,加锁后自动解锁时间为30秒
    boolean isLocked = lock.tryLock(99, 30, java.util.concurrent.TimeUnit.SECONDS);
    if (isLocked) {
          //查询数据库
          //存入缓存
    } else {
        System.out.println("获取锁失败,可能有其他线程持有锁");
    }
} catch (InterruptedException e) {
    e.printStackTrace();
} finally {
    // 释放锁
    lock.unlock();
    System.out.println("释放锁...");
}


此处分布式锁的实现方式有多种,大家可自行了解,我这里使用的是redisson

缓存预热
  • 分为提前预热、定时预热。
  • 提前预热就是提前写入缓存。
  • 定时预热是使用定时程序去更新缓存。
热点数据不过期

可以由后台程序提前将热点数据加入缓存缓存过期时间不过期,由后台程序做好缓存同步。

热点数据查询降级处理

对热点数据查询定义单独的接口,当缓存中不存在时走降级方法避免查询数据库。

3、缓存雪崩

什么是缓存雪崩呢?
缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。
例如对不同的几类信息设置相同的过期时间,在大量请求第一次查询这些信息时,会写入缓存当中,当过期时间一到,就会有大量的信息访问数据库,从而引发雪崩问题。

解决方案

对同一类型信息的key设置不同的过期时间

通常对一类信息的key设置的过期时间是相同的,这里可以在原有固定时间的基础上加上一个随机时间使它们的过期时间都不相同
例如:

@Bean
    public RedisCacheManager cacheManagerOneDay(RedisConnectionFactory connectionFactory) {
        int randomNum = new Random().nextInt(9999);
        RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
                //过期时间为基础时间加随机数
                .entryTtl(Duration.ofSeconds(48 * 60 * 60L + randomNum))
                .serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(JACKSON_SERIALIZER));

        return RedisCacheManager.builder(connectionFactory)
                .cacheDefaults(config)
                .transactionAware()
                .build();
    }
使用锁进行控制

思路同缓存击穿。

缓存定时预热

不用等到请求到来再去查询数据库存入缓存,可以提前将数据存入缓存。使用缓存预热机制通常有专门的后台程序去将数据库的数据同步到缓存。

4、缓存数据不一致问题

什么数缓存数据不一致呢?
缓存不一致问题是指当发生数据变更后该数据在数据库和缓存中是不一致的,此时查询缓存得到的并不是与数据库一致的数据。
经典案例:双写不一致

解决方案

使用分布式锁
延迟双删

延迟多长时间呢?
主数据向从数据库同步的时间间隔,如果延迟时间设置不合理也会导致数据不一致。

使用canal+mq的方式

延迟双删的目的也是为了保证最终一致性,即允许缓存短暂不一致,最终保证一致性。
保证最终一致性的方案有很多,比如:通过MQ、Canal、定时任务都可以实现。
Canal是一个数据同步工具,读取MySQL的binlog日志拿到更新的数据,再通过MQ发送给异步同步程序,最终由异步同步程序写到redis。此方案适用于对数据实时性有一定要求的场景。
通过Canal加MQ异步任务方式流程如下:

whiteboard_exported_image.png

流程如下:
线程1写数据库
canal读取binlog日志,将数据变化日志写入mq
同步程序监听mq接收到数据变化的消息
同步程序解析消息内容写入redis,写入redis成功正常消费完成,消息从mq删除。

定时任务方式流程如下:
专门启动一个数据同步任务定时读取数据同步到redis,此方式适用于对数据实时性要求不强更新不频繁的数据。2.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1604457.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图片各种格式区别介绍:

图片各种格式区别介绍: JPEG格式(Joint Photographic Experts Group) JPEG格式一种有损压缩格式,能够将图像压缩在很小的储存空间,图像中重复或不重要的资料会被丢失,因此容易造成图像数据的损伤。尤其是…

目标检测——防护装备数据集

一、重要性及意义 防护装备中的头盔和背心检测具有至关重要的重要性和深远的意义,主要体现在以下几个方面: 首先,它们对于保护工作人员的人身安全起着至关重要的作用。在各类工作环境中,尤其是那些涉及高空作业、机械操作或交通…

Python教学入门:数字类型与字符串

数字类型(Numeric Types): 整数(int): 在 Python 中,整数是不可变的,可以表示正整数、负整数和零。 Python 中整数的大小仅受限于计算机的内存。 # 定义整数变量 num1 10 num2 -…

【Linux系统编程】第五弹---基本指令(三)

✨个人主页: 熬夜学编程的小林 💗系列专栏: 【C语言详解】 【数据结构详解】【C详解】【Linux系统编程】 目录 1、grep指令 2、zip/unzip指令 3、tar指令 4、bc指令 5、uname指令 6、重要的几个热键 7、拓展指令 总结 1、grep指令 …

Pulsar【部署 01】消息队列PULSAR在Linux环境的主程序安装使用(小内存服务器问题处理)

官方网站:https://pulsar.apache.org/ 对于本地开发和测试,您可以在机器上以单机模式运行Pulsar。单机模式在单个Java虚拟机(JVM)进程中运行所有组件。本地单机版安装手册: 消息队列PULSAR在Linux环境的主程序安装使用 1.Prerequisites1.1 Pu…

四种算法(麻雀搜索算法SSA、螳螂搜索算法MSA、红尾鹰算法RTH、霸王龙优化算法TROA)求解机器人路径规划(提供MATLAB代码)

一、机器人路径规划介绍 移动机器人(Mobile robot,MR)的路径规划是 移动机器人研究的重要分支之,是对其进行控制的基础。根据环境信息的已知程度不同,路径规划分为基于环境信息已知的全局路径规划和基于环境信息未知或…

Flink KafkaSink分区配置的不同版本对比

Flink KafkaSink分区配置的不同版本对比 在不同版本的Flink中,KafkaSink 分区默认配置方式可能会有一些变化。以下是摘自Flink官方文档不同版本的原文: 1. Flink版本:1.12~1.19 Sink 分区 # 配置项 sink.partitioner 指定了从 Flink 分区到 …

12个可能未使用过的Python特性

大多数程序员不知道的令人难以置信的功能列表。 Python 是顶级编程语言之一,它具有许多程序员从未使用过的许多隐藏功能。在这篇文章中,我将分享你可能从未使用过的13 个 Python 特性。 1.列表Stepping 这是一个 step 参数,可以通过采取几…

六西格玛培训公司怎么选?一篇就够你明白

在如今六西格玛培训公司琳琅满目的市场中,如何挑选出一家既专业又符合自身需求的公司呢?本文将为大家提供一些实用的建议,助您在挑选六西格玛培训公司时不再迷茫。 一、明确培训目标 在选择六西格玛培训公司之前,首先要明确自己的…

nginx代理https地址报阿里云Web应用防火墙 (WAF)

项目中开通的网络策略都是从nginx代理出去,当代理的地址是阿里云地址时出现了如下错误。 我的nginx配置如下 在网上查资料发现,阿里是通过请求头中的host来校验域名是否存在来拦截该请求。最终配置如下: location /test/ { prox…

数据结构学习记录

数据结构 数组 & 链表 相连性 | 指向性 数组可以迅速定位到数组中某一个节点的位置 链表则需要通过前一个元素指向下一个元素,需要前后依赖顺序查找,效率较低 实现链表 // head > node1 > node2 > ... > nullclass Node {constructo…

C语言 | 动态内存管理

目录: 1. 为什么要有动态内存分配 2. malloc和free 3. calloc和realloc 4. 常见的动态内存的错误 5. 动态内存经典笔试题分析 6. 柔性数组 1. 为什么要有动态内存分配 我们已经掌握的内存开辟方式有: int val 20; //在栈空间上开辟四个字节 cha…

【笔试强训】Day1 --- 数字统计 + 两个数组的交集 + 点击消除

文章目录 1. 数字统计2. 两个数组的交集3. 点击消除 1. 数字统计 【链接】:数字统计 解题思路:模拟,利用数学知识,计算每个数字中2出现的个数。(这里也可以将数字转换成字符串来统计字符’2’出现的个数&#xff09…

30. 【Android教程】吐司提示:Toast 的使用方法

在使用 Android 手机的时候,有没有遇到过如图中这种类型的消息提示? 这个在 Android 中被称为 Toast,用来短暂的展示一些简短的提示信息。相比弹窗来讲它对用户的打扰更小,在提示一段时间之后会自动消失,通常用来提示当…

第2章:车辆纵向控制

2.1 车辆纵向动力学模型 注:车辆的纵向控制是指控制车辆行驶方向上的加减速,使得汽车可以按照期望的速度行驶,并保持安全的前后车距(即对汽车油门 / 刹车的控制); 2.1.1 车辆纵向受力模型 :轮胎…

笔记本电脑键盘没反应怎么办?4个方法解决电脑问题!

“好奇怪啊,我的笔记本电脑键盘莫名其妙就没有反应了,怎么按都无法解决这个问题,有朋友知道应该怎么解决吗?” 笔记本电脑键盘是我们日常工作和生活中不可或缺的输入工具,我们无论是输入文件还是与别人聊天&#xff0c…

【数信杯】pyc

题目 题目描述: py又cc 附件:(资源已上传) pyc文件是是py的编译文件,使用反编译工具还原文件 1. 反编译pyc文件 在线工具:http://tools.bugscaner.com/decompyle/ 本地工具:uncompyle6 pip …

网上客车售票管理系统(含源码+sql+视频导入教程+文档+PPT)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1 、功能描述 网上客车售票管理系统4拥有两种角色:管理员和用户 管理员:车票管理、订单管理、退票管理、车票流水记录、余票盘点、留言管理、用户管理等 用户:登录…

科学高效备考2024年AMC10,吃透1250道AMC10历年真题和详细解析

距离2024年AMC10比赛正式开始还有6个多月的时间,备考要趁早。 我们今天继续来随机看5道AMC10真题,以及详细解析,这些题目来自1250道完整的官方历年AMC10真题库。 2000-2023年AMC10真题练习和解析:2016年第23题 这道题考点是代数的…

黑马程序员——mysql——day05——反射、注解、动态代理

目录: 类的加载 目标讲解 类的加载过程类的加载机制小结类加载器 目标讲解 类加载器的作用类加载器的分类:获取类加载器的方式小结双亲委派机制 目标讲解 3种类加载器的关系双亲委派机制小结反射:概述 目标讲解 反射反射技术的应用案例:反射…