【遇见青山】项目难点:缓存击穿问题解决方案

news2024/11/19 0:28:14

【遇见青山】项目难点:缓存击穿问题解决方案

  • 1.缓存击穿
    • 互斥锁🔒方案
    • 逻辑过期方案
  • 2.基于互斥锁方案的具体实现
  • 3.基于逻辑过期方案的具体实现

1.缓存击穿

缓存击穿问题也叫热点Key问题,就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击。

在这里插入图片描述

常见的解决方案有两种:

  • 互斥锁
  • 逻辑过期

互斥锁🔒方案

给线程添加互斥锁🔒

在这里插入图片描述

优点:

  • 没有额外的内存消耗
  • 保证一致性
  • 实现简单

缺点:

  • 线程需要等待,性能受影响
  • 可能有死锁风险

逻辑过期方案

缓存中维护一个expire字段,代表逻辑过期时间(并非TTL值)

例如:

在这里插入图片描述
在这里插入图片描述

优点:

  • 线程无需等待,性能较好

缺点:

  • 不保证一致性
  • 有额外内存消耗
  • 实现复杂

2.基于互斥锁方案的具体实现

需求:修改根据id查询商铺的业务,基于互斥锁方式来解决缓存击穿问题

架构流程图:

在这里插入图片描述

首先自定义获取锁和释放锁的方法:

/**
 * 尝试获取锁,解决缓存击穿问题方案
 *
 * @param key key
 */
private boolean tryLock(String key) {
    Boolean aBoolean = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
    return BooleanUtil.isTrue(aBoolean);
}

/**
 * 删除锁,解决缓存击穿问题方案
 *
 * @param key key
 */
private void unlock(String key) {
    stringRedisTemplate.delete(key);
}

核心代码:

/**
 * 缓存击穿解决方案
 *
 * @param id 商户id
 * @return 商户对象
 */
public Shop queryWithMutex(Long id) {
    // 从redis查询商户缓存
    String shopJson = stringRedisTemplate.opsForValue().get(CACHE_SHOP_KEY + id);
    // 判断商户缓存是否存在
    if (StringUtils.isNotBlank(shopJson)) {
        // 此商户缓存存在,直接返回结果
        return JSONUtil.toBean(shopJson, Shop.class);
    }

    // 判断命中的是否为空值 "",防止缓存穿透
    if ("".equals(shopJson)) {
        return null;
    }

    Shop shop = null;
    try {
        // 实现缓存重建
        // 获取互斥锁
        boolean isLock = tryLock(LOCK_SHOP_KEY + id);
        // 判断是否取锁成功
        if (!isLock) {
            // 失败,则进入休眠并重试
            Thread.sleep(50);
            return queryWithMutex(id);
        }

        // 缓存中商户信息不存在,查询数据库
        shop = getById(id);


        // 模拟重建的延时
        Thread.sleep(200);


        // 查询数据库不存在,返回错误
        if (shop == null) {
            // 将null值写入Redis,防止缓存穿透问题
            stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY + id, "", CACHE_NULL_TTL, TimeUnit.MINUTES);
            return null;
        }
        // 查询数据库存在,写入数据到Redis中
        stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(shop), CACHE_SHOP_TTL, TimeUnit.MINUTES);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    } finally {
        // 释放互斥锁
        unlock(LOCK_SHOP_KEY + id);
    }
    // 返回数据给前端
    return shop;
}

使用JMeter做压力测试:

这里开1000个线程延时5秒:

在这里插入图片描述
在这里插入图片描述

结果:

全部请求成功!

在这里插入图片描述

平均QPS 200:

在这里插入图片描述


3.基于逻辑过期方案的具体实现

需求:修改根据id查询商铺的业务,基于逻辑过期方式来解决缓存击穿问题

设计架构图:

在这里插入图片描述

这里,我们如何将过期时间字段加入Redis中呢,为了不对原有的代码进行修改,最好的解决办法是封装一个带有过期时间的实体类:

/**
 * 逻辑过期时间的实体支持
 */
@Data
public class RedisData {
    private LocalDateTime expireTime;
    private Object data;
}

创建一个将商户预热的方法:

/**
 * 将热点商户加入到缓存中,进行预热
 *
 * @param id            商户id
 * @param expireSeconds 逻辑过期时间
 */
public void saveShopToRedis(Long id, Long expireSeconds) {
    // 查询商户数据
    Shop shop = getById(id);
    // 封装逻辑过期时间对象
    RedisData redisData = new RedisData();
    redisData.setData(shop);
    redisData.setExpireTime(LocalDateTime.now().plusSeconds(expireSeconds));
    // 写入Redis
    stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(redisData));
}

进行测试:

@SpringBootTest
@RunWith(SpringRunner.class)
public class QingShanApplicationTests {
    @Resource
    private ShopServiceImpl shopService;

    /**
     * 添加热点商户到Redis缓存的测试类
     */
    @Test
    public void testSaveShop() {
        shopService.saveShopToRedis(1L, 10L);
    }
}

添加热点缓存成功!

在这里插入图片描述

核心实现:

// 生成线程池
private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

/**
 * 逻辑过期解决缓存击穿问题
 * @param id 商户id
 * @return 商户对象
 */
public Shop queryWithLogicalExpire(Long id){
    // 组装key
    String key = RedisConstants.CACHE_SHOP_KEY + id;

    // 去redis中读取数据
    String value = stringRedisTemplate.opsForValue().get(key);

    // 如果缓存未命中,说明访问的不是热点数据,直接返回空
    if(StrUtil.isBlank(value)){
        return null;
    }

    // 缓存命中后,还需要先判断数据有没有过期
    RedisData redisData = JSONUtil.toBean(value, RedisData.class);

    // 获取数据信息,由于数据存进去时是object类型,这里需要做一下处理
    Shop shop = JSONUtil.toBean((JSONObject) redisData.getData(), Shop.class);

    // 获取数据的逻辑过期时间
    LocalDateTime expireTime = redisData.getExpireTime();

    // 如果数据没有过期,就直接返回
    if(expireTime.isAfter(LocalDateTime.now())){
        return shop;
    }

    // 如果数据已过期,则尝试获取互斥锁
    String lockKey = RedisConstants.LOCK_SHOP_KEY+id;
    boolean tryLock = tryLock(lockKey);

    if(tryLock){
        // 获取锁成功则开辟一条独立线程执行缓存重建
        CACHE_REBUILD_EXECUTOR.submit(()->{
            try {
                // 再次检查缓存有没有过期,防止在高并发环境下缓存多次重建
                LocalDateTime time = JSONUtil.toBean(
                    stringRedisTemplate.opsForValue().get(key), 
                    RedisData.class
                ).getExpireTime();
                
                if(time.isAfter(LocalDateTime.now())){
                    // 数据没过期则直接结束
                    return;
                }
                
                // 调用重建缓存的方法
                saveShopToRedis(id,10l);
            } catch (Exception e) {
                throw new RuntimeException(e);
            } finally {
                //释放锁操作
                unlock(lockKey);
            }
        });
    }

    // 返回过期数据
    return shop;
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/338389.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RuoYi-Cloud 部署

RuoYi-Cloud部署 1. 下载 点击右侧链接可以进入gitee的源码下载地址: 偌依微服务源码gitee下载地址 2. 数据库部署 依据如下步骤创建系统所需数据环境,脚本执行没有先后次序要求: 在Mysql 中创建 ry-cloud 主数据库,并执行 …

初学者必读:讲解 VC 下如何正确的创建、管理及发布项目

Visual C 的项目文件组成,以及如何正确的创建及管理项目。 本内容是初学者必须要掌握的。不能正确的管理项目,就不能进一步写有规模的程序。 一、项目下各种常见文件类型的功能 1. 代码文件 扩展名为 .cpp、.c、.h 等。 通常情况下,项目…

【Java】Help notes about JAVA

JAVA语言帮助笔记Java的安装与JDKJava命名规范JAVA的数据类型自动类型转换强制类型转换JAVA的运算符取余运算结果的符号逻辑运算的短路运算三元运算符运算符优先级JAVA的流程控制分支结构Java的安装与JDK JDK安装网站:https://www.oracle.com/java/technologies/do…

[项目设计]高并发内存池

目录 1、项目介绍 2、高并发内存池整体框架设计 3、thread cache <1>thread cache 哈希桶对齐规则 <2>Thread Cache类设计 4、Central Cache <1>Central Cache类设计 5、page cache <1>Page Cache类设计 6、性能分析 <1>定长内存池实现…

更换主板开机logo

更换主板开机logo前言详细操作步骤可能遇到的问题素材链接前言 在使用刀锋钛主板后发现&#xff0c;开机logo有些不符合个人喜好&#xff0c;如下图&#xff1a; 于是就有了更换主板logo的想法&#xff0c;确定用刷bios这一方法&#xff0c;注&#xff1a;刷BIOS之前一定要做…

MS14-064(OLE远程代码执行漏洞复现)

✅作者简介&#xff1a;CSDN内容合伙人、信息安全专业在校大学生&#x1f3c6; &#x1f525;系列专栏 &#xff1a;内网安全-漏洞复现 &#x1f4c3;新人博主 &#xff1a;欢迎点赞收藏关注&#xff0c;会回访&#xff01; &#x1f4ac;舞台再大&#xff0c;你不上台&#xf…

Java测试——selenium常见操作(2)

这篇博客继续讲解一些selenium的常见操作 selenium的下载与准备工作请看之前的博客&#xff1a;Java测试——selenium的安装与使用教程 先创建驱动 ChromeDriver driver new ChromeDriver();等待操作 我们上一篇博客讲到&#xff0c;有些时候代码执行过快&#xff0c;页面…

Axios异步请求 json格式

Axios是Ajax的一个框架,简化Ajax操作。需要axios.min.js 和vue.js的jar。发送普通参数异步请求以及相应异常情况客户端向服务器端异步发送普通参数值&#xff1a;- 基本格式&#xff1a; axios().then().catch()- 示例&#xff1a;axios({ // axios表示要发送一个异步请求metho…

12月无情被辞:想给还不会自动化测试的技术人提个醒

公司前段时间缺人&#xff0c;也面了不少测试&#xff0c;结果竟没有一个合适的。一开始瞄准的就是中级的水准&#xff0c;也没指望来大牛&#xff0c;提供的薪资在10-20k&#xff0c;面试的人很多&#xff0c;但是平均水平很让人失望。基本能用一句话概括就是&#xff1a;3年测…

火遍全网的ChatGPT,可免费使用啦

啰嗦几句最近最最最火爆的莫过于ChatGPT了&#xff0c;感觉你不知道ChatGPT是什么做什么&#xff0c;你都没法跟人交流了&#xff01;ChatGPT是美国OpenAI研发的聊天机器人程序&#xff0c;跟小冰、小爱、小度一样&#xff0c;但是不一样的是它拥有强大的信息整合能力&#xff…

【性能】性能测试理论篇_学习笔记_2023/2/11

性能测试的目的验证系统是否能满足用户提出的性能指标发现性能瓶颈&#xff0c;优化系统整体性能性能测试的分类注&#xff1a;这些测试类型其实是密切相关&#xff0c;甚至无法区别的&#xff0c;例如几乎所有的测试都有并发测试。在实际中不用纠结具体的概念。而是要明确测试…

子比主题v6.9.2 免费版源码下载及其激活步骤详解

本人版权所有&#xff0c;请勿打回&#xff01; 文章目录一&#xff0c;子比主题v6.9.2 免费版源码下载及其激活步骤1.1什么是Zibll子比主题&#xff1f;1.2特点二.效果展示2.1 部分源码2.2 效果展示三.源码下载及其视频演示3.1源码下载3.2视频演示一&#xff0c;子比主题v6.9.…

Golang map笔记

map定义三种方式package mainimport "fmt"func main() {// map 的基本定义// 第一种方式 使用make分配数据空间var map1 map[string]stringmap1 make(map[string]string, 3)map1["no1"] "北京"map1["no2"] "天津"map1[&q…

Mysql 增删改查(二)—— 增(insert)、删(delete)、改(update)

目录 一、插入 1、insert 2、replace&#xff08;插入否则更新&#xff09; 二、更新&#xff08;update&#xff09; 三、删除 1、delete 2、truncate&#xff08;截断表&#xff0c;慎用&#xff09; 一、插入 1、insert (1) 单行 / 多行插入 全列插入&#xff1a;…

可能是最强的Python可视化神器,建议一试!

数据分析离不开数据可视化&#xff0c;我们最常用的就是Pandas&#xff0c;Matplotlib&#xff0c;Pyecharts当然还有Tableau&#xff0c;看到一篇文章介绍Plotly制图后我也跃跃欲试&#xff0c;查看了相关资料开始尝试用它制图。 1.Plotly Plotly是一款用来做数据分析和可视…

毕业四年换了3份软件测试工作,我为何仍焦虑?

​今天一看日历&#xff1a;2023.2.11 &#xff0c;才突然意识到自己毕业已经四年了。四年时间里一直在测试行业摸爬滚打&#xff0c;现在是时候记录一下了。 下面我来分享下我这4年软件测试经验及成长历程&#xff0c;或许能帮助你解决很多工作中的迷惑。 01、我是如何开始做…

libevent 实现httpserver 终极版C/C++

最近要用C实现哥httpserver,之前探索了很多个http的库。 1. 我之前最习惯用httplib-cpp github.comhttps://github.com/yhirose/cpp-httplib 但是它要求gcc-g版本要大于4.8。然后我用了6.1.0之后&#xff0c;我的其他库比如mysql glog之后怎么都链接不上。换了系统&a…

Https 协议超强讲解(二)

浏览器是如何确保 CA 证书的合法性&#xff1f; 1. 证书包含什么信息&#xff1f; 颁发机构信息 公钥 公司信息 域名 有效期 指纹 …… 2. 证书的合法性依据是什么&#xff1f; 首先&#xff0c;权威机构是要有认证的&#xff0c;不是随便一个机构都有资格颁发证书&am…

【MySQL】第十六部分 MySQL数据类型详解

【MySQL】第十六部分 MySQL数据类型详解 文章目录【MySQL】第十六部分 MySQL数据类型详解16. MySQL数据类型详解16.1 整数类型16.2 浮点类型16.3 定点数类型16.4 位类型 BIT16.5 日期和时间类型16.6 文本字符串类型16.6.1 CHAR VS VARCHAR类型16.6.2 TEXT类型16.6.3 ENUM类型16…

文件管理(9)

文件管理 0 引言 为什么要引入文件系统&#xff1f; 信息管理的需要&#xff1a;用户面前提供一种规格化的机制&#xff0c;方便用户对文件的存取、提高效率。操作系统本身需要–操作系统本身也不是常驻内存的&#xff0c;也有大量的信息需要存于外存。 1 文件定义 文件&a…