jetcache 2级缓存模式实现批量清除

news2024/9/27 12:18:04

需求

希望能够实现清理指定对象缓存的方法,例如缓存了User表,当User表巨大时,通过id全量去清理不现实,耗费资源也巨大。因此需要能够支持清理指定本地和远程缓存的批量方法。

分析

查看jetcache生成的cache接口,并没有提供一个例如getAll()或invalidate的方法。因此需要能够扩展;

查看jetcache源码,jetcache对于单级和多级缓存实现了统一的cache接口;

当为单级缓存时,直接返回缓存的包装Cache;

当为多级缓存时,返回MultiLevelCache;

所有的缓存,都实现了接口的unwrap方法,当指定一个类型时,会返回对应的包装Cache,否则抛出IllegalArgumentException;

源码里MultiLevelCache的unwrap如下:

    @Override
    public <T> T unwrap(Class<T> clazz) {
        Objects.requireNonNull(clazz);
        for (Cache cache : caches) {
            try {
                T obj = (T) cache.unwrap(clazz);
                if (obj != null) {
                    return obj;
                }
            } catch (IllegalArgumentException e) {
                // ignore
            }
        }
        throw new IllegalArgumentException(clazz.getName());
    }

也就是说,当多级缓存(这里是2级,实际可以支持多级)时,可以通过类型指定unwarp到对应的缓存,这样我们就可以通过cache拿到对应的本地缓存,进而调用缓存全量清理方法

实现

因此,实现思路如下:

对于本地的缓存,直接unwrap后全量清理掉;

对于远程的缓存,直接redis缓存访问,并通过key的查询方法,将符合条件的缓存批量清理掉;

对于其他机器的缓存,采用订阅发布的方式,让其他机器收到消息后unwrap并清理本地缓存。

1) 本地缓存处理

将jetcache的缓存拿出来unwrap即可调用caffeine cache的invalidateAll实现清理本地缓存,实现一个方法:

	@Override
	public void evictCacheLocal() {
		//清理本地
		if(cache != null){
			com.github.benmanes.caffeine.cache.Cache caffeineCache = cache.unwrap(com.github.benmanes.caffeine.cache.Cache.class);
			caffeineCache.invalidateAll();
		}
	}

2) 远程缓存处理

远程的目前系统使用了redission驱动,使用RKeys将符合前缀的远程清理掉。getKeysByPattern是按10个一组SCAN得到,因此不会阻塞redis,按100个一组清理即可,如果数据较多,可以考虑更大点

	@Override
	public void evictCacheAll() {
		// 清理redis
		RKeys keys = redissonClient.getKeys();
		Iterator<String> keysList = keys.getKeysByPattern(GlobalEx.CACHEREGION_ENTITY + entityClass.getSimpleName() + "-*").iterator();
		List<String> processList = new ArrayList<>();
		while(keysList.hasNext()) {
			processList.add(keysList.next());
			if(processList.size() == 100){
				keys.delete(processList.toArray(new String[processList.size()]));
				processList.clear();
			}
		}
		if(processList.size() > 0){
			keys.delete(processList.toArray(new String[processList.size()]));
		}
	}

3) 其它机器缓存处理

研究了下源码,jetcache没有很方便的扩展点,因此直接绕过jetcache的订阅发布。直接用其它组件去实现订阅发布,目前系统已经引入了redission,因此直接使用redission的订阅/发布。

这里实现了一个订阅监听列表,直接在subsys.<子系统>.notify添加自己的发布/监听器即可

监听消息类,notifyType可以区别消息类型

package org.ccframe.commons.notify;

import com.alibaba.fastjson2.annotation.JSONField;
import lombok.AllArgsConstructor;
import lombok.Data;

@Data
@AllArgsConstructor
public class NotifyMessage {

    private int notifyType;

    @JSONField(name = "message")
    private String message;
}

消息监听基类,使用Json通知消息

package org.ccframe.commons.notify;

import com.alibaba.fastjson2.JSON;
import lombok.extern.log4j.Log4j2;
import org.ccframe.commons.helper.CcNotifyHelper;
import org.springframework.beans.factory.annotation.Autowired;

import java.lang.reflect.ParameterizedType;
import java.lang.reflect.Type;

@Log4j2
public abstract class BaseNotifyListener<T> {
    public abstract int getNotifyType();

    private final Class<T> messageClass;

    @Autowired
    private CcNotifyHelper ccNotifyHelper;

    public BaseNotifyListener(){
        Type genType = getClass().getGenericSuperclass();
        this.messageClass = (Class<T>) ((ParameterizedType) genType).getActualTypeArguments()[0];
    }

    public void receiveData(String notifyMessage){
        T message = JSON.parseObject(notifyMessage, messageClass);
        try {
            process(message);
        }catch (Throwable tr){
            log.error(tr);
        }
    }

    public void sendData(T notifyMessage){
        ccNotifyHelper.sendNotify(getNotifyType(), JSON.toJSONString(notifyMessage));
    }

    protected abstract void process(T message);
}

记得配置一下包扫描

@ComponentScan({
    "org.ccframe.subsys.*.notify" //所有的订阅广播
})

然后写一个子类,收到消息后调用baseservice的清理方法清理本地缓存

package org.ccframe.subsys.core.notify;

import org.apache.commons.lang3.StringUtils;
import org.ccframe.commons.base.BaseService;
import org.ccframe.commons.helper.SpringContextHelper;
import org.ccframe.commons.notify.BaseNotifyListener;
import org.springframework.stereotype.Component;

@Component
public class ClearLocalCacheNotifyListener extends BaseNotifyListener<String> {
    @Override
    public int getNotifyType() {
        return 0;
    }

    @Override
    protected void process(String message) {
        SpringContextHelper.getBean(StringUtils.uncapitalize(message) + "Service", BaseService.class).evictCacheLocal();
    }
}

因此在evictCacheAll最后调用发送清理消息,收到所有的订阅清空本地对应对象缓存即可

	@Override
	public void evictCacheAll() {
		// 清理redis
		RKeys keys = redissonClient.getKeys();
		Iterator<String> keysList = keys.getKeysByPattern(GlobalEx.CACHEREGION_ENTITY + entityClass.getSimpleName() + "-*").iterator();
		List<String> processList = new ArrayList<>();
		while(keysList.hasNext()) {
			processList.add(keysList.next());
			if(processList.size() == 100){
				keys.delete(processList.toArray(new String[processList.size()]));
				processList.clear();
			}
		}
		if(processList.size() > 0){
			keys.delete(processList.toArray(new String[processList.size()]));
		}
		// 广播清理本地缓存
		clearLocalCacheNotifyListener.sendData(entityClass.getSimpleName());
	}

写个controller方法测试一下

    @DubboReference(check=false)
    private IUserService userService;


    @GetMapping("test")
    public QuartzRowDto test(@ApiIgnore HttpServletRequest request) {
        userService.evictCacheAll();
        return new QuartzRowDto();
    }

检查一下,能够收到清理消息清理本地缓存

这样,即可快速的完成本地和远程的指定表缓存的清理,也不受表数据过大影响了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1541926.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

nodejs+vue高校失物招领平台python-flask-django-php

时代在飞速进步&#xff0c;每个行业都在努力发展现在先进技术&#xff0c;通过这些先进的技术来提高自己的水平和优势&#xff0c;高校失物招领平台当然不能排除在外。高校失物招领平台是在实际应用和软件工程的开发原理之上&#xff0c;运用nodejs语言以及express框架进行开发…

如何在 Django 中使用 pyecharts

为项目新建一个目录&#xff0c;将其命名为django_pyecharts_demo, 在终端中切换到这个目录&#xff0c;并创建一个虚拟环境。 python -m venv django_pyecharts激活虚拟环境 django_pyecharts\Scripts\activate要停止使用虚拟环境&#xff0c;可执行命令 deactivate创建并激…

音视频领域首个,阿里云推出华为鸿蒙 HarmonyOS NEXT 版音视频 SDK

近日&#xff0c;阿里云在官网音视频终端 SDK 栏目发布适配 HarmonyOS NEXT 的操作文档和 SDK&#xff0c;官宣 MediaBox 音视频终端 SDK 全面适配 HarmonyOS NEXT。 此外&#xff0c;阿里云播放器 SDK 也在华为开发者联盟官网鸿蒙生态伙伴 SDK 专区同步上线&#xff0c;面向所…

Docker进阶:Docker-cpmpose 实现服务弹性伸缩

Docker进阶&#xff1a;Docker-cpmpose 实现服务弹性伸缩 一、Docker Compose基础概念1.1 Docker Compose简介1.2 Docker Compose文件结构 二、弹性伸缩的原理和实现步骤2.1 弹性伸缩原理2.2 实现步骤 三、技术实践案例3.1 场景描述3.2 配置Docker Compose文件3.3 使用 docker-…

6.4 Dropout正则化

1、Dropout Dropout是一种正则化技术&#xff0c;通过防止特征的协同适应&#xff0c;可用于减少神经网络中的过拟合。 Dropout的效果非常好&#xff0c;实现简单且不会降低网络速度&#xff0c;被广泛使用。 特征的协同适应指的是在训练模型时&#xff0c;共同训练的神经元…

Unity构建详解(3)——SBP的依赖计算

【前置知识】 先要搞清楚Asset和Object的关系&#xff0c;可以简单理解为一个Asset对应多个Object。 unity自定义的Asset也要有一个存储的标准&#xff0c;其采用的是YAML&#xff0c;我们看到的所有Unity自定义的Asset格式&#xff0c;例如.prefab&#xff08;预制体&#x…

基于Google云原生工程师的kubernetes最佳实践(三)

目录 三、集群管理 利用node affinity、taint等机制管理node 通过pod affinity/anti-affinity机制将pod分配到合适的node Node分级管理 从Qos角度将Pod分级 用namespace隔离不同的环境和用户 配置RBAC权限控制 1. 遵循最小权限原则 2. 使用 Role 和 ClusterRole 分离权…

计算机服务器中了faust勒索病毒怎么办,faust勒索病毒解密工具流程

网络是一把利剑&#xff0c;可以方便企业开展各项工作业务&#xff0c;为企业提供极大的便利&#xff0c;但随着网络技术的不断发展与应用&#xff0c;网络数据安全威胁也在不断增加&#xff0c;给企业的正常生产运营带来了极大困扰&#xff0c;近日&#xff0c;云天数据恢复中…

PointerLockControls 是 Three.js 中用于处理鼠标锁定状态下的相机控制的类。它允许用户通过鼠标移动来控制相机的旋转方向。

demo案例 PointerLockControls 是 Three.js 中用于处理鼠标锁定状态下的相机控制的类。它允许用户通过鼠标移动来控制相机的旋转方向。下面是它的详细讲解&#xff1a; 构造函数: PointerLockControls(object: Camera, domElement?: HTMLElement)object&#xff1a;THREE.Ca…

Linux 系统 快速卸载docker

(卸载前一定要做好相关数据的备份) 卸载&#xff1a; 第一种卸载方法 1、查询docker安装过的包&#xff1a; yum list installed | grep docker 2、删除安装包&#xff1a; yum remove docker-ce.x86_64 ddocker-ce-cli.x86_64 -y 3、删除镜像/容器等 rm -rf /var/lib/dock…

力扣面试150 x 的平方根 二分 换底法 牛顿迭代法 一题多解

Problem: 69. x 的平方根 思路 &#x1f468;‍&#x1f3eb; 参考题解 &#x1f496; 袖珍计算器算法 class Solution {public int mySqrt(int x){if (x 0)return 0; // Math.exp(3)&#xff1a;e的三次方int ans (int) Math.exp(0.5 * Math.log(x));return (long) (an…

react native 键盘事件

在做修改密码功能是发现他的键盘第一次调起之后然后收起键盘焦点不会消失而且键盘也不会再调起来了 我门线引入需要的组件 import { StyleSheet, View, TextInput, Keyboard, TouchableWithoutFeedback, } from react-native; import React, {useEffect, useState, useRef} fr…

蓝桥杯真题:幸运数字

这道题可以用 integer.string&#xff08;&#xff09;求每个进制的数&#xff0c;但这里要每一位数相加&#xff0c;所以用这个方法会比较麻烦&#xff0c;如下 import java.util.Scanner; public class Main {public static void main(String[] args) {Scanner scan new Sc…

LeetCode 面试经典150题 14.最长公共前缀

题目&#xff1a; 编写一个函数来查找字符串数组中的最长公共前缀。 如果不存在公共前缀&#xff0c;返回空字符串 ""。 思路&#xff1a; 代码&#xff1a; class Solution {public String longestCommonPrefix(String[] strs) {if (strs.length 0) {return &…

吴恩达2022机器学习专项课程(一) 3.5 可视化成本函数

问题预览 为什么要可视化成本函数&#xff1f;可视化之后的成本函数是什么样子&#xff1f;如何在三维空间里通过w和b找到一个成本函数的值&#xff1f;如何在三维空间里找到成本函数的最小值&#xff1f; 解读 可视化成本函数&#xff1a;为了更加方便的看到不同的w和b&…

【短接笔记本或者台式机的CMOS针脚解决电脑开机无法启动BIOS无法进入问题】

为什么要执行短接笔记本或者台式机的CMOS针脚操作&#xff1f; 问题&#xff1a;可以解决如下图所示&#xff0c;技嘉小雕主板开机时按delete键无法进入BIOS主板界面&#xff0c;长时间等待之后依然无法进入BIOS主板界面&#xff0c;则判定为主板问题。此时短接CMOS针脚可清空…

【数据结构】考研真题攻克与重点知识点剖析 - 第 2 篇:线性表

前言 本文基础知识部分来自于b站&#xff1a;分享笔记的好人儿的思维导图与王道考研课程&#xff0c;感谢大佬的开源精神&#xff0c;习题来自老师划的重点以及考研真题。此前我尝试了完全使用Python或是结合大语言模型对考研真题进行数据清洗与可视化分析&#xff0c;本人技术…

ShardingSphere水平分表——开发经验(2)

1. 什么场景下分表&#xff1f; 数据量过大或者数据库表对应的磁盘文件过大。 Q&#xff1a;多少数据分表&#xff1f; A&#xff1a;网上有人说1kw&#xff0c;2kw&#xff1f;不准确。 1、一般看字段的数量&#xff0c;有没有包含text类型的字段。我们的主表里面是不允许有t…

Github 2024-03-24php开源项目日报 Top10

根据Github Trendings的统计,今日(2024-03-24统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量PHP项目10JavaScript项目1Nextcloud服务器:安全的数据之家 创建周期:2796 天开发语言:PHP, JavaScript协议类型:GNU Affero General Public…

计算机网络⑧ —— IP地址

IP位于TCP/IP参考模型的第三层&#xff0c;也就是⽹络层 ⽹络层的主要作⽤&#xff1a;实现主机与主机之间的通信&#xff0c;也叫点对点通信 问题1&#xff1a;⽹络层(IP)与数据链路层(MAC)有什么关系呢&#xff1f; MAC的作⽤&#xff1a;实现直连的两个设备之间通信。IP的…