关于缓存 db redis local 取舍之道

news2024/11/15 16:02:32

文章目录

  • 前言
  • 一、影响因素
  • 二、db or redis or local
    • 1.db
    • 2.redis
    • 3. local
  • 三、redisson 和 CaffeineCache 封装
    • 3.1 redisson
      • 3.1.1 maven
      • 3.1.2 封装
      • 3.1.3 使用
    • 3.2 CaffeineCache
      • 3.1.1 maven
      • 3.1.2 封装
      • 3.1.3 使用
  • 总结

前言

让我们来聊一下数据缓存，它是如何为我们带来快速的数据响应的。你知道吗，为了提高数据的读取速度，我们通常会引入数据缓存。但是，你知道吗，不是所有的数据都适合缓存，有些数据更适合直接从数据库查询。现在，我们就来一起讨论一下，什么样的数据适合直接从数据库查询，什么样的数据适合从缓存中读取。这将有助于我们更好地利用缓存，提高系统的性能。让我们开始吧！

一、影响因素

当涉及到数据查询和缓存时，有几个因素可以考虑来确定什么样的数据适合直接从数据库查询，什么样的数据适合从缓存中读取。

  • 访问频率：如果某个数据被频繁访问，且对实时性要求不高，那么将其缓存在内存中会显著提高响应速度。这样的数据可以是经常被查询的热点数据，比如网站的热门文章、商品信息等。

  • 数据更新频率：如果某个数据经常发生更新，那么将其缓存可能导致缓存和数据库中的数据不一致。对于这种情况，最好直接从数据库中查询最新数据。比如用户个人信息、订单状态等经常变动的数据。

  • 数据大小：较大的数据对象，如图片、视频等，由于其体积较大，将其缓存到内存中可能会占用大量资源。这种情况下，可以将这些数据存储在分布式文件系统或云存储中，并通过缓存存储其访问路径或标识符。

  • 数据一致性：一些数据在不同地方的多个副本可能会导致一致性问题。对于需要保持强一致性的数据，建议直接从数据库查询。而对于可以容忍一定程度的数据不一致的场景，可以考虑将数据缓存。

  • 查询复杂度：某些复杂的查询操作可能会消耗大量的计算资源和时间，如果这些查询结果需要频繁访问，可以将其缓存，避免重复计算，提高响应速度。

需要注意的是，数据缓存并非适用于所有情况。缓存的使用需要谨慎，需要权衡数据的实时性、一致性和存储成本等方面的需求。此外，对于缓存数据的更新和失效策略也需要考虑，以确保缓存数据的准确性和及时性。

综上所述，数据适合直接从数据库查询还是缓存读取，取决于数据的访问频率、更新频率、大小、一致性要求和查询复杂度等因素。在实际应用中，需要根据具体情况进行综合考虑和合理选择。

二、db or redis or local

1.db

  • 查询复杂度低
  • 字段少
  • sql执行效率高
  • 实时性高

通常数据库适合查询字典类型数据，如类似 key value 键值对，数据更新频繁，实时性高的数据。
对于sql效率高的查询，redis查询不一定比db查询快。

2.redis

  • 查询复杂度高
  • 字段相对不多
  • 实时性低

Redis适合查询复杂度较高、实时性要求较低的数据。当SQL查询效率较低，或者需要进行字段code和value的转换存储时，Redis可以提供更高效的查询方式。不过，需要注意的是，Redis的主要瓶颈在于数据的序列化和反序列化过程。如果数据量较大，包含大量字段或者数据量巨大，那么Redis的查询速度可能不一定比数据库快，当然此时数据库本身执行效率也低。在这种情况下，我们需要综合考虑数据的复杂度、实时性要求以及数据量的大小，选择最适合的查询方式。有时候，可能需要在数据库和Redis之间进行权衡和折中，以找到最佳的性能和效率平衡点。因此，为了提高查询速度，我们需要根据具体的业务需求和数据特性，选择合适的存储和查询方案。

3. local

  • 查询复杂度高
  • 字段多
  • 实时性低

本地缓存通常是最快的。它可以在内存中直接读取数据，速度非常快。然而，由于受限于内存大小，本地缓存的数据量是有限的。对于那些数据库和Redis难以处理的大型数据，我们可以考虑使用本地缓存。通过将一部分频繁访问的数据存储在本地缓存中，可以大大提高系统的响应速度。这样，我们可以在不牺牲太多内存资源的情况下，快速获取到需要的数据。当然，需要注意的是，由于本地缓存的数据是存储在内存中的，所以在服务器重启或缓存过期时，需要重新从数据库或Redis中加载数据到本地缓存中。因此，在使用本地缓存时，需要权衡数据的大小、更新频率以及内存资源的限制，以获得最佳的性能和可用性。

三、redisson 和 CaffeineCache 封装

提供缓存查询封装，查询不到时直接查数据库后存入缓存。

3.1 redisson

3.1.1 maven

        <dependency>
            <groupId>org.redisson</groupId>
            <artifactId>redisson-spring-boot-starter</artifactId>
        </dependency>

3.1.2 封装

import cn.hutool.core.util.ObjectUtil;
import cn.hutool.core.util.StrUtil;
import cn.hutool.json.JSONUtil;
import com.cuzue.common.core.exception.BusinessException;
import com.cuzue.dao.cache.redis.RedisClient;
import org.redisson.api.RBucket;
import org.redisson.api.RKeys;
import org.redisson.api.RedissonClient;

import java.util.List;
import java.util.concurrent.TimeUnit;
import java.util.function.Supplier;

public class RedisCacheProvider {

    private static RedissonClient redissonClient;

    public RedisCacheProvider(RedissonClient redissonClient) {
        this.redissonClient = redissonClient;
    }

    /**
     * 从redissonClient缓存中取数据，如果没有，查数据后存入
     *
     * @param key         redis key
     * @param dataFetcher 获取数据
     * @param ttl         缓存时间
     * @param timeUnit    缓存时间单位
     * @param <T>
     * @return 数据
     */
    public <T> List<T> getCachedList(String key, Supplier<List<T>> dataFetcher, long ttl, TimeUnit timeUnit) {
        if (ObjectUtil.isNotNull(redissonClient)) {
            // 尝试从缓存中获取数据
            List<T> cachedData = redissonClient.getList(key);
            if (cachedData.size() > 0) {
                // 缓存中有数据，直接返回
                return cachedData;
            } else {
                // 缓存中没有数据，调用数据提供者接口从数据库中获取
                List<T> data = dataFetcher.get();
                cachedData.clear();
                cachedData.addAll(data);
                // 将数据存入缓存，并设置存活时间
                // 获取 bucket 对象，为了设置过期时间
                RBucket<List<T>> bucket = redissonClient.getBucket(key);
                // 为整个列表设置过期时间
                bucket.expire(ttl, timeUnit);
                // 返回新获取的数据
                return data;
            }
        } else {
            throw new BusinessException("redissonClient has not initialized");
        }
    }

    /**
     * 删除缓存
     *
     * @param key redis key
     */
    public void deleteCachedList(String systemName, String key) {
        if (ObjectUtil.isNotNull(redissonClient)) {
            RKeys keys = redissonClient.getKeys();
            keys.deleteByPattern(key);
        } else {
            throw new BusinessException("redis client has not initialized");
        }
    }
}

3.1.3 使用

启动类添加：@Import({RedissonConfig.class})
直接引用：


@Resource
private RedissonClient redissonClient;

//缓存数据获取
public List<MatMaterialsResp> listCache(ListQO qo) {
    RedisCacheProvider cache = new RedisCacheProvider(redissonClient);
    List<MatMaterialsResp> resps = cache.getCachedList("testList", () -> {
        // 缓存数据查询
    }, 20, TimeUnit.SECONDS);
    return resps;
}

3.2 CaffeineCache

也可以使用hashMap

3.1.1 maven

       <dependency>
            <groupId>com.github.ben-manes.caffeine</groupId>
            <artifactId>caffeine</artifactId>
            <version>3.0.5</version>
        </dependency>

3.1.2 封装

CaffeineCache<K, V>

import com.github.benmanes.caffeine.cache.Cache;
import com.github.benmanes.caffeine.cache.Caffeine;
import com.github.benmanes.caffeine.cache.Weigher;

import java.util.concurrent.TimeUnit;
import java.util.function.Function;

public class CaffeineCache<K, V> {
    private final Cache<K, V> cache;

    /**
     * 不过期缓存
     *
     * @param maxSize 缓存条目数量 注意对象大小不要超过jvm内存
     */
    public CaffeineCache(long maxSize) {
        this.cache = Caffeine.newBuilder()
                .maximumSize(maxSize)
                .build();
    }

    /**
     * 初始化Caffeine
     *
     * @param maxSize
     * @param expireAfterWriteDuration
     * @param unit
     */
    public CaffeineCache(long maxSize, long expireAfterWriteDuration, TimeUnit unit) {
        this.cache = Caffeine.newBuilder()
                .maximumSize(maxSize)
                .expireAfterWrite(expireAfterWriteDuration, unit)
                .build();
    }

    /**
     * 初始化Caffeine 带权重
     *
     * @param maxSize
     * @param weigher                  权重
     * @param expireAfterWriteDuration
     * @param unit
     */
    public CaffeineCache(long maxSize, Weigher weigher, long expireAfterWriteDuration, TimeUnit unit) {
        this.cache = Caffeine.newBuilder()
                .maximumSize(maxSize)
                .weigher(weigher)
                .expireAfterWrite(expireAfterWriteDuration, unit)
                .build();
    }

    public V get(K key) {
        return cache.getIfPresent(key);
    }

    public void put(K key, V value) {
        cache.put(key, value);
    }

    public void remove(K key) {
        cache.invalidate(key);
    }

    public void clear() {
        cache.invalidateAll();
    }

    // 如果你需要一个加载功能（当缓存miss时自动加载值），你可以使用这个方法
    public V get(K key, Function<? super K, ? extends V> mappingFunction) {
        return cache.get(key, mappingFunction);
    }

    // 添加获取缓存统计信息的方法
    public String stats() {
        return cache.stats().toString();
    }
}

LocalCacheProvider

import cn.hutool.core.util.ObjectUtil;
import com.cuzue.dao.cache.localcache.CaffeineCache;

import java.util.List;
import java.util.concurrent.TimeUnit;
import java.util.function.Function;
import java.util.function.Supplier;

/**
 * 本地缓存
 */
public class LocalCacheProvider {

    private static CaffeineCache cache;

    /**
     * 无过期时间
     * @param maxSize 缓存最大条数
     */
    public LocalCacheProvider(long maxSize) {
        cache = new CaffeineCache(maxSize);
    }

    /**
     * 带过期时间
     * @param maxSize 缓存最大条数
     * @param ttl 过期时间
     * @param timeUnit 时间单位
     */
    public LocalCacheProvider(long maxSize, long ttl, TimeUnit timeUnit) {
        cache = new CaffeineCache(maxSize, ttl, timeUnit);
    }

    public static <T> List<T> getCachedList(String key, Supplier<List<T>> dataFetcher) {
        if (ObjectUtil.isNotNull(cache.get(key))) {
            return (List<T>) cache.get(key);
        } else {
            List<T> data = dataFetcher.get();
            cache.put(key, data);
            return data;
        }
    }

    public static <T> List<T> getCachedList(String key, Function<String, List<T>> dataFetcher) {
        return (List<T>) cache.get(key, dataFetcher);
    }

    /**
     * 删除缓存
     *
     * @param key redis key
     */
    public void deleteCachedList(String key) {
        cache.remove(key);
    }
}

3.1.3 使用

//初始化caffeine对象
LocalCacheProvider cache = new LocalCacheProvider(5000, 20, TimeUnit.SECONDS);

//缓存数据获取
public List<MatMaterialsResp> listLocalCache(ListQO qo) {
    List<MatMaterialsResp> resps = cache.getCachedList("testList", (s) -> {
	  // 缓存数据查询
    });
    return resps;
}

注意：Caffeine 实现的缓存占用 JVM 内存，小心 OutOfMemoryError

解决场景:
1.本地缓存适用不限制缓存大小,导致OOM，适合缓存小对象
2.本地缓存长时间存在,未及时清除无效缓存,导致内存占用资源浪费
3.防止人员api滥用, 未统一管理随意使用,导致维护性差等等

总结

从前的无脑经验，db查询慢，redis缓存起来，redis真不一定快！
一个简单性能测试：（测试响应时间均为二次查询的大概时间）

  1. 前置条件： 一条数据转换需要200ms，共5条数据，5个字段项，数据量大小463 B
db > 1s
redis > 468ms
local > 131ms
  1. 去除转换时间，直接响应
db > 208ms
redis > 428ms
local > 96ms

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1403848.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

01 Redis的特性

01 Redis的特性

1.1 NoSQL NoSQL&#xff08;“non-relational”&#xff0c; “Not Only SQL”&#xff09;&#xff0c;泛指非关系型的数据库。 键值存储数据库 &#xff1a; 就像 Map 一样的 key-value 对。如Redis文档数据库 &#xff1a; NoSQL 与关系型数据的结合&#xff0c;最像关系…
阅读更多...
Linux的一些快捷键（hot keyboard）

Linux的一些快捷键（hot keyboard）

Ctrl Alt t&#xff1a;打开bash&#xff08;就是命令框窗口&#xff09; Ctrl Alt F3~F6&#xff1a;打开tty终端&#xff08;纯命令行终端&#xff0c;每个Linux发行版不相同&#xff0c;我的是Ubuntu20版&#xff09; Alt F4&#xff1a;关闭当前窗口&#xff08;Windo…
阅读更多...
扫地机器人（二分算法+贪心算法）

扫地机器人（二分算法+贪心算法）

1. if(robot[i]-len<sweep)这个代码的意思是——如果机器人向左移动len个长度后&#xff0c;比现在sweep的位置&#xff08;现在已经覆盖的范围&#xff09;还要靠左&#xff0c;就是覆盖连续不起来&#xff0c;呢么这个len就是有问题的&#xff0c;退出函数&#xff0c;再…
阅读更多...
HTTP 基本概念

HTTP 基本概念

1. HTTP &#xff08;Hypertext Transfer Protocol&#xff09;超文本传输协议&#xff0c;是互联网上应用最为广泛的协议之一。 小林coding的解析特别通俗易懂 https://xiaolincoding.com/network/2_http/http_interview.html#http-%E6%98%AF%E4%BB%80%E4%B9%88 协议&#…
阅读更多...
elementPlust 的el-select在提示框关闭时自动弹出

elementPlust 的el-select在提示框关闭时自动弹出

问题&#xff1a; 当el-select添加filterable属性时&#xff0c;弹提示窗时&#xff0c;点击确定后&#xff0c;下拉框会自动弹出 分析&#xff1a; 主要问题就是因为filterable属性&#xff0c;根本解决方案是选中的时候让他失去焦点 el-select有一个visible-change事件&…
阅读更多...
本地生活服务平台加盟，成功路上的注意事项

本地生活服务平台加盟，成功路上的注意事项

近年来&#xff0c;随着短视频的快速发展&#xff0c;本地生活服务成为了一个蓬勃发展的行业。作为创业者&#xff0c;加盟本地生活服务平台是一个有潜力的商机。然而&#xff0c;在决定加入并投资之前&#xff0c;有一些关键的注意事项需要考虑。 选择一个信誉良好、口碑较好的…
阅读更多...
【PWN · 格式化字符串|劫持fini_array|劫持got表】[CISCN 2019西南]PWN1

【PWN · 格式化字符串|劫持fini_array|劫持got表】[CISCN 2019西南]PWN1

格式化字符串的经典利用&#xff1a;劫持got表。但是遇到漏洞点只能执行一次的情况&#xff0c;该怎么办&#xff1f; 前言 如果存在格式化字符串&#xff0c;保护机制开的不健全&#xff0c;通常可以劫持got表&#xff0c;构造后门函数。然而&#xff0c;如果不存在循环、栈溢…
阅读更多...
手机流量卡信号弱强好坏是哪些因素来决定的呢？

手机流量卡信号弱强好坏是哪些因素来决定的呢？

大家好&#xff0c;我是平台小编&#xff0c;现在是不是还有很多人一直认为这个手机信号是跟这个卡是有直接关系的&#xff0c;信号不好的时候&#xff0c;就是手机卡的问题呢&#xff1f;下面我就给大家普及一下这个常识&#xff0c;希望能对大家有帮助&#xff01; 大家千万不…
阅读更多...
CentOS配置阿里云yum源和阿里云epel源

CentOS配置阿里云yum源和阿里云epel源

CentOS配置阿里云yum源和阿里云epel源 前言&#xff1a;一、 备份二、 配置阿里云yum源三、 配置阿里云epel源四、测试 前言&#xff1a; 阿里云地址 https://developer.aliyun.com/mirror/一、 备份 cd /etc/yum.repos.d/ && mkdir bak mv *.repo *repo.rpmnew ./b…
阅读更多...
从编程中思考：大脑的局部与全局模式（一）

从编程中思考：大脑的局部与全局模式（一）

郭靖正在帐篷中用Unity写代码&#xff0c;刚写完一段代码。欧阳锋从帐篷外走进来&#xff0c;正要说点什么&#xff0c;郭靖反应敏捷&#xff0c;转身反手一招神龙摆尾击出&#xff0c;将欧阳锋震出帐篷&#xff0c;灰溜溜逃跑。 using UnityEngine;public class LocalGlobalD…
阅读更多...
[MySQL]关于表的增删改查

[MySQL]关于表的增删改查

目录 1.插入 1.1单行数据全列插入 1.2多行插入&#xff0c;指定列插入 ​编辑2.查询 2.1全列查询 2.2指定列查询 3.3查询字段为表达式 2.4别名 ​编辑2.5去重 2.6排序 2.7条件查询 2.7.1基本查询: 2.7.2 AND 和OR 2.7.3范围查询 2.7.4模糊查询 2.7.5分页查询 limit …
阅读更多...
竞赛保研 机器视觉目标检测 - opencv 深度学习

竞赛保研 机器视觉目标检测 - opencv 深度学习

文章目录 0 前言2 目标检测概念3 目标分类、定位、检测示例4 传统目标检测5 两类目标检测算法5.1 相关研究5.1.1 选择性搜索5.1.2 OverFeat 5.2 基于区域提名的方法5.2.1 R-CNN5.2.2 SPP-net5.2.3 Fast R-CNN 5.3 端到端的方法YOLOSSD 6 人体检测结果7 最后 0 前言 &#x1f5…
阅读更多...
微服务JWT的介绍与使用

微服务JWT的介绍与使用

1. 无状态登录 1.1 微服务的状态 ​ 微服务集群中的每个服务&#xff0c;对外提供的都是Rest风格的接口&#xff0c;而Rest风格的一个最重要的规范就是&#xff1a;服务的无状态性。 ​ 什么是无状态&#xff1f; 服务端不保存任何客户端请求者信息客户端的每次请求必须具备…
阅读更多...
140基于matlab的求解转子系统前三个临界转速和主振型的传递矩阵法转子系统的不平衡响应

140基于matlab的求解转子系统前三个临界转速和主振型的传递矩阵法转子系统的不平衡响应

基于matlab的求解转子系统前三个临界转速和主振型的传递矩阵法转子系统的不平衡响应。参数涉及等截面参数、材料参数、轮盘参数。程序已调通&#xff0c;可直接运行。 140 matlab临界转速及振型 (xiaohongshu.com)
阅读更多...
pod 报错Failed to connect to github.com port 443

pod 报错Failed to connect to github.com port 443

pod 报错Failed to connect to github.com port 443 1、排查代理问题1.1、查找网络代理1.2、修改 Git 的代理 2、排查DNS解析问题2.1、查找 ip地址2.2、修改 host 文件 1、排查代理问题 1.1、查找网络代理 打开 设置 --> 网络与Internet --> 查找代理 1.2、修改 Git …
阅读更多...
在IDEA中使用快捷键让XML注释更加规范

在IDEA中使用快捷键让XML注释更加规范

Setting -> Editor -> Code Style -> XML 取消勾选 Line comment at first column 这样我们在使用ctrl / 快速注释时&#xff0c;就可以让注释符号紧贴注释内容&#xff0c;不出现空格。
阅读更多...
k8s-helm

k8s-helm

Helm: 什么是helm,在没有这个heml之前&#xff0c;deployment service ingress的作用就是通过打包的方式&#xff0c;把deployment service ingress这些打包在一块&#xff0c;一键式的部署服务&#xff0c;类似于yum 官方提供的一个类似于安全仓库的功能&#xff0c;可以实现…
阅读更多...
C++ 20 Module

C++ 20 Module

头文件包含一直是C/C的传统&#xff0c;它使代码声明与实现分离&#xff0c;但它有一个非常大的问题就是会被重复编译&#xff0c;拖累编译速度。 通常一个标准头文件iostream展开后可能达几十万甚至上百万行。笔者使用下面的示例进行测试&#xff0c;新建一个main.cc&#xf…
阅读更多...
自动文章生成软件：自用工具推荐与使用技巧

自动文章生成软件：自用工具推荐与使用技巧

在信息爆炸的时代&#xff0c;内容创作已成为企业和个人提升品牌影响力、增加流量和提升知名度的重要手段。然而&#xff0c;手动撰写大量文章既费时又费力。有没有一种方法可以快速、高效地生成文章呢&#xff1f;答案是肯定的&#xff0c;今天我们就来分享一款自用的AI批量生…
阅读更多...
（十一）Head first design patterns状态模式（c++）

（十一）Head first design patterns状态模式（c++）

状态模式 如何去描述状态机&#xff1f; 假设你需要实例化一台电梯&#xff0c;并模仿出电梯的四个状态&#xff1a;开启、关闭、运行、停止。也许你会这么写 class ILift{ public:virtual void open(){}virtual void close(){}virtual void run(){}virtual void stop(){} }…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023