面试篇:Redis

news2024/11/24 21:04:13

一、缓存穿透

1、缓存穿透

  • 查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都查数据库。
  • 即:大量请求根本不存在的key 

 2、查询流程

3、出现原因

  • 业务层误将缓存和库中的数据删除了,也可能是有人恶意攻击,专门访问库中不存在的数据 

4、解决方法一(设置value为null)

缓存空数据,查询返回的数据为空,仍把这个空结果进行缓存 

 

  • 优点:简单
  • 缺点:消耗内存,可能导致不一致性 

5、解决方法二(布隆过滤器)

bitmap(位图):相当于是一个以 (bit) 位为单位的数组,数组中每个单元只能存储二进制数0或1。

布隆过滤器作用:布隆过滤器可以用于检索一个元素是否在一个集合中。

 

 当访问id存在的时候,会根据布隆过滤器的hash函数获取hash值来计算相应的位置并且修改0为1。当查询的时候就会根据生成的hash函数获取hash值判断对应位置是否为1,如果都为1,则可以进入redis缓存查询,否则不可以。

误判: 为空的数据计算的hash值在数组中都为1,但实际上该数据不存在

误判率:数组越小误判率就越大,数组越大误判率就越小,但是同时带来了更多的内存消耗。一般误判率是5%。

  • 布隆过滤器优点:内存占用较少,没有多余key。
  • 布隆过滤器优点:实现复杂,存在误判。

6、概括

Redis的使用场景

  • 根据自己简历上的业务进行回答
  • 缓存:穿透、击穿、雪崩、双写一致、持久化、数据过期、淘汰策略
  • 分布式锁:setnx、redisson

什么是缓存穿透,怎么解决 

  • 缓存穿透:查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都查数据库。
  • 解决方案一:缓存空数据
  • 解决方案二:布隆过滤器

7、 面试官:什么是缓存穿透?怎么解决?

  • 缓存穿透是指查询一个一定不存在的数据,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到 DB 去查询,可能导致 DB 挂掉。这种情况大概率是遭到了攻击。
  • 解决方案的话,我们通常都会用布隆过滤器来解决它。

8、 面试官:你能介绍一下布隆过滤器吗?

  • 布隆过滤器主要是用于检索一个元素是否在一个集合中。我们当时使用的是redisson实现的布隆过滤器。
  • 它的底层主要是先去初始化一个比较大数组,里面存放的二进制0或1。在一开始都是0,当一个key来了之后经过3次hash计算,模于数组长度找到数据的下标然后把数组中原来的0改为1,这样的话,三个数组的位置就能标明一个key的存在。查找的过程也是一样的。
  • 当然是有缺点的,布隆过滤器有可能会产生一定的误判,我们一般可以设置这个误判率,大概不会超过5%,其实这个误判是必然存在的,要不就得增加数组的长度,其实已经算是很划分了,5%以内的误判率一般的项目也能接受,不至于高并发下压倒数据库。

二、缓存击穿

1、概念

  • 给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB压垮。
  • 即:redis中一个热点key过期(大量用户访问该热点key,但是热点key过期)

 2、解决方法一(互斥锁)

  • 优点:强一致性
  • 缺点:性能差
  • 适用于与交易相关的业务 

当线程1查询缓存的时候,未命中缓存,然后获取互斥锁成功。此时线程1去查询数据库,将数据写入缓存,最后释放锁。

在线程1查询缓存的时候,未命中缓存,然后线程2去获取互斥锁,获取失败,因为线程1获取到了互斥锁,此时线程2只能休眠一会再重试。当线程1写入缓存成功后并释放锁的同时,线程2重试命中缓存,命中成功直接获取缓存。

3、解决放法二(逻辑过期)

  • 优点:高可用,性能好
  • 缺点:数据不一致
  • 适用于注重用户的体验

4、概括

  • 缓存击穿:给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB压垮。
  • 解决方案一:互斥锁,强一致,性能差。
  • 解决方案二:逻辑过期,高可用,性能优,不能保证数据绝对一致。

5、 面试官:什么是缓存击穿 ? 怎么解决 ?

  • 缓存击穿的意思是对于设置了过期时间的key,缓存在某个时间点过期的时候,恰好这时间点对这个Key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端 DB 加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把 DB 压垮。
  • 解决方案有两种方式:
  • 第一可以使用互斥锁:当缓存失效时,不立即去load db,先使用如 Redis 的 setnx或者Redisson去设置一个互斥锁。当操作成功返回时再进行 load db的操作并回设缓存,否则重试get缓存的方法
  • 第二种方案可以设置当前key逻辑过期,大概是思路如下:
    • ①在设置key的时候,设置一个过期时间字段一块存入缓存中,不给当前key设置过期时间。
    • ②当查询的时候,从redis取出数据后判断时间是否过期。
    • ③如果过期则开通另外一个线程进行数据同步,当前线程正常返回数据,这个数据不是最新。
  • 当然两种方案各有利弊:
    • 如果选择数据的强一致性,建议使用分布式锁的方案,性能上可能没那么高,锁需要等,也有可能产生死锁的问题
    • 如果选择key的逻辑删除,则优先考虑的高可用性,性能比较高,但是数据同步这块做不到强一致。

三、缓存雪崩

1、缓存雪崩

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。

 2、查询流程

3、解决方法

  • 给不同的Key的TTL添加随机值。
  • 集群模式利用Redis集群提高服务的可用性哨兵模式。(哨兵模式,集群模式)
  • 给缓存业务添加降级限流策略。(nginx或者Spring Cloud GateWay)
  • 给业务添加多级缓存。
     

4、面试官:什么是缓存雪崩?怎么解决 ?

  • 缓存雪崩意思是设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发到DB,DB 瞬时压力过重雪崩。与缓存击穿的区别:雪崩是很多key,击穿是某一个key缓存。
  • 解决方案主要是可以将缓存失效时间分散开,比如可以在原有的失效时间基础上增加一个随机值,比如1-5分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。 

5、打油诗速记

  •                 《缓存三兄弟》
  • 穿透无中生有key,布隆过滤null隔离。
  • 缓存击穿过期key,锁与非期解难题。
  • 雪崩大量过期key,过期时间要随机。
  • 面试必考三兄弟,可用限流来保底 。

四、redis做为缓存,mysql的数据如何与redis进行同步呢?(双一致性) 

 1、双写一致性

  • 当修改了数据库的数据也要同时更新缓存的数据,缓存和数据库的数据要保持一致。
  • 读操作:缓存命中,直接返回;缓存未命中查询数据库,写入缓存,设定超时时间。
  • 写操作:延迟双删。

那么先删除缓存还是先修改数据库呢? (2.3)

那么为什么要删除两次缓存呢?(4)

那么为什么要延时删除呢?(5)

2、先删除缓存再修改数据库

此时缓存和数据库的值分别为10,10

 

如下是正常的情况,数据库和缓存的值修改正常 

 

但是一般而言线程是交叉进行的

 此时缓存和数据库的值分别为10,20。造成了数据库和缓存不一致情况

 

3、先修改数据库再删除缓存

此时缓存和数据库的值分别为10,10

 

如下是正常的情况,数据库和缓存的值修改正常  

但是一般而言线程是交叉进行的

  此时缓存和数据库的值分别为10,20。造成了数据库和缓存不一致情况

 

4、为什么要进行两次删除缓存呢?

为了保证缓存和数据库的一致性。因为不管是先修改数据库还是先删缓存都会导致数据库和缓存的值不同。而两次删除缓存会避免这种情况发生。但是一般情况下数据库都是主从分离的,所以可能出现主从数据库数据不一致的情况。

5、为什么要进行延迟双删呢?

一般情况下数据库都是主从分离的,所以可能出现主从数据库数据不一致的情况。为了避免这种情况,就会延迟一会,等待主节点同步到从节点。所以要延时,但是这个延时时间不好控制,在这个过程中依然可能会出现脏数据。所以延时双删只是控制减少了脏数据的出现,但无法避免脏数据的出现。

6、一致性方法一(强一致性)

使用分布式锁来避免数据的不一致性

但是这种普通的读写加锁性能太差,所以可以使用读写锁来处理这种问题。因为缓存一般都是读多写少,所以可以分别使用读锁和写锁来进行加锁

  • 共享锁:读锁readLock,加锁之后,其他线程可以共享读操作
  • 排他锁:独占锁writeLock,加锁之后,阻塞其他线程读写操作

 读锁相关代码,注意读锁和写锁的锁名必须一致

 写锁相关代码

但是此方法虽然保持了强一致,但是性能不高。 

7、一致性方法二(异步通知保证数据的最终一致性)

 

8、概括

redis做为缓存,mysql的数据如何与redis进行同步呢? (双写一致性)

  • 介绍自己简历上的业务,我们当时是把文章的热点数据存入到了缓存中,虽然是热点数据,但是实时要求性并没有那么高,所以,我们当时采用的是异步的方案同步的数据
  • 我们当时是把抢券的库存存入到了缓存中,这个需要实时的进行数据同步,为了保证数据的强一致,我们当时采用的是redisson提供的读写锁来保证数据的同步

那你来介绍一下异步的方案(你来介绍一下redisson读写锁的这种方案)

允许延时一致的业务,采用异步通知

  • 使用MQ中间中间件,更新数据之后,通知缓存删除

强一致性的,采用Redisson提供的读写锁o

  • 共享锁: 读锁readLock,加锁之后,其他线程可以共享读操作
  • 排他锁:独占锁writeLock也叫,加锁后,阻塞其他线程读写操作 

 9、面试官:redis做为缓存,mysql的数据如何与redis进行同步呢?(双写一致性)

  • 嗯!就说我最近做的这个项目,里面有xxxx(根据自己的简历上写)的功能,需要让数据库与redis高度保持一致,因为要求时效性比较高,我们当时采用的读写锁保证的强一致性。
  • 我们采用的是redisson实现的读写锁,在读的时候添加共享锁,可以保证读读不互斥,读写互斥。当我们更新数据的时候,添加排他锁,它是读写,读读都互斥,这样就能保证在写数据的同时是不会让其他线程读数据的,避免了脏数据。这里面需要注意的是读方法和写方法上需要使用同一把锁才行。

10、面试官:那这个排他锁是如何保证读写、读读互斥的呢? 

  • 其实排他锁底层使用也是setnx,保证了同时只能有一个线程操作锁住的方法

11、面试官:你听说过延时双删吗?为什么不用它呢?

  • 延迟双删,如果是写操作,我们先把缓存中的数据删除,然后更新数据库,最后再延时删除缓存中的数据,其中这个延时多久不太好确定,在延时的过程中可能会出现脏数据,并不能保证强一致性,所以没有采用它。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/460295.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

3台服务器+StarVCenter,搭建“超融合云平台”-完美体验-跑100台虚拟机

3台服务器StarVCenter,搭建“超融合云平台”-完美体验-跑100台虚拟机 我们通常讲的“超融合(HCI)”是一种云平台基础架构方案,它无需专用的存储设备, 每台服务器既承担计算又存储数据, 只需增加服务器&…

SpringMVC-RESTful架构风格

目录 RESTful架构风格 1、RESTful概述 2、RESTful的六大原则 3、RESTful的实现 4、HiddenHttpMethodFilter RESTful风格的CRUD 1、环境搭建 2、功能需求 3、功能:访问首页 4、功能:查询所有数据 5、功能:删除一条数据 6、功能&…

Web服务

安装 WEB 服务; ~ 服务以用户 webuser 系统用户运行; ~ 限制 web 服务只能使用系统 500M 物理内存; ~ 全站点启用 TLS 访问,使用本机上的“CSK Global Root CA”颁 发机构颁发,网站证书信息如下: C…

财报解读:涅槃重生之后,新东方还想再造一个“文旅甄选”?

新东方逐渐走出了“微笑曲线”。 图源:新东方2023财年Q3财报 2023年4月19日,新东方披露了2023财年Q3财报(截至2023年2月28日止),营收7.5亿美元,同比增长22.8%;归母净利润为8165万美元&#xff…

2023年4月份上新的视频领域分割模型设计系列论文(附下载链接)

来源:投稿 作者:王老师 编辑:学姐 论文1 论文标题: Boosting Video Object Segmentation via Space-time Correspondence Learning 论文链接: https://arxiv.org/pdf/2304.06211v1.pdf代码链接:暂未开源 …

QGIS数据可视化学习笔记02——CSV数据和表连接

在其他的GIS软件中,表的连接操作是十分常用的操作,在QGIS中也是一样的,接下来我们介绍QGIS中属性表之间的连接以及如何添加CSV数据到属性表中。 1、表的连接 &emsp如关系型数据库一样,两表连接的前提是,两个表中都…

使用大模型进行代码阅读——关于LLaMA模型代码的一些思考

使用大模型进行代码阅读 关于LLaMA模型代码的一些思考 关于这个模型的代码其实挺简单的,如果了解transformer decoder的代码,这个代码理解起来相对会比较容易一些,但是在这个代码里面有几个问题,是自己的一些思考或者是疑问点吧…

【NLP教程】用python调用百度AI开放平台进行情感倾向分析

一、背景 Hi,大家!我是 马哥python说 ,一名10年程序猿。 今天我来演示一下:通过百度AI开放平台,利用python调用百度接口进行中文情感倾向分析,并得出情感极性分为积极、消极还是中性以及置信度结果。 二…

HTB-Cache

HTB-Cache 信息收集80端口 立足www-data -> ashash -> luffyluffy -> root 信息收集 80端口 主页是一些hacker的介绍。 作者介绍能收集可能的用户名ASH以及有一个其他项目可能有用,如下: “Check out his other projects like Cache:HMS(Hosp…

【Python小技巧】使用Gradio 构建基于ChatGPT的AI绘图 Web 应用(附源码)

文章目录 前言一、Gradio是什么?二、使用Gradio构建基于ChatGPT的 Web 应用1. 安装gradio库2. 安装openai库(ChatGPT的python库)3. Web 应用示例(源代码) 总结 前言 都说ChatGPT也可以生成图片,好奇的我也…

母婴市场竞争激烈,如何通过软文营销脱颖而出

如今,随着宝宝数量增加以及人们对孩子的重视程度的增加,母婴市场愈发火爆。然而,母婴行业的竞争也越来越激烈,企业需要不断开拓新市场才能生存。在这样的情况下,软文营销成为了母婴企业拓展市场的一种有效方式。 首先&…

Docker Compose的安装教程、使用教程示例

Docker Compose的安装教程、使用教程示例 安装教程下载修改权限创建软链测试是否安装成功 使用教程1: 定义python应用2.创建容器的Dockerfile文件3.定义docker-compose脚本web容器:redis容器: 4.使用Compose构建并运行您的应用程序5.访问浏览器 安装教程…

【人体姿态估计】(一)原理介绍

【人体姿态估计】(一)原理介绍 一、背景 人体姿态估计本质上是一个关键点检测的项目; 关键点检测在生活中的应用十分广泛,包括人脸识别、手势识别,而人体姿态估计则是对身体的关键点进行检测; 本文将介…

Python学习中更适合中国宝宝的报错整理~

人生苦短,我用python 最近有很多小伙伴说实在是看不懂报错的类型, 这次就给大家整理好了基本上玩python会遇到的报错问题 更适合中国宝宝体制喔~ python 安装包资料:点击此处跳转文末名片获取 在python中不同的异常可以用不同的类型 (pyt…

【Python小技巧】使用Gradio构建基于ChatGPT的 Web 应用(附源码)

文章目录 前言一、Gradio是什么?二、使用Gradio构建基于ChatGPT的 Web 应用1. 安装gradio库2. 安装openai库(ChatGPT的python库)3. Web 应用示例(源代码) 总结 前言 随着人工智能的不断发展,各种智能算法越…

爆料一家互联网中厂的年终奖,真香。

前不久刷到宇宙条32岁员工14万的月薪截图,突然想起来已经快四月底了,正是各大互联网公司年终奖开奖的时候,但相比以往,今年互联网圈好像安静了很多。各种“凡尔赛”的年终奖金额刷屏的情况不复存在。 各家大厂都暗戳戳地分完了奖…

js实现iframe框架的面包屑功能

js实现iframe框架的面包屑功能 什么是iframe框架什么是面包屑面包屑的js实现思路代码实现小结 什么是iframe框架 iFrame全称Inline Frame是HTML中的一个标签,用于在一个HTML文档中嵌入另一个HTML文档。iFrame框架可以将一个HTML文档嵌入到另一个HTML文档中的一个独…

后代选择器

知识点&#xff1a; 代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta http-equiv"X-UA-Compatible" content"IEedge"> <meta name"viewport" c…

深度学习入门到实践:相关基础概述

绪论 深度学习&#xff08;Deep Learning&#xff09;是近年来发展十分迅速的研究领域&#xff0c;并且在人工智能的很多子领域都取得了巨大的成功。从根源来讲&#xff0c;深度学习是机器学习的一个分支&#xff0c;是指一类问题以及解决这类问题的方法。     深度学习问题…

【Arduino SD卡和数据记录教程】

【Arduino SD卡和数据记录教程】 1. 前言2. 工作原理3. Arduino SD 卡模块代码4. Arduino SD卡数据记录1. 前言 在本Arduino教程中,我们将学习如何将SD卡模块与Arduino板一起使用。此外,结合DS3231实时时钟模块,我们将制作一个数据记录示例,将温度传感器的数据存储到SD卡中…