Java开发避坑指南，手把手教你写Java项目文档

news2024/10/7 11:25:50

前言

作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”

基于某些原因，许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。

不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。

这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

缓存雪崩

我们首先看下这个正常的缓存流程是怎样的？如下图所示：

可以看到，首先这个用户访问这个某东，然后这个某东去访问这个 Redis，如果 Redis 有该访问数据，就会直接返回查缓存拿到的数据；如果 Redis 缓存没有查到该数据，就会去 MySql 数据库中查询，查询到有结果把从 MySql 中查到的数据同步至 Redis 缓存中去，同时会把这个查询到的结果返回回去。

这是一个简单的正常的缓存流程。那么我们基于这个正常的缓存流程，来看下什么是缓存的雪崩。

首先给大家举个例子，就是在双十一的时候，在某东买东西，进入它的这个首页，由于是双十一，首页的访问量是非常大的，所以首页的很多数据是缓存在 redis 里面的。

假设首页数据存储在 redis 里的 100 个 key，设置的缓存失效时间是两个小时，当在双十一期间，购物超过两个小时之后，这个首页数据的 redis 缓存在这瞬间会全部失效，导致所有的请求都打到这个 MySql 数据库上，此时数据库的访问压力增大，造成这个 MySql 数据库响应不及时而挂掉，从而某东的首页就没办法继续对外提供服务了，然后东哥就特别不开心，把这次的技术负责人送去了非洲。

那么通过这个举例，我们来看下面这个图：

就是说用户访问某东，这个时候 redis 里面的 key 大量失效，导致这个某东直接访问数据库，把大量的请求都打到来数据库，这种现象就是缓存雪崩。简单来说就是 redis 缓存在同一时间大量失效，就像这个雪崩来了一样。

那么缓存雪崩它的解决方案有几种呢？下面来说下：

设置这个缓存的失效时间，不让大量的 key 在同一时间失效，即在设置这个缓存的时候，可以将 key 的失效时间分散开。
我们部署 redis 一般是集群部署的，可以把这些热点的 key 放到不同的节点上去，让这些热点的 key 均匀的分布在不同的 redis 节点上。
还有就是比较暴力的方法，不设置这个缓存失效的时间，让 key 永不失效。

缓存穿透

接下来我们再来介绍什么是缓存穿透。

还是举个例子：比如说某位老哥开发了一个网站，然后这个网站非常的受欢迎，某一天突然遭到了黑客疯狂的攻击，他的这个攻击手段就是采用这个缓存穿透的原理。

大家都知道通常情况下，数据库的主键是从0开始递增的，是没有负数的，那么这位黑客就利用这点，他不断的用 ID 小于零的参数发请求过来。这位老哥刚开始是把网站的所有数据放到了 redis 缓存里面去，但是黑客是用 ID 小于零的数来请求，redis 缓存里面并没有这个 ID 小于零的数据，这样 redis 就查不到这个结果，一旦 redis 查不到结果就会去数据库中查，那么所有请求都会打到数据库，而且会一直打到数据库中去，因为 redis 缓存这层根本拦截不到这样的数据。

redis 缓存直接被这种数据穿透了，直接穿透到数据库里面。同样我们来看下面这个图：

首先这

点击领取2024完整开源项目《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

个恶意用户访问某东，用 id=-1 的数据去请求，然后这个 id=-1 的数据在 redis 缓存里面没有查到，就到数据库里面查询，也没有查到该条数据，只能返回空数据给前端了。

这个恶意用户（黑客）用脚本不断的发这个数据去请求，直接穿透 redis 打到这个数据库上，这就是所谓的缓存穿透。简单来说，缓存穿透就是指缓存和数据库中都没有这样的数据，一般出现这种情况都不是正常的用户在访问。

那么缓存穿透的解决方案有以下几点：

请求如果穿透 redis，直接到数据库，那么数据库无论查出什么结果，都写回到 redis 缓存里面去，这样下次用同一个参数发来请求的时候，就直接被 redis 缓存拦截掉了，就不回打到数据库了。
对请求的参数做合法性校验。
比较直接、简单粗暴的方法，把这个 IP 拉黑。
最后是使用布隆过滤器，这是一个非常好的方式。

缓存击穿

我们再来讲最后一个问题，就是缓存的击穿。

还是拿双十一来举例：东哥在双十一的时候，发话说想搞一个大活动，说想把自己20年前用的电脑拿出来拍卖，然后有巨多人对这个电脑感兴趣，于是东哥决定在双十一当天九点拍卖这台电脑，然后某东的开发程序员，把这台电脑数据放到了 redis 缓存里，即对应 redis 缓存里的一个 key。

拍卖的时候，大家热情都非常的高涨，持续拍卖了将近三个小时，还没有结束这场线上拍卖，但是这台电脑对应的 redis 缓存 key 的失效时间是三个半小时。当大家拍卖到三个半小时的时候，这台电脑的缓存 key 突然失效了，导致这个大量的拍卖请求在 redis 里面查不到数据，从而这些大量请求就会直接打到数据库上，此时数据库的瞬间压力增大，造成响应不及时而挂掉。
这个时候呢，东哥看到自己的这台电脑还没拍卖出去，有点生气，于是把这个程序员送去了非洲。

同样我们也来看下面这个图：