Redis模拟消息队列实现异步秒杀

news2024/11/15 12:36:04

目录

一、消息队列含义

二、Redis实现消息队列

1、基于List的结构模拟实现消息队列

2、基于PubSub的消息队列

3、基于Stream的消息队列

4、基于Stream的消息队列- 消费者组

一、消息队列含义

消息队列（Message Queue），字面意思就是存放消息的队列.。最简单的消息队列包括三个角色：

  • 消息队列：存储和管理消息，也被称为消息代理（Message Broker）
  • 生产者：发送消息到消息队列
  • 消费者：从消息队列中获取并处理消息

实现异步秒杀时，生产者进行秒杀时间和库存校验，然后发送优惠卷的id和用户的id到消息队列

消费者去消息队列接收消息，实现数据库的交互

达到 削峰 异步 解耦 的目的

Redis提供了三种不同的方法来实现消息队列：

  • List：基于List结构模拟消息队列
  • PubSub：基本的点对点消息模型
  • Stream：比较完善的消息模型

这里先附上官方文档：Commands | Docs

二、Redis实现消息队列

1、基于List的结构模拟实现消息队列

消息队列(Message Queue)，字面意思就是存放消息的队列。而Redis的list数据结构是一个双向链表，很容易模拟出队列效果。

队列是入口和出口不在一处，我们可以通过：LPUSH和RPOP，或者LPOP结合RPUSH来实现

不过要注意的是，当队列中没有消息时RPOP或LPOP操作会返回null，并不像JVM的阻塞队列那样会阻塞并等待消息。
因此这里应该使用BRPOP或者BLPOP来实现阻塞效果。

这里通过左侧出右侧进的方式实现的阻塞式消息队列，左侧生产者有元素就取，没有元素就等待

这样可以简单的实现一个消息队列

让我们来看看基于LIst的消息队列的优缺点：

优点:

  • 利用Redis存储，不受限于JVM内存上限
  • 基于Redis的持久化机制，数据安全性有保证
  • 可以满足消息有序性

缺点:

  • 无法避免消息丢失：如果消费者拿走的消息，但是服务异常无法正常执行，那么这条消息就会丢失
  • 只支持单消费者：一条消息只能被一个消费者拿走
2、基于PubSub的消息队列

Pubsub(发布订阅也就是publish和subscribe)是Redis2.0版本引入的消息传递模型。顾名思义，消费者可以订阅一个或多个channel，生产者向对应channel发送消息后，所有订阅者都能收到相关消息。

实现的基本命令有：

  • SUBSCRIBE channel [channel]：订阅一个或多个频道
  • PUBLISH channel msg：向一个频道发送消息 
  • PSUBSCRIBE pattern [pattern]：订阅与pattern格式匹配的所有频道，可以通过通配符实现

详细命令用法可以通过访问官方文档：Commands | Docs

这样通过发布订阅实现的功能基本与List类似，但是不同点在于发布者发布的消息可以被多个消费者订阅，而且消费者可以通过PSUBSCRIBE命令实现通配符订阅消费，功能更加强大

这里让两个消费者分别订阅频道，左边的订阅order.q1右侧的通过通配符订阅order.*

然后生产者依次向order.q1和order.q2发送消息

可以看到左侧接收到了order.q1的消息，右侧接受到了order.q1和order.q2的消息

那这就实现了一个可以多生产多消费的消息队列啦

那我们看看基于pubsub的消息队列有哪些优缺点呢:

优点:

  • 采用发布订阅模型，支持多生产、多消费

缺点:

  • 不支持数据持久化：发送的消息并不会在redis中保存，不支持持久化
  • 无法避免消息丢失：数据无法保存也就更没法解决消息丢失
  • 消息堆积有上限，超出时数据丢失：消费者缓存空间有上限，如何处理不完，就会超出丢失
3、基于Stream的消息队列

Stream 是 Redis 5.0 引入的一种新数据类型，可以实现一个功能非常完善的消息队列。

发送消息的命令：XADD

例如：

读取消息的命令之一：XREAD

例如：

XREAD COUNT 1 STREAMS s1 0

代表每次被读取的消息最大1，队列名是1，起始id为0代表从第一个消息读（如果想获取最新消息就是$符）

这里演示下发送接收消息

Stream可以将生产者发布的消息持久化存储，并且消费者可以重复接受消息。

注意：当我们指定起始ID为S时，代表读取最新的消息，如果我们处理一条消息的过程中，又有超过1条以上的消息到达队列，则下次获取时也只能获取到最新的一条，会出现漏读消息的问题。

STREAM类型消息队列的XREAD命令特点:

  • 消息可回溯
  • 一个消息可以被多个消费者读取
  • 可以阻塞读取
  • 有消息漏读的风险

为了解决漏读消息的问题，引入了消费者组的问题

4、基于Stream的消息队列- 消费者组

消费者组(Consumer Group):将多个消费者划分到一个组中，监听同一个队列。具备下列特点:

  • 消息分流：队列中的消息会分流给组内的不同消费者，而不是重复消费，从而加快消息处理的速度
  • 消息标示：消费者组会维护一个标示，记录最后一个被处理的消息哪怕消费者宕机重启，还会从标示之后读取消息。确保每一个消息都会被消费
  • 消息确认：消费者获取消息后，消息处于pending状态，并存入一个pending-list。当处理完成后需要通过XACK来确认消息，标记消息为已处理，才会从pending-list移除，防止消费者拿到消息不消费

创建消费者组：

XGROUP CREATE key groupName ID [MKSTREAM]
  • key:队列名称
  • groupName:消费者组名称
  • ID:起始ID标示，$代表队列中最后一个消息，0则代表队列中第一个消息
  • MKSTREAM:队列不存在时自动创建队列
#删除指定的消费者组
XGROUP DESTORY key groupName

#给指定的消费者组添加消费者
XGROUP CREATECONSUMER key groupname consumername

#删除消费者组中的指定消费者
XGROUP DELCONSUMER key groupname consumername

从消费者组读取消息：

通过XREADGROUP命令获取pendinglist中的消息（还未确认的）

通过XACK命令可以将对应消息确认消费，从pending-list移出

在java中的伪代码如下：

这里对比一下几种实现模式

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2139343.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于SpringBoot的招生宣传管理系统【附源码】

基于SpringBoot的招生宣传管理系统【附源码】

基于SpringBoot的招生宣传管理系统（源码L文说明文档） 目录 4 系统设计 4.1 系统概述 4.2系统功能结构设计 4.3数据库设计 4.3.1数据库E-R图设计 4.3.2 数据库表结构设计 5 系统实现 5.1管理员功能介绍 5.1.1管理员登录 …
阅读更多...
【JavaScript】LeetCode：36-40

【JavaScript】LeetCode：36-40

文章目录 36 两数相加37 删除链表的倒数第n个节点38 两两交换链表中的节点39 k个一组翻转链表40 随机链表的复制 36 两数相加 创建一个新的链表（哨兵节点指向），这个链表用来表示两个数相加后的和。从个位开始相加，每次都向新链表尾…
阅读更多...
PCL 点云随机渲染颜色

PCL 点云随机渲染颜色

目录 一、概述 1.1原理 1.2实现步骤 1.3 应用场景 二、代码实现 2.1关键函数 2.2完整代码 三、实现效果 PCL点云算法汇总及实战案例汇总的目录地址链接： PCL点云算法与项目实战案例汇总（长期更新） 一、概述 本文将介绍如何使用PCL库…
阅读更多...
PMP–一、二、三模–分类–14.敏捷–技巧–项目生命周期

PMP–一、二、三模–分类–14.敏捷–技巧–项目生命周期

文章目录 技巧项目生命周期 一模14.敏捷--项目生命周期--原型法--迭代型生命周期，通过连续的原型或概念验证来改进产品或成果。每个新的原型都能带来新的干系人新的反馈和团队见解。题目中明确提到需要反馈，因此原型法比较好用。23、 [单选] 一个敏捷团队…
阅读更多...
DAY13信息打点-Web 应用源码泄漏开源闭源指纹识别GITSVNDS备份

DAY13信息打点-Web 应用源码泄漏开源闭源指纹识别GITSVNDS备份

#知识点 0、Web架构资产-平台指纹识别 1、开源-CMS指纹识别源码获取方式 2、闭源-习惯&配置&特性等获取方式 3、闭源-托管资产平台资源搜索监控 演示案例： ➢后端-开源-指纹识别-源码下载 ➢后端-闭源-配置不当-源码泄漏 ➢后端-方向-资源码云-源码泄漏 …
阅读更多...
Linux下的简单TCP客户端和服务器

Linux下的简单TCP客户端和服务器

客户端 #include <arpa/inet.h> #include <stdlib.h> #include <stdio.h> #include <string.h> #include <unistd.h> #include <sys/socket.h>int main() {struct sockaddr_in* caddr(struct sockaddr_in*)malloc(sizeof(struct sockaddr…
阅读更多...
【JavaEE】IO基础知识及代码演示

【JavaEE】IO基础知识及代码演示

目录 一、File 1.1 观察get系列特点差异 1.2 创建文件 1.3.1 delete()删除文件 1.3.2 deleteOnExit()删除文件 1.4 mkdir 与 mkdirs的区别 1.5 文件重命名 二、文件内容的读写----数据流 1.1 InputStream 1.1.1 使用 read() 读取文件 1.2 OutputStream 1.3 代码演示…
阅读更多...
【有啥问啥】自动提示词工程（Automatic Prompt Engineering, APE）：深入解析与技术应用

【有啥问啥】自动提示词工程（Automatic Prompt Engineering, APE）：深入解析与技术应用

自动提示词工程&#xff08;Automatic Prompt Engineering, APE&#xff09;&#xff1a;深入解析与技术应用 引言 随着大语言模型&#xff08;LLM&#xff09;如 GPT、BERT 等的快速发展&#xff0c;如何高效地与这些模型进行互动成为了重要的研究方向之一。提示词&#xff…
阅读更多...
阿里P8和P9级别有何要求

阿里P8和P9级别有何要求

阿里巴巴的P8和P9级别&#xff0c;代表着公司的资深技术专家或管理者岗位&#xff0c;要求候选人具有丰富的职业经历、深厚的技术能力以及出色的领导力。以下是对P8和P9级别的要求、考察点以及准备建议的详细分析。 P8 级别要求 1. 职业经历&#xff1a; 8年以上的工作经验&a…
阅读更多...
PCIe进阶之TL：Common Packet Header Fields TLPs with Data Payloads Rules

PCIe进阶之TL：Common Packet Header Fields TLPs with Data Payloads Rules

1 Transaction Layer Protocol - Packet Definition TLP有四种事务类型：Memory、I/O、Configuration 和 Messages，两种地址格式：32bit 和 64bit。 构成 TLP 时，所有标记为 Reserved 的字段（有时缩写为 R）都必须全为0。接收者Rx必须忽略此字段中的值，PCIe Switch 必须对…
阅读更多...
响应式网站的网站建设，需要注意什么?

响应式网站的网站建设，需要注意什么?

响应式网站建设需要注意多个方面&#xff0c;以确保网站能够在各种设备和屏幕尺寸上提供一致且良好的用户体验。下面详细介绍响应式网站建设的注意事项&#xff1a; 响应式网站的网站建设&#xff0c;需要注意什么? 考虑多终端适配 设计样式&#xff1a;在设计响应式网站时&…
阅读更多...
豆包MarsCode | 一款智能编程助手开发工具

豆包MarsCode | 一款智能编程助手开发工具

豆包MarsCode | 一款智能编程助手开发工具 豆包MarsCode 是基于豆包大模型的智能开发工具&#xff0c;提供 Cloud IDE 和 AI 编程助手&#xff0c;支持代码补全、智能问答、代码解释与修复&#xff0c;兼容主流编程工具与 100 种编程语言&#xff0c;助力编程更智能便捷 豆包 M…
阅读更多...
InterPro蛋白质结构域数据下载

InterPro蛋白质结构域数据下载

前言 偶然发现InterPro数据库挺不错的。 之前使用selenium爬取了AlphaFlod数据&#xff0c;于是也想试试把InterPro的结构域数据爬取一下。 结果发现官方已经给好了代码&#xff0c;真是太善解人意了。 当然&#xff0c;想要批量下载还需要魔改一下官方代码。 步骤一&#…
阅读更多...
【初阶数据结构】排序

【初阶数据结构】排序

目录 一、排序的概念及其运用 1.1排序的概念 1.2常见的排序算法 二、常见排序算法的实现 2 .1插入排序 2 .1.1基本思想&#xff1a; 2.1.2直接插入排序&#xff1a; 算法复杂度&#xff1a; 最坏情况&#xff1a; 最好的情况&#xff1a; 直接插入排序的特性总结&…
阅读更多...
思维商业篇(2)—业务第一性

思维商业篇(2)—业务第一性

思维商业篇(2)—业务第一性 前言 第一性原理是超过因果律的第一因&#xff0c;且是唯一因。 第一性原理是事物唯一的源头&#xff0c;是抽象。是看透事物的本质&#xff0c;要把事物分解成最基本的组成&#xff0c;从源头上去解决问题。 对于一个企业来说&#xff0c;第一性…
阅读更多...
01，大数据总结，zookeeper

01，大数据总结，zookeeper

1 &#xff0c;zookeeper &#xff1a;概述 1.1&#xff0c;zookeeper&#xff1a;作用 1 &#xff0c;大数据领域 &#xff1a;存储配置数据   例如&#xff1a;hadoop 的 ha 配置信息&#xff0c;hbase 的配置信息&#xff0c;都存储在 zookeeper 2 &#xff0c;应用领…
阅读更多...
PXE服务

PXE服务

一.PXE服务的功能介绍 1.无盘启动&#xff1a;PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用&#xff0c;因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统&#xff1a;PXE技术可以用于远程安装操作系统&…
阅读更多...
C++11的部分新特性

C++11的部分新特性

目录 1.列表初始化 1.1 { } 初始化 1.2 std::initializer_list 2.声明 2.1 auto 2.2 decltype 2.3 nullptr 3. 范围for 4.STL中的一些变化 5.右值引用与移动语义 5.1 左值引用与右值引用 5.2 左值引用与右值引用的比较 5.3 右值引用使用场景 5.4 完美转发 6.新的…
阅读更多...
操作系统week2

操作系统week2

操作系统学习 二.处理机管理 19.生产者-消费者问题 问题&#xff1a; 代码&#xff1a; 20.多生产者-多消费者问题 实现&#xff1a; 21.吸烟者问题(单生产者-多消费者) 问题&#xff1a; 实现&#xff1a; 22.读者-写者问题 问题&#xff1a; 读优先的代码&…
阅读更多...
CentOS7更换阿里云yum更新源

CentOS7更换阿里云yum更新源

目前CentOS内置的更新安装源经常报错无法更新&#xff0c;或者速度不够理想&#xff0c;这个时候更换国内的镜像源就是一个不错的选择。 备份内置更新源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 下载阿里云repo源&#xff08;需要系统…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023