redis的 stream数据类型实现 消息队列?

news2024/9/20 8:07:21

redis的 stream数据类型实现 消息队列?

redis的消息队列可以通过:

  • PUB/SUB,订阅/发布模式:缺点是发布订阅模式是无法持久化的,如果出现网络断开、Redis 宕机等,消息就会被丢弃;

  • 使用列表 List 实现:支持了持久化,但是不支持多播,分组消费等

redis 5.0 之后,新增的 Stream数据类型实现的 消息队列可以 持久化,支持多播、分组消费

Stream 数据类型的结构

每个 Stream 都有唯一的名称,它就是 Redis 的 key,在我们首次使用 xadd 指令追加消息时自动创建。

img

  • Consumer Group :消费组,使用 XGROUP CREATE 命令创建,一个消费组有多个消费者(Consumer), 这些消费者之间是竞争关系(即一个消息,只能被这个消息组中的一个消费者使用)。
  • last_delivered_id :游标,每个消费组会有个游标 last_delivered_id。它表示该消费组中当前已经处理完成的消息ID。用于记录消费者的处理进度,当消费者重新启动或恢复时,可以从这个位置继续处理未处理的消息
  • pending_ids:消费者(Consumer)的状态变量,作用是维护消费者的未确认的 id。 pending_ids 记录了当前已经被客户端读取的消息,但是还没有 ack 。它用来确保客户端至少消费了消息一次,而不会在网络传输的中途丢失了没处理。

此外,补充两点:

  • 消息ID:默认形式是timestampInMillis-sequence(时间戳-序号),用户也可以自定义,但必须是整数-整数形式。

  • 消息内容:消息内容就是键值对,形如hash结构的键值对。比如:

    在这里插入图片描述

消费组消费流程

在这里插入图片描述

  1. 消费组的消费者之间竞争去消费消息(一个消息只能被一个消费者使用);
  2. 消费者消费完成之后,会给redis服务器发送一个ACK,来让redis知道该条消息消费成功。

redis Stream 实现的消息队列 与 Kafka 的区别

主要是二者的使用场景:

  1. redis Stream 实现的消息队列:内存型数据库中的数据结构,更适用于相对简单的消息队列场景,性能受内存限制。
  2. kafka消息队列:专门的分布式消息队列系统,设计用于高吞吐量、大规模数据处理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2120371.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

sklearn-逻辑回归-特征工程示例

sklearn-逻辑回归-特征工程示例 在实际应用场景中,有时候特征的数量会很多,我们出于业务考虑,也出于计算量的考虑,希望对逻辑回归进行特征选择来降维。比如在判断一个人是否会患乳腺癌的时候,医生如果看58个指标来确诊…

【系统方案】大数据库建设技术方案(PPT完整版)

大数据湖建设方案旨在构建一个集中式、可扩展的数据存储与分析平台,集中整合企业内外各类数据资源,形成统一的数据资产池。通过先进的数据处理技术,实现数据的快速入库、高效查询与深度分析,为企业决策提供全面、实时、精准的数据…

关于 win10安装.NET framework 3.5失败 的解决方法

文为原创文章,转载请注明原文出处 本文章博客地址:https://hpzwl.blog.csdn.net/article/details/142030841 长沙红胖子Qt(长沙创微智科)博文大全:开发技术集合(包含Qt实用技术、树莓派、三维、OpenCV、Op…

Stable Diffusion AI算法,实现一键式后期处理与图像修复魔法

在当今数字影像时代,后期处理技术已成为将原始图像转化为视觉上令人惊叹艺术作品的点睛之笔。随着人工智能技术的飞速发展,尤其是Stable Diffusion技术在图像处理领域的应用,图片后期处理已达到前所未有的高度,为摄影师、设计师及…

【秒达开源】多功能中文工具箱源码:自部署 全开源 轻量级跨平台 GPT级支持+高效UI+Docker

【秒达开源】多功能中文工具箱源码发布:自部署、全开源、轻量级跨平台,GPT级支持高效UI,Docker/便携版任选,桌面友好丰富插件生态 这是一款集大成之作,专为追求高效与便捷的用户量身打造。它不仅支持完全自部署&#…

Axure科技感设计案例教程:从按钮到大屏的全面探索

Axure RP,作为一款强大的原型设计工具,不仅能够帮助设计师快速构建产品界面,还能通过其丰富的交互功能实现高度逼真的科技感效果。以下是一个简要的教程,介绍如何使用Axure RP设计科技感按钮、图标、统计、图表以及大屏界面。 1.…

Watt ToolKit(steam++)加速服务启动失败,443端口被vsvnhttpsvc(5792)占用。请关掉443端口的程序或者尝试使用系统代理模式

系列文章目录 文章目录 系列文章目录前言一、pandas是什么?二、使用步骤三、 解决办法 前言 在使用Watt ToolKit(steam),加速服务启动失败,443端口被vsvnhttpsvc(5792)占用。请关掉443端口的程序或者尝试使用系统代理…

海外云手机有哪些推荐?

随着云手机的发展,越来越多的企业和个人开始使用云手机来满足他们的海外业务需求。用户可以通过云手机实现方便、快捷的海外访问,一般用来进行tiktok运营、亚马逊电商运营、海外社媒运营等操作。海外云手机平台有很多,以下是一些比较好的云手…

ProbVLM: Probabilistic Adapter for Frozen Vison-Language Models 论文阅读

ProbVLM: Probabilistic Adapter for Frozen Vison-Language Models 论文阅读 Abstract1. Introduction2. Related Work3. Method3.1. Problem Formulation3.2. Building ProbVLM3.3. Latent Diffusion for Probabilistic Embeddings 4. Experiments and Results5. Conclusion阅…

基于spring的博客系统(二)

4. 业务代码 4.1 持久层 根据需求, 先⼤致计算有哪些DB相关操作, 完成持久层初步代码, 后续再根据业务需求进⾏完善 1. ⽤⼾登录⻚ a. 根据⽤⼾名查询⽤⼾信息 2. 博客列表⻚ a. 根据id查询user信息 b. 获取所有博客列表 3. 博客详情⻚ a. 根据博客ID查询博客信息 b. 根据博客I…

【论文阅读】01-Survey on Temporal Knowledge Graph

原文名称:Survey on Temporal Knowledge Graph 1 Introduction 目前有两种方法:基于距离模型的嵌入变换方法和基于语义匹配模型的双线性模型。它们的思想都是将包含实体和关系的知识图谱嵌入到连续的低纬度实向量空间中 时间知识图的推理有两种,第一种是…

LeetCode 热题 100 回顾5

干货分享,感谢您的阅读!原文见:LeetCode 热题 100 回顾_力code热题100-CSDN博客 一、哈希部分 1.两数之和 (简单) 题目描述 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标…

【电子通识】半导体工艺——光刻工艺

什么是光刻工艺 人们经常将 Photo Lithography(光刻)缩写成 Photo。得此名称的原因是,这个工艺在晶圆上利用光线来照射带有电路图形的光罩,从而绘制电路。光刻工艺类似于洗印黑白照片,将在胶片上形成的图像印在相纸上。…

Java | Leetcode Java题解之第395题至少有K个重复字符的最长子串

题目&#xff1a; 题解&#xff1a; class Solution {public int longestSubstring(String s, int k) {int ret 0;int n s.length();for (int t 1; t < 26; t) {int l 0, r 0;int[] cnt new int[26];int tot 0;int less 0;while (r < n) {cnt[s.charAt(r) - a];…

一个小例子,给你讲透 Go 配置管理,轻松将其融入到项目中

在软件开发中&#xff0c;配置管理是一个不可或缺的部分。无论是开发环境、测试环境还是生产环境&#xff0c;我们都需要一种方法来存储和读取配置信息。 在 Golang 项目中&#xff0c;Viper 是一个非常流行且功能强大的库&#xff0c;用于处理配置文件。下面我会写一些例子&am…

C++第三节入门 - 引用详解

引用 引用可以对别名进行引用&#xff01; #include<iostream> using namespace std;int main() {int a 0; // 李逵int& b a; // 铁牛int& c b; // 在铁牛的基础上取名为黑旋风return 0; } 引用的特性&#xff1a; 引用在定义的时候必须初始化&…

『功能项目』单例模式框架【37】

我们打开上一篇36C#拓展 - 优化冗余脚本的项目&#xff0c; 本章要做的事情是编写单例模式基类&#xff0c;让继承其基类的子类在运行时只存在一个&#xff0c;共有两个单例基类框架&#xff0c;分别是不继承MonoBehaviour的单例和继承MonoBehaviour的单例框架 首先编写不继承…

【最新华为OD机试E卷-支持在线评测】跳马(200分)多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-E/D卷的三语言AC题解 💻 ACM金牌🏅️团队| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 🍿 最新华为OD机试E卷,全、新、准,题目覆盖率达 95% 以上,支持…

LabVIEW重构其他语言开发的旧系统

在面对一个运行已久、代码不清晰的项目时&#xff0c;如果该项目涉及复杂的通讯协议&#xff08;如串口和488通讯&#xff09;&#xff0c;重新开发并优化成LabVIEW版本可以极大提升系统的易用性和维护性。为了确保通讯协议的顺利解析和移植&#xff0c;借助专业工具分析现有通…

【OpenCV-阈值与平滑处理】灰度图、HSV、图像阈值、图像平滑处理(方框滤波、均值滤波、高斯滤波、中值滤波)

1 灰度图 import cv2 # 导入 OpenCV 库&#xff0c;用于图像处理 import numpy as np # 导入 NumPy 库&#xff0c;用于数组操作 import matplotlib.pyplot as plt # 导入 Matplotlib 库&#xff0c;用于绘图# %matplotlib inline 是 Jupyter Notebook 特有的魔法命令&…