06 - 5 生产者消费者模式

news2025/11/9 8:11:33

架构演进

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

介绍

在这里插入图片描述

  • 同步调用变成异步调用
  • 生产数据与消费数据分离
  • 协调不同处理速度

生产者

  • 系统运转的动力
  • 为下一个环节产生待处理的工作/数据
  • 与消费者的关系
    • 重点在如何将数据发送到容器
    • 对消费者无依赖
    • 不关注消费者的how/when
  • 发送顺序

消费者

在这里插入图片描述

容器

在这里插入图片描述

平衡

在这里插入图片描述

与EDA对比

在这里插入图片描述

消费策略

在这里插入图片描述

优点

低耦合

在这里插入图片描述

分布式部署

在这里插入图片描述

平衡系统差速

在这里插入图片描述

削峰填谷

在这里插入图片描述
在这里插入图片描述

设计生产者消费者系统

数据单元

  • 定义
    • 生产者放入/发送到容器的单体
    • 容器内存储的单体
    • 消费者消费的单体
  • 从业务逻辑推导
    • 数据单元具备业务含义
    • 数据单元的颗粒度适中
  • 完整性保证：传输过程中的数据单元不可缺失
  • 无依赖
    • 数据单元是独立的
    • 两个数据单元之间互无影响

设计生产者

生产者成功确认

在这里插入图片描述

序列化

在这里插入图片描述

异常处理

在这里插入图片描述

消费模式

  • 推（push）
    • 由container发起，将数据单元推送给consumer
    • Consumer可以尽快获取数据
  • 拉（pull）
    • 由consumer发起
    • Long polling
    • 获取数据有滞后
  • 分发

    • Queue

      • Point to point
      • 1 -> 1
      • 不可重复消费
      • 在这里插入图片描述

    • Pub/Sub

      • Topic
      • 1 -> N
      • 重复消费
      • 在这里插入图片描述

消费确认和策略

在这里插入图片描述
在这里插入图片描述

容器集群

在这里插入图片描述

数据存储和调度

在这里插入图片描述

消费保证

At least once

在这里插入图片描述

Exactly once

在这里插入图片描述

经典实现

Blocking Queue

在这里插入图片描述

Active MQ

在这里插入图片描述

Kafka

在这里插入图片描述

ERP审批流程

在这里插入图片描述

消息广播：Spring events

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/495309.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

我发布了自己第一个由ChatGPT辅助开发的开源项目goattribute

我发布了自己第一个由ChatGPT辅助开发的开源项目goattribute

需求产生 前两天在工作过程中又遇到了一直以来困惑我的一个问题，就是Go配置项的管理问题。 在开发一个新项目的时候，往往涉及到配置项的管理。个人小项目可能会通过配置文件来传入、环境变量来传入，也可能通过命令行参数来传入，公…
阅读更多...
代码随想录 LeetCode数组篇 长度最小的子数组

代码随想录 LeetCode数组篇 长度最小的子数组

文章目录 （中等）209. 长度最小的子数组（中等）904. 水果成篮（困难）76. 最小夫覆盖子串 （中等）209. 长度最小的子数组 我的思路：双指针p和q，滑动窗口的思想 每…
阅读更多...
牛客练习赛111 D青蛙兔子的约会

牛客练习赛111 D青蛙兔子的约会

题目链接 示例1 输入 3 3 4 10 1 2 2 4 5 1 1 3 5 11 1 1 输出 YES NO NO 说明 第一问，青蛙晚上向右跳1次，白天无法与兔子相遇。青蛙向右跳2次，也就是2a6的距离，白天兔子向左跳1次，可以相遇。所以在跳[1,2]次中&#…
阅读更多...
app持续交付实战

app持续交付实战

app持续交付实战 一、学习目标二、优势三、子任务拆分四、环境依赖1、安卓 SDK2、安卓设备（真机 or 模拟器）3、Appium 自动化测试4、JDK5、Python3环境6、allure-commandline工具7、allure插件 五、实战任务：串行执行 Jenkins Pipeline 项目1…
阅读更多...
Python学习之批量转换图片格式和统一图片尺寸

Python学习之批量转换图片格式和统一图片尺寸

前言 大家在工作的时候是不是都会接触到很多的图片，为了满足不同的需求： 兼容性：不同设备和应用程序可能支持不同的图片格式。通过转换图片格式，可以确保在各种设备和应用程序中都能够正确地显示图片。 文件大小：不…
阅读更多...
基于matlab 从接收脉冲中提取波形参数

基于matlab 从接收脉冲中提取波形参数

一、前言 现代飞机通常随身携带雷达警告接收器 （RWR）。RWR检测到雷达发射，并在雷达信号照射到飞机上时警告飞行员。RWR不仅可以检测雷达发射，还可以分析截获的信号并编目信号来自哪种雷达。此示例显示了 RWR 如何估计截获脉冲的参…
阅读更多...
10倍速度开发贪吃蛇游戏之AI辅助

10倍速度开发贪吃蛇游戏之AI辅助

今天就来聊聊AI代码辅助神器，即便是零基础也能上手，因为实在是太强了，这以后叫程序员们怎么活啊！话不多说，直接上神器 我用的是cursor,其实目前AI辅助代码不止cursor，还有微软家的copilot X这个根植于gith…
阅读更多...
JVM-01-JVM知识

JVM-01-JVM知识

1-JVM内存模型 Java开发人员一般情况下，使用过程中，不用关注内存的申请和释放，得益于JVM自动内存分配机制，但是其实是个双刃剑，这可以提升Java开发的效率，但是弱化了开发人员内存管理意识，系统容…
阅读更多...
四元数快速入门【Quaternion】

四元数快速入门【Quaternion】

四元数（Quaternion）是用于旋转和拉伸向量的数学运算符。 本文提供了一个概述，以帮助理解在空间导航等应用程序中对四元数的需求。 推荐：用 NSDT场景设计器 快速搭建3D场景。 可以通过多种方式在空间中准确定位、移动和旋转物体。 …
阅读更多...
U盘在电脑上读不出来怎么办？详细解决方法在这！

U盘在电脑上读不出来怎么办？详细解决方法在这！

案例：u盘在电脑上读不出来 【不知道为什么，我把u盘插入电脑后电脑完全读不出。我也不知道到底哪里出现了问题，有人可以帮我解答一下吗？】 U盘作为我们生活中经常使用的存储工具，其能帮我们存储大量的文件&#xff0c…
阅读更多...
BM54-三数之和

BM54-三数之和

题目 给出一个有n个元素的数组S，S中是否有元素a,b,c满足abc0？找出数组S中所有满足条件的三元组。 数据范围：0≤n≤1000，数组中各个元素值满足 ∣val∣≤100。 空间复杂度：O(n^2)，时间复杂度 O(n^2)。 注…
阅读更多...
React 第三方插件 —— Cron 表达式生成器（qnn-react-cron）

React 第三方插件 —— Cron 表达式生成器（qnn-react-cron）

qnn-react-cron 可以看做 react-cron-antd 的升级版（具体“渊源”可见文档），现有功能如下： 🎉 全面支持 cron：秒、分、时、日、月、周、年 🎉 日及周条件互斥，自动改变响应值 &…
阅读更多...
8年测试开发，写给1-3年功能测试的几点建议，满满硬货指导

8年测试开发，写给1-3年功能测试的几点建议，满满硬货指导

从15年毕业到现在也从业八年了，普通本科毕业，现在一家互联网公司担任测试部门总监，摸爬打滚，坑坑洼洼也经历了不少。思绪很久决定还是写下这篇，希望对后进的小伙子少走一点弯路。 很多人把职场想得太美好，其…
阅读更多...
学node写接口！！！

学node写接口！！！

fs 可以读取文档 fs.readFild() 用于读取文件 第一个参数 路径 第二个参数 "utf8"(默认值) 第三个参数 函数 function(err , dataStr ){ 第一个参数是错误， 第二个参数是正确的可以拿到读取文件里面的值 } fs.writeFile() 用于创建文件添加内容 …
阅读更多...
【LeetCode中等】1419.数青蛙

【LeetCode中等】1419.数青蛙

给你一个字符串 croakOfFrogs，它表示不同青蛙发出的蛙鸣声（字符串 “croak” ）的组合。由于同一时间可以有多只青蛙呱呱作响，所以 croakOfFrogs 中会混合多个 “croak” 。 请你返回模拟字符串中所有蛙鸣所需不同青蛙的最少数目。…
阅读更多...
如何根据参考文献查找原文及详细的文献信息

如何根据参考文献查找原文及详细的文献信息

当我们已知参考文献想要查看下载原文以及相关信息时可以用下面的方法： 例如这篇参考文献：Alsamhi S H, Almalki F, Ma O, et al. Predictive estimation of optimal signal strength from drones over IoT frameworks in smart cities[J]. IEEE Transac…
阅读更多...
FPGA实现SDI视频解码PCIE传输 提供工程源码和QT上位机源码加技术支持

FPGA实现SDI视频解码PCIE传输 提供工程源码和QT上位机源码加技术支持

目录 1、前言2、我已有的SDI编解码方案3、我已有的PCIE方案4、总体设计思路和方案SDI摄像头Gv8601a单端转差GTX解串SDI解码VGA时序恢复YUV转RGB图像缓存PCIE发送通路SDI同步输出通路 5、vivado工程详解6、驱动安装7、QT上位机软件8、上板调试验证SDI同步HDMI输出验证PCIE输出验…
阅读更多...
neo4j结合gds实现最短路径算法

neo4j结合gds实现最短路径算法

背景：Neo4j自带的cypher语句中的 shortestpath allShortestPaths 返回值内容非常有限，不易处理, 在实际生产环境中可用性极低， 且若带where条件查询时，查询效率极低 因此，使用Neo4j自带的插件如apoc来进行最短路径查询…
阅读更多...
使用@Autowired、@Qualifier、@Primary注解自动装配组件

使用@Autowired、@Qualifier、@Primary注解自动装配组件

1.Autowired、Qualifier、Primary注解 1.1.Autowired注解 Autowired注解可以对类成员变量、方法和构造函数进行标注，完成自动装配的工作。 package org.springframework.beans.factory.annotation;import java.lang.annotation.Documented; import java.lang.ann…
阅读更多...
hexo stellar主题添加运行时间-利用不蒜子

hexo stellar主题添加运行时间-利用不蒜子

在网站的页脚想添加博客运行的时间以及，查了一下资料，根据下面的这个博主的代码进行了修改。 打造一个舒服的写作环境（Hexo） 下面我们开始修改： stellar/layout/_partial/main/footer.ejs 找到//footer的 这一段 // …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023