消息队列思想学习(以及池化思想延展)

news2024/11/16 20:46:46

目录

消息队列的功能

消息中间件必备

池化思想以及弹性线程池的设计

弹性连接池 [核心参数:初始连接数,最大连接数,最大空闲时间]

弹性线程池 [核心参数:coreThreadCount, maxThreadCount]


引言:为啥要把消息队列,池化技术放在一块进行思考,我觉着它们都利用队列容器来解耦合。都有着类似的思想在其中。也都有着生产者消费者的设计思想和理念在里面。

消息队列的功能

基本作用:用于数据交换。中间层容器。

  • 大流量消峰
  • 异步解耦

经常听到上述说法。但是这些晦涩专业名词背后的隐含功能是什么?

大流量消峰,那就是过度一下,避其锋芒。先囤起来,然后将其均衡负载给消费者组件,保证系统的可用性,不因为大流量而崩溃无法服务。具体一点,你的服务器,RedisMySQL各自的承受能力都不一样,直接全部流量照单全收可能会造成服务崩溃。所以缓一缓,排个队。

异步:提高响应速度,快速响应客户。将客户请求封装成消息放入消息队列即可。不用同步等待消息处理即可返回给客户。(非关键路径上的操作可异步)

解耦:利用MQ做中间层,就很像设计模式中的抽象层。可以将生产者组件和消费者组件给分隔开来,不用耦合在一起,使得系统变得简单。分隔开的组件可以单独扩展,而不会造成牵一发而动全身。

其他功能:队列本身的顺序性,来满足消息必须按顺序投递的场景;利用队列 + 定时任务来实现消息的延时消费;

所谓的“削峰填谷”就是指缓冲上下游瞬时突发流量,使其更平滑。特别是对于那种发送能力很强的上游系统,如果没有消息引擎的保护,“脆弱”的下游系统可能会直接被压垮导致全链路服务“雪崩”。但是,一旦有了消息引擎,它能够有效地对抗上游的流量冲击,真正做到将上游的“峰”填满到“谷”中,避免了流量的震荡。消息引擎系统的另一大好处在于发送方和接收方的松耦合,这也在一定程度上简化了应用的开发,减少了系统间不必要的交互。

消息中间件必备

说白了,消息中间件,或者说消息引擎系统。它相较于简单的消息队列,它功能更多,包括持久化避免消息丢失呀,高可用呀,高可靠呀,可扩展等更多那种分布式系统下的系统特征。

作为消息队列中间件,需要具备以下能力:(为啥会有下面种种的需求?可以思考下的,简单的想一想用了消息中间件之后,生产者消费者都依赖它。它如果挂掉了,肯定是灾难性的。它的下游服务全都没了。所以它必须高可靠、高可用呀。)

  1. 1. 消息持久化:确保在系统故障时消息不会丢失。

  2. 2. 高可用性和容错性:通过集群和故障转移机制确保系统的稳定运行。

  3. 3. 消息确认和可靠传递:保证消息被正确接收和处理。

  4. 4. 负载均衡:在多个生产者和消费者间有效分配消息。

  5. 5. 扩展性:支持根据负载增加节点以扩展系统。

所以最好kafka这些不要叫做消息队列,而要叫做 Apache Kafka 是一款开源的消息引擎系统。根据维基百科的定义,消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息,实现松耦合的异步式数据传递

消息引擎系统还要设定具体的传输协议,即我用什么方法把消息传输出去,有点对点和发布订阅两种模式

  1. 1. 点对点模式:多个生产者向同一个队列发送消息,每个消息只能由一个消费者消费。

  2. 2. 发布订阅模式:多个发布者向相同的主题发送消息,而订阅者也可能存在多个。每个消息都能被多个订阅者获取和处理。一份消息数据是否可以被多次消费?

池化思想以及弹性线程池的设计

池化思想实现:其本质我觉得就是生产者和消费者模式。简化版本的消息中间件。不能用于分布式,没有高可靠、高可用。

生活例子:健身房中有限的跑步机数目,假如说总共也就10台机子。老板平时开个4台用,节约能源。然后呢?客户少的时候,可以直接用现成打开了的机器。人开始多起来了,新来的客户就需要打开新的机器使用。总有个极限,今天生意过于火爆,人太多了,并且都想用跑步机,十台机器全开了。后续的客户咋办呢?只能给人说,客户要不您等待个一定时间,先玩玩别的。时间到了还没有空闲机器,客户心情不悦,我们也只得给客户说声抱歉。

弹性连接池 [核心参数:初始连接数,最大连接数,最大空闲时间]

流程:

  1. 最开始在初始化的时候就创建好固定数目的初始化连接数。并且设置好初始化连接数,最大连接数,最长空闲时间这三参数。选择用队列容器存储创建的连接。
  2. 如果 cnt_size < init_size,说明有空闲连接,直接拿来复用。
  3. 否则 cnt_size >= init_size && cnt_size < max_size,说明没有空闲连接,但是也没超出资源范围,申请创建新的连接,拿来用。
  4. 若是 cnt_size >= max_size,等一个check_out_time的超时时间(也就是最大空闲时间嘛),如果期间结束还没有空出的连接给等待了超时时间的客户使用,只能抛出错误。说明下资源紧张啥的。
  5. 另外:不在上述范围顺序,还需要存在一个检测的线程,异步定时检测,如果当前维护的连接数 > init_size && 多余的连接空闲时间超出了 最大空闲时间。这块资源无端占用就可以释放出来,节约系统资源。

这个池化技术的思想大家都懂,就是避免大量的临时创建销毁的时间占用过大,以及充分利用申请的系统资源。

弹性线程池 [核心参数:coreThreadCount, maxThreadCount]

JDK线程池处理流程:

  1.  threadCount < coreThreadCount 时候,如果有空闲线程,直接拿来用,否则创建新的线程拿来用。
  2. threadCount >= coreThreadCount && threadCount < maxThreadCount 时候,将企图将任务放入任务队列,等待空闲线程处理
  3. 如果任务队列满了。才继续创建新的线程来处理任务。
  4. threadCount > maxThreadCount,并且任务队列满了的话,只能返回错误,任务队列没满则放入任务队列等待处理。

CPU密集型 VS IO密集型的选择

上述的JDK线程池的实现就适合CPU密集型。为什么这么说,它尽量的在避免创建过多的线程导致大量的线程间切换的代价。线程达到核心线程数之后,任务来了先尝试往任务队列中放,而不是直接创建新的线程处理。

线程数过多的代价是什么?跨CPU处理器和跨CPU处理器内部的核心。大量缓存失效,大量上下文切换,多处理器通信的代价。                         

CPU密集型和IO密集型的线程数设计(单CPU处理器架构下)

 业内一般支持,CPU密集型下,将线程数设计在CPU核心数左右。

IO密集型,将线程数设计在CPU核心数的2倍左右。    (大量的线程可能在阻塞等待IO,多创建一些线程来充分利用好CPU的多核架构)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1522242.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C语言从入门到熟悉------第五阶段

结构体 结构体很重要&#xff0c;一定要掌握。但是在很多C语言书籍中结构体的内容讲得非常少&#xff0c;因为从结构体开始&#xff0c;后面介绍的内容已经超出C语言基础的范畴&#xff0c;属于C高级编程部分了。仅仅具备前面的知识是远远不够的&#xff0c;因为在实际编程中&…

用 Visual Studio 调试器中查看内存中图像

返回目录&#xff1a;OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 前一篇&#xff1a;OpenCV4.9.0在windows系统下的安装 后一篇&#xff1a; ​警告 本教程可以包含过时的信息。 Image Watch 是 Microsoft Visual Studio 的插件&#xff0c;可用于在调…

鸿蒙Harmony应用开发—ArkTS声明式开发(基础手势:Rating)

提供在给定范围内选择评分的组件。 说明&#xff1a; 该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 子组件 无 接口 Rating(options?: { rating: number, indicator?: boolean }) 从API version 9开始&#…

linux源配置:ubuntu、centos

1、ubuntu源配置 1&#xff09;先查电脑版本型号: lsb_release -c2&#xff09;再编辑源更新&#xff0c;源要与上面型号对应 参考&#xff1a;https://midoq.github.io/2022/05/30/Ubuntu20-04%E6%9B%B4%E6%8D%A2%E5%9B%BD%E5%86%85%E9%95%9C%E5%83%8F%E6%BA%90/ /etc/apt/…

海外直播带货对直播网络的要求

海外直播带货已成为电商领域的热门趋势&#xff0c;吸引了越来越多的品牌和商家参与。然而&#xff0c;要实现成功的海外直播带货&#xff0c;稳定、高效的直播网络是至关重要的。以下是海外直播带货对直播网络的主要要求&#xff1a; 1、稳定的网络连接&#xff1a; 海外直播带…

业务场景解析——如何执行重要的批次任务

业务场景解析之——如何执行批次重要的任务 前言一、流程时序二、并发设计 前言 这次业务场景上需要跑一批任务识别任务&#xff0c;而每个具体任务识别都比较重要&#xff0c;需要调用外部接口进行计费&#xff0c;而量又比较大&#xff0c;这就要求这个任务是比较稳定安全的。…

macbook删除软件只需几次点击即可彻底完成?macbook删除软件没有叉 苹果笔记本MacBook电脑怎么卸载软件? cleanmymac x怎么卸载

在MacBook的使用过程中&#xff0c;软件安装和卸载是我们经常需要进行的操作。然而&#xff0c;不少用户在尝试删除不再需要的软件时&#xff0c;常常发现这个过程既复杂又耗时。尽管MacOS提供了一些基本的macbook删除软件方法&#xff0c;但很多时候这些方法并不能彻底卸载软件…

实验室管理系统 |基于springboot框架+ Mysql+JSP技术+Tomcat的实验室管理系统 设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 目录 用户后台功能模块 用户后台管理 管理员功能登录前台功能效果图 系统功能设计 数据库E-R图设计 lunw…

怎么利用视频截取gif?三步在线转换gif

在当今的社交媒体和网络世界中&#xff0c;GIF图像已经成为了一种非常受欢迎的表达方式。它们以简洁、循环播放的形式&#xff0c;能够生动地展示一系列图像的变化。你可能好奇&#xff0c;如何从视频中提取GIF图呢&#xff1f;很简单&#xff0c;使用视频转gif工具手机、pc均可…

爱发电开发者Webhook URL如何配置并且成功返回响应

Webhook URL 爱发电提供了webhook和api两种方式为开发者提供便利。 webhook功能需要配置好url&#xff0c;每当有订单时&#xff0c;会请求配置的url&#xff1b;API功能需要开发者通过token生成sign签名&#xff0c;主动请求接口查询历史订单 Webhook URL&#xff08;用来被…

pta-猜帽子游戏

宝宝们在一起玩一个猜帽子游戏。每人头上被扣了一顶帽子&#xff0c;有的是黑色的&#xff0c;有的是黄色的。每个人可以看到别人头上的帽子&#xff0c;但是看不到自己的。游戏开始后&#xff0c;每个人可以猜自己头上的帽子是什么颜色&#xff0c;或者可以弃权不猜。如果没有…

鸿蒙Harmony应用开发—ArkTS声明式开发(容器组件:Row)

沿水平方向布局容器。 说明&#xff1a; 该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 子组件 可以包含子组件。 接口 Row(value?:{space?: number | string }) 从API version 9开始&#xff0c;该接口支持在…

Rust写一个wasm入门并在rspack和vite项目中使用(一)

rust打包wasm文档 文档地址 安装cargo-generate cargo install cargo-generate 安装过程中有问题的话手动安装cargo-generate下载地址 根据自己的系统下载压缩包&#xff0c;然后解压到用户/.cargo/bind目录下&#xff0c;将解压后的文件放到该目录下即可。 创建wasm项目 …

Microsoft Word 符号 / 特殊符号

Microsoft Word 符号 / 特殊符号 1. 插入 -> 符号 -> 其他符号 -> Wingdings 2References 1. 插入 -> 符号 -> 其他符号 -> Wingdings 2 ​ References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/

VLC抓取m3u8视频

前言 最近想看一些网络视频&#xff0c;但是很多时候网页上是m3u8推流的&#xff0c;如果在线看&#xff0c;速度又慢&#xff0c;所以就想下载下来&#xff0c;就想到了VLC的推流&#xff0c;转换能力&#xff0c;查阅资料&#xff0c;加上实践&#xff0c;总结心得。 设置中…

腾讯云2核4g服务器能支持多少人访问?2C4G并发数性能测评

腾讯云轻量2核4G5M带宽服务器支持多少人在线访问&#xff1f;5M带宽下载速度峰值可达640KB/秒&#xff0c;阿腾云以搭建网站为例&#xff0c;假设优化后平均大小为60KB&#xff0c;则5M带宽可支撑10个用户同时在1秒内打开网站&#xff0c;并发数为10&#xff0c;经阿腾云测试&a…

如何在iPhone上恢复已删除的微信聊天记录?

你好&#xff0c;我前几天删除了微信聊天记录。有什么办法可以恢复iPhone上已删除的微信聊天记录吗&#xff1f; 有些人每次使用设备时都会遇到在 iPhone 上丢失消息的风险。特别是&#xff0c;由于多种因素&#xff0c;可能会丢失第三方数据&#xff0c;微信消息也是如此。微…

一瓶5.86万,听花酒什么来头?

听花酒&#xff0c;到底什么来头&#xff1f; 宣称有提升免疫力、改善睡眠、保障男性功能、调节生理紊乱、抗衰老等功效的听花酒&#xff0c;被315晚会曝光了。 相关话题词随即冲上了热搜。之后&#xff0c;售价最高达58600元的听花酒被京东、拼多多、淘宝等电商平台火速下架…

AcWing.505 火柴排队(离散化逆序对)

题目 涵涵有两盒火柴&#xff0c;每盒装有 n  根火柴&#xff0c;每根火柴都有一个高度。 现在将每盒中的火柴各自排成一列&#xff0c;同一列火柴的高度互不相同&#xff0c;两列火柴之间的距离定义为&#xff1a; ∑i1n(ai−bi)2 其中 ai表示第一列火柴中第 i个火柴的…

计算机通识——01.进制转换

前言 学习资料来自 C训练以及CSDN各博主的博客整合而来&#xff0c;内容涵盖计算机通识内容&#xff1a;进制转换、信息单位、数据校验、多媒体基础参数、HTTP \ HTTPS协议、OSI七层模型、IP基础 \ IPv6、网络拓扑机构、域名解析、常用网络命令和端口、数据结构常识等内容&…