RocketMQ 架构原理

news2024/11/19 5:46:33

在这里插入图片描述

注册中心

注册中心使用得nameserver, nameserver不会进行频繁的读写,所以整体的性能开销小,稳定性也高。
注册中心没隔10s会扫描一次所有的broker,如果2min没有发送心跳过来,就人为挂了,断开连接。此时会更新topic与队列的对应关系,但不会通知producer和consumer

Broker 架构

broker通常以集群的形式运行,存储producer发来的消息。

与注册中心的交互

每个broker和所有注册中心保持长连接
每30s向注册中心发送心跳,心跳里面有自身的topic信息

负载均衡设计

broker与topic 是多对多的设计

高可用设计

主从结构,master负责消息的写入,slave负责消息的读取

整个broker都挂了,最多30s内所有发往这个消息和消费这个消息的都会失败,等到master起来后,重新同步

高可靠设计

所有的消息都会通过同步刷盘和异步刷盘的方式保存在磁盘上,可靠性很高
同步刷盘:写入成功才算成功
异步刷盘:服务器宕机才算成功,概率比较小

读写性能

零拷贝方式,减少用户态和内核态的多次切换

消费者架构

consumer会与注册中心保持长连接,定期查询MQ的topic配置信息,如果前注册中心的服务器宕机,consumer自动与下一台服务器连接。
consumer每30s获取一次配置中心的所有topic配置信息,如果某个broker宕机,最多30s就能够感知到

consumer与broker之间保持长连接
consumer每隔30s与关联的broker发送心跳,broker每10s扫描所有的长连接,如果2min没有发送心跳数据,则关闭连接,并通知其他消费者

生产者架构

一个Producer与注册中心的一台服务器保持长连接,并且会定时查询MQ的Topic配置信息,如果当前注册中心的服务器宕机,Producer会自动与下一台服务器连接

在保持长连接的情况下,Producer每30s获取一次配置中心的所有Topic的最新队列情况,如果某个Broker宕机,Producer最多需要30s可以从配置中心感知到(如果写入消息多次失败也可以感知到)

Producer及与之关联的Broker之间保持长连接
Producer默认每隔30s向与之关联的Broker发送心跳;Broker每10s扫描所有的长连接,如果某个连接2min内没有发送心跳数据,则关闭连接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1687357.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IEN在Web3.0中的性能与安全优势

随着Web3.0的快速发展,优化网络基础设施变得至关重要。智能生态网络(Intelligent Ecological Network, IEN)作为新一代网络架构,在提升性能与增强安全方面展现出巨大潜力。本文将深入探讨IEN在Web3.0中的技术优势,并展…

Linux安装Docker教程(实测可用)

前言 Docker是一个开源的应用容器引擎,它允许开发者将应用程序及其依赖打包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上。以下是对Docker的具体介绍: 技术起源:容器技术起源于程序员对于环境搭建与应用部署效…

data studio连接到虚拟机上的openGauss

参考:使用DataStudio连接本地虚拟机中的opengauss数据库_big data_白日梦想家_胖七七-华为云开发者联盟 本实验虚拟机安装的是CentOS7 数据库版本是:openGauss-5.0.2-CentOS-64bit-all.tar.gz 1.配置pg_hba.conf 首先使用su - omm登录到omm用户&…

FPGA搭积木之按键消抖(改进版)

目录 1.前言 2.回顾之前的设计 3.基于读者思路的设计 4.ModelSim仿真 1.前言 昨天分享的关于FPGA对机械按键消抖的设计,有读者指出了其中的不足,并给出了他的思路。今天就读者的设计思路,来再做一个按键消抖模块。这个程序大概是大学的时…

arping 一键检测网络设备连通性(KALI工具系列二)

目录 1、KALI LINUX简介 2、arping工具简介 3、在KALI中使用arping 3.1 目标主机IP(win) 3.2 KALI的IP 4、操作示例 4.1 IP测试 4.2 ARP测试 4.3 根据存活情况返回 5、总结 1、KALI LINUX简介 Kali Linux 是一个功能强大、多才多艺的 Linux 发…

建投数据收获客户感谢信

建投数据自2021年提出“以数据为核心的智能科技服务商”,并一直在为“成为国内领先的数字化转型合作伙伴”而努力,在赋能行业客户创造更大价值的同时,也陆续收到来自客户的肯定。 建投数据始终践行“成就客户,创新为要&#xff0…

科技引领乡村振兴新潮流:运用现代信息技术手段,提升农业生产和乡村管理效率,打造智慧化、现代化的美丽乡村

一、引言 随着科技的不断进步,现代信息技术已经渗透到社会的各个领域,成为推动社会发展的重要力量。在乡村振兴战略的背景下,科技的力量同样不容忽视。本文旨在探讨如何运用现代信息技术手段,提升农业生产和乡村管理效率&#xf…

2024 年 电工杯(B题)大学生数学建模挑战赛 | 平衡膳食食谱 | 数学建模完整代码+建模过程全解全析

当大家面临着复杂的数学建模问题时,你是否曾经感到茫然无措?作为2022年美国大学生数学建模比赛的O奖得主,我为大家提供了一套优秀的解题思路,让你轻松应对各种难题。 CS团队倾注了大量时间和心血,深入挖掘解决方案。通…

k8s遇到的错误记录

时隔四年有开始重新鼓捣k8s了,重新安装后遇到的错误记录如下: Error: Package: kubelet-1.14.0-0.x86_64 (kubernetes) Requires: kubernetes-cni 0.7.5 Available: kubernetes-cni-0.3.0.1-0.07a8a2.x86_64 (kubernetes) …

自学有点吃力,需不需要报六西格玛培训班学习?

在追求职业精进和企业管理优化的道路上,六西格玛管理方法论已经成为不少企业和个人的首选。然而,自学六西格玛往往伴随着一系列挑战,让不少学习者感到吃力。面对这样的困境,我们不禁要问:自学有点吃力,到底…

Docker 部署Jenkins

1、运行镜像 docker run --namejenkins \--restartalways \--privilegedtrue \-u root \-p 8080:8080 \-p 50000:50000 \-v /home/docker/jenkins/jenkins_home:/var/jenkins_home \-v /usr/bin/docker:/usr/bin/docker \-v /var/run/docker.sock:/var/run/docker.sock \-e TZ…

二十一、openlayers官网示例Custom Controls解析——自定义控件扩展Control类

官网demo地址: Custom Controls 这个示例讲的是如何自定义控件 首先创建了一个新的类继承了原本的Control,新增了一个button元素,然后调用了super方法将参数传给了父类。 const button document.createElement("button");button.…

《Rust奇幻之旅:从Java和C++开启》第1章Hello world 2/5

讲动人的故事,写懂人的代码 很多程序员都在自学Rust。 🤕但Rust的学习曲线是真的陡,让人有点儿怵头。 程序员工作压力大,能用来自学新东西的时间简直就是凤毛麟角。 📕目前,在豆瓣上有7本Rust入门同类书。它们虽有高分评价,但仍存在不足。 首先,就是它们介绍的Rust新…

[猫头虎分享21天微信小程序基础入门教程] 第11天:小程序的动态数据展示与实时更新

[猫头虎分享21天微信小程序基础入门教程] 第11天:小程序的动态数据展示与实时更新 — 第11天:小程序的动态数据展示与实时更新 📊 自我介绍 大家好,我是猫头虎,一名全栈软件工程师。今天我们继续微信小程序的学习&a…

sCrypt受邀参加#Unlock Bitcoin活动

由Antalpha HackerHouse主办的#Unlock Bitcoin活动将于2024年6月16日至18日在美国拉斯维加斯举办,sCrypt创始人兼CEO刘晓晖将作为演讲嘉宾出席本次活动。 刘晓晖本次演讲的主题是: 《Bitcoin Smart Contracts》 请登录以下网址报名参会: ht…

安全牛专访美创CTO周杰:数据安全进入体系化建设阶段,数据安全管理平台应用正当时

在数字经济时代,数据作为生产要素发挥越来越重要的作用,数据安全也得到了前所未有的重视。而随着数据安全能力已经进入了相对体系化建设的阶段,更加智能化、协同化的新一代数据安全管理平台得到了各类企业组织的广泛关注。 本期牛人访谈邀请到…

新火种AI|复旦团队在“冷冻人脑”领域获得重大进展!人工智能是否会对此形成助力?

​在低温医学领域,“冷冻人脑”技术的研究和突破既是重点,也是难点。因为这项技术关乎着人类是否可以取得一个令人瞩目的突破——人类的生命是否能够得到延续。 早几年,诸如“利用人体冷冻技术将身患绝症的病人保存十几年,几十年…

大疆上云API本地部署与飞机上云

文章目录 前言一、安装基础环境1. EMQX 安装(版本4.4.0)2. MySql 安装(版本8.0.26)3. Redis 安装 二、部署后端(JDK必须11及以上)三、部署前端四、成为大疆开发者五、飞机注册上云六、绑定飞机七、无人机状态查看 前言 大疆上云API官方文档有些写的不是…

Python条件分支与循环

大家好,当涉及到编写高效和灵活的程序时,条件分支和循环是 Python 中至关重要的概念。它们允许我们根据不同的条件执行不同的代码块,或者重复执行一组语句。条件分支和循环是测试开发工程师在日常工作中经常使用的工具,无论是编写…

亚马逊SFP有何优势?跨境卖家又该如何申请?

一、亚马逊SFP概述 亚马逊SFP(Seller Fulfilled Prime)是亚马逊为卖家提供的一项物流计划,旨在让满足条件的卖家能够将其产品纳入Prime服务,获得Prime标识,并直接面向Prime会员市场。通过SFP,卖家可以获得亚马逊的流量倾斜&#…