Kafka 基础概念学习

news2024/11/16 7:43:08

基础概念学习

  • 一.基础概念
  • 二.结构图

一.基础概念

Kafka 基本概念:一种分布式的,基于发布/订阅的消息系统
项目Value
BrokerKafka服务端(即部署了Kafka的机器)
Producer生产者写数据到主副本
Consumer消费者从主副本读数据
Consumer Group消费者组,同一个组下可以订阅多个Topic,每个Topic分区不允许重复消费;多个不同组可以消费同一个Topic的同一个分区
BrokerKafka服务端一个实例(一台机器),每台实例上分布有主副本或从副本
Topic主题,所有数据基于主题和分区实现隔离与交互(多个消息队列组合)
Partition分区,对应于某个主题的一个数据分区(消息队列),提高并发读写能力
Offset偏移,某个消费在某个Topic的某个Partition下的偏移位置
Leader主副本,与生产者和消费者交互,完成数据读写
Follower从副本,从主副本同步数据,保证系统的高可用
ZooKeeper/KRaft注册中心,用于管理主题、分区、偏移量、生产者、消费者的绑定关系
Reblance重平衡,消费者心跳线程与Coordinator通信,消费者宕机等异常导致的心跳超时将触发重平衡
ISR(IN-SYNC REPLICAS)从副本同步进度,被认为不同步的Broker将被剔除出列表,无法参与主节点的选举

二.结构图

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/738400.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Apache Doris (二十二) :Doris Rollup物化索引作用及使用注意点

目录 1. Rollup 物化索引作用 1.1 改变索引 1.2 聚合数据 ​​​​​​​2. Rollup物化索引注意点 进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容! 宝子们点赞、收藏不迷路!…

Stable Diffusion - 图像控制插件 ControlNet (OpenPose) 配置与使用

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131591887 论文:Adding Conditional Control to Text-to-Image Diffusion Models ControlNet 是神经网络结构,用于控制预…

mybatis联查 字段重复问题 查询出来一致

联查的数据是不同,但是返回出来的数据是相同的 排查原因: 两个不同的实体类都有同一个字段code 解决办法: 在数据库字段column字段起个别名就可以

Spring 用注解更简单存取对象

Spring 用注解更简单存取对象 ​ 上一篇文章是最原始的创建使用,这篇主要是讲 Spring 更简单的存储和读取对象的核心是使用注解 ,也是日常生活企业用的最多的方法 “注解” 所以这篇的内容是很重要的 !!! 文章目录 Spring 用注解…

基础篇--单片机简介

单片机简介 视频教程 单片机是什么 单片机:Single-Chip Microcomputer 单片微型计算机,是一种集成电路芯片 单片机有什么用? 单片机发展历程 单片机发展超势 CISC Vs RISC CISC和RISC举例 https://wenku.baidu.com/view/b074b0ed998fcc22b…

浅谈Acrel-2000电力监控系统在配电工程中的应用 安科瑞 许敏

摘 要:随着社会经济的快速发展,我国变电站正朝着现代化的方向不断发展,自动化设备以及继电保护装置凭借自身优异性能而获得广泛应用。本文介绍的AM5SE系列的微机保护装置,可以针对中原科技城智慧能源配电工程中不同保护对象提供对…

全志f1c200s嵌入式驱动开发(原理图)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 熟悉全志soc的同学都知道,除了v3s之外,其实还有很多性价比很高的soc。这里面就包含了f1c200s。之前的v3s,也就是我们所说的licheepi上面的soc,反响很不错。后期又出了一个liche…

【数据结构与算法】力扣:二叉树的层序遍历

给你二叉树的根节点 root ,返回其节点值的 层序遍历 。 (即逐层地,从左到右访问所有节点)。 示例1: 输入:root [3,9,20,null,null,15,7] 输出:[[3],[9,20],[15,7]] 示例 2: 输入&a…

纷享销客携手新奥动力,赋能能源装备制造业企业增长再提速

近日,纷享销客与新奥能源动力科技(上海)有限公司(以下简称:新奥动力)售后数字化平台项目启动仪式在上海顺利召开,新奥动力和纷享销客双方多位高管共同出席了当天的启动会,双方就CRM建…

leetcode链表刷题记录

题单: 一,移除链表元素 题目描述 给你一个链表的头节点 head 和一个整数 val ,请你删除链表中所有满足 Node.val val 的节点,并返回 新的头节点 。 题目接口: /*** Definition for singly-linked list.* struct Lis…

轻量化与强度:挑选骑行爱车的科学平衡之道

在自行车运动的大家庭中,挑选一辆既轻量化又强度又够的自行车是一项关键的任务。那么,如何在轻量化与强度的矛盾中寻找这个科学的平衡点呢?让我们跟随本文,一起探讨如何挑选骑行爱车的科学之道。 首先,我们需要明确&am…

第4章 SSD核心技术:FTL 4.3-4.5

4.3 垃圾回收 4.3.1 垃圾回收原理 WA(Write Amplification),即写放大。 OP(Over Provisioning),即预留空间。 4.3.2 写放大 对于空盘来说(未触发GC),写放大一般为1&…

基于DarkFace数据集的高精度人脸检测系统(PyTorch+Pyside6+YOLOv5模型)

摘要:基于DarkFace数据集的高精度人脸检测系统可用于日常生活中来检测与定位人脸目标,利用深度学习算法可实现图片、视频、摄像头等方式的人脸目标检测识别,另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5目标检测模型训练…

volatile 原理

volatile 的底层实现原理是内存屏障,Memory Barrier(Memory Fence) 对 volatile 变量的写指令后会加入写屏障对 volatile 变量的读指令前会加入读屏障 如何保证可见性 写屏障(sfence)保证在该屏障之前的&#xff0c…

液晶仪表业务去年赚了4个亿,又一家汽车电子厂商冲刺IPO

液晶仪表,有多赚钱? 本周,随着天有为电子首次对外发布IPO招股说明书,这家专注于电子式组合仪表、全液晶组合仪表和双联屏仪表等产品的传统汽车仪表企业,揭开了过去几年的财务数据。 作为一家传统汽车仪表转型升级的典…

sqlserver导入外部数据文件

1、外部数据文件存为txt格式,可以带中文标题保存。 2、登录链接数据库服务器,选择任意一个数据库右键-任务-导入数据-数据源:选择Flat File Sourse 平面文件.-文件名:选择文件路径-浏览一下列是否对应上。-下一步-目标&#xff1a…

WebStorm配置代码模板【以vue模板为例,提供vue代码模板】

配置过程 引言 为了便于开发,提高生产效率,我们通常会复制粘贴一些共同代码,在WebStorm中,可以将这些共同代码制作成模板,在使用的时候,只需要输入关键字点击按键即可将模板的代码粘贴到代码文件中&#…

免费申域名

申请地址:https://nic.eu.org/ 英国人地址生成器:https://www.shenfendaquan.com/Index/index/ying_guo_shen_fen_sheng_cheng 1、注册 填写注册信息 进入注册页面,输入注册信息。这里我们打开英国人地址生成器,用英国的信息注…

数据库应用:MySQL数据库使用与管理

目录 一、理论 1.MySQL基本操作 2.数据类型 2.使用MySQL数据库 二、实验 1.查看数据库结构 2.创建及删除库和表 3.管理表中的数据记录 4.修改表名和表结构 5.查看、修改字符集 三、问题 1.表导入新记录报错 四、总结 一、理论 1.MySQL基本操作 (1&…

【sql注入-延时注入】sleep()、benchmark()函数 延时注入

目录 sleep()、benchmark()延时注入 一、语法介绍: 二、延时注入 三、不同数据库 网络安全小圈子 sleep()、benchmark()延时注入 一、语法介绍: 版本: sleep() MySQL>5.7.8 benchmark() MySQL>5.7.5 语法: 使用…