Kafka基本讲解

news2024/12/26 22:57:05

Kafka基本讲解

一：Kafka介绍

Kafka是分布式消息队列，主要设计用于高吞吐量的数据处理和消息传输，适用于日志处理、实时数据管道等场景。Kafka作为实时数仓架构的核心组件，用于收集、缓存和分发实时数据流，支持复杂的实时数据处理，实时需求分析，实时报表等应用。

二：Kafka基本架构图

基本讲解：

  • zookeeper：统一管理kafka集群

    （1）保存kafka相关的元数据

    （2）负责Kafka集群的整体协调和管理

    （3）在Kafka集群中，当某个节点（如Broker或分区领导者Leader）出现故障时，ZooKeeper能够协助进行故障检测和恢复

  • Producer：生产者

    向kafka发送消息，通过【轮询写入】方式，使得消息数据均匀分布，即：传数据给kafka。

  • Consumer：消费者

    从kafka中获取消息（数据）进行消费，一般有三种策略可选（订阅模式，正则模式，指定模式）。

  • Kafka集群：

    1. Broker：一台Kafka服务器一般是一个Broker【主要由该机器的核数来决定】，一个集群由多个Broker组成，一个Broker可以容纳多个Topic。

    2. Topic（主题）：是数据的逻辑分类单位，用于管理和组织消息流，Topic类似于mysql数据库中的库。Topic分为多个partition存放于不同的kafka服务器上。

    3. partition（分区）：每个Partition（分区）是一个有序的队列(分区有序，不能保证全局有序)

      • Leader：每个partition（分区）都有一个leader（领导者），负责处理该分区的所有读取和写入数据操作（生产者和消费者都面对leader对象进行操作）。

      • Replica：特殊的Follower。

      • Follower：每个partition（分区）含有多个follower（跟随者），主要用于与leader（领导者）同步数据，保持数据的一致性。当leader失效时，会从中选一个follower成为新的leader。

三：Kafka特点

1、多副本机制

1.1.容错性（In-Sync Replicas，同步副本集）

讲解：

  • 在每个partition（分区）内部中，都含有一个leader（领导者）和多个follower（跟随者）。

  • 其中可将其分为ISR队列（此处为三个）和Followers两部分。

  • 正常状态（消息数据写入队列）：

    • 1、消息数据写到ISR队列中的每一个节点上（Leader和replica），当写入所有的ISR队列后，才可以进行下一个消息的写入。

    • 2、Followers中节点可以同步Leader数据，且并无时间限制（时间可长可短）。

  • Leader失效场景：

    • 当Leader失效时，会在ISR队列中选取一个作为新的Leader继续工作，同时会在Followers中选取一个进入ISR队列中。
1.2.读写分离
  • Leader 负责写操作
  • I S R 中任何一个 replica 都可以读操作

2、多分区（MP，multiple partitions）

每个Topic（主题）可以被划分成多个分区（partition），每个分区在物理上可以存储在不同的Broker节点上。

主要优势：

  • 低延时
  • 负载均衡：Kafka集群可以在多个Broker节点上均匀地分布分区，使得每个Broker负责处理的分区数量相对均衡【Topic（主题）分区数量最优设计：节点数*物理核数】
  • 方便在集群中集成和扩展：Kafka提供了丰富的客户端API，支持多种编程语言，如Java、Python、Go、Scala等。同时，每个partition通过调整以适应它所在的机器（水平扩展），而一个Topic又可以有多个partition组成，因此整个集群可以适应适合的数据，从而达到扩缩容效果。

3、零拷贝

数据可以直接从磁盘传输到网络接口，避免了传统I/O操作中的多次内存拷贝和上下文切换,提高数据传输效率。

4、产销解耦

基本讲解：

  • Kafka作为一种分布式消息中间件。生产者只需要将数据发送到Kafka的特定主题（Topic）中，无需知道数据的具体消费者是谁；消费者只需要从Kafka订阅特定的主题，并拉取数据进行处理，无需知道数据的来源是从何而来【生产者 —> Kafka <— 消费者】

  • 生产者数量：分区数 个生产者**【轮询写入】，均匀分布**。

  • 消费者数量：分区数 个消费者一对一读取，并行消费。

    => 分布式最佳效果：spark处理的算子分区数(spark并行度) = kafka的分区数(有多少个队列)【分区上限主要由"核数"决定】。

四：消费者策略（读取数据方式）

Kafka为消费者提供了三种类型的订阅消费模式：subscribe（订阅模式）、SubscribePattern（正则订阅模式）、assign（指定模式）。

subscribe与SubscribePattern讲解

基本认知：

  • subscribe（订阅模式）与SubscribePattern（正则订阅模式）原理基本一致。

  • 区别：subscribe（订阅模式）适用于【单主题】，SubscribePattern（正则订阅模式）适用于【多主题】。

讲解：

  • 客户端提供groupId和订阅的主题（topic），会先找到这个groupId为123所对应的主题（topic），其中会有记录其offset（偏移量），然后通过这个这个offset（偏移量）继续从test01中进行数据的读取操作。

assign讲解

讲解：

  • Redis与客户端之间进行数据交互，会将offset（偏移量）存储于Redis中。客户端提供topic（主题）给Redis，与offset形成键值对的形式，进而可以从test01中进行数据的读取操作。

五：Kafka命令讲解（shell 控制台处理）

1、查看主题

# --bootstrap-server kafka的地址:端口号
kafka-topics.sh --list --bootstrap-server single:9092

2、创建主题

# --topic 主题名称
# --partitions 分区数
# --replication-factor 每个分区的副本数
# --bootstrap-server kafka的地址:端口号
kafka-topics.sh --create --topic test01 --partitions 1 --replication-factor 1 --bootstrap-server single:9092

3、查看主题详情

# --topic 主题名称
# --bootstrap-server kafka的地址:端口号
kafka-topics.sh --describe --topic test01 --bootstrap-server single:9092

4、创建控制台【生产者】

# --topic 主题名称
# --broker-list single:9092 => 指定主题
kafka-console-producer.sh --broker-list single:9092 --topic test01 < /root/ebs_act_log/transaction_log/part-00001

在Kafka客户端工具中

5、创建控制台【消费者】

# --bootstrap-server kafka的地址:端口号
# --topic 主题
# --property print.key=true	
kafka-console-consumer.sh --bootstrap-server single:9092 --topic test01 --property print.key=true --from-beginning

6、删除主题和数据（不能被正在生产或消费）

kafka-topics.sh --bootstrap-server single:9092 --delete --topic test01

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1973448.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【单例设计模式】揭秘单例模式：从原理到实战的全方位解析（开发者必读）

【单例设计模式】揭秘单例模式：从原理到实战的全方位解析（开发者必读）

文章目录 深入理解单例设计模式&#xff1a;原理、实现与最佳实践引言第一部分&#xff1a;设计模式简介第二部分&#xff1a;单例模式定义第三部分&#xff1a;单例模式的优点和缺点第四部分&#xff1a;单例模式的实现方式懒汉式非线程安全的实现线程安全的实现&#xff08;双…
阅读更多...
vmware ubuntu虚拟机网络联网配置

vmware ubuntu虚拟机网络联网配置

介绍vmware虚拟机配置基础网络环境&#xff0c;同时连接外网&#xff08;通过桥接模式&#xff09;&#xff0c;以及ubuntu下输入法等基础工具安装。 本文基于ubuntu22.04&#xff0c;前提虚拟机已经完成安装。本文更多是针对vmware虚拟机的设置&#xff0c;之前有一篇针对ubun…
阅读更多...
第三关：Git 基础知识

第三关：Git 基础知识

一、Git是什么 Git是一种开源的分布式版本控制系统&#xff0c;广泛应用于软件开发领域&#xff0c;尤其是在协同工作环境中。它为程序员提供了一套必备的工具&#xff0c;使得团队成员能够有效地管理和跟踪代码的历史变更。下面是 Git 的主要功能和作用的规范描述&#xff1a…
阅读更多...
Java面试题——第二篇（设计模式）

Java面试题——第二篇（设计模式）

1. 工厂方法模式 1.1 普通工厂模式 建立一个工厂类&#xff0c;对实现了同一接口的一些类进行实例的创建。 1.2 抽象工厂模式 抽象多个工厂类&#xff0c;提高工厂的可扩展性 定义抽象工厂接口 public interface DeviceFactory { Phone createPhone(); Computer creat…
阅读更多...
【工具插件类教学】vHierarchy 2工具编辑器扩展使用

【工具插件类教学】vHierarchy 2工具编辑器扩展使用

目录 一、下载导入 二、使用介绍 1.便捷小工具 a.图标和颜色Icons and colors b.对象组件缩略图Component minimap c.层级线展示Hierarchy lines d.极简模式Minimal mode e.斑马条纹图案Zebra striping f.激活切换Activation toggle 2、快捷键 一、下载导入 资源官方…
阅读更多...
Redis系列之Redis Sentinel

Redis系列之Redis Sentinel

概述 Redis主从集群&#xff0c;一主多从模式&#xff0c;包括一个Master节点和多个Slave节点。Master负责数据的读写&#xff0c;Slave节点负责数据的查询。Master上收到的数据变更&#xff0c;会同步到Slave节点上实现数据的同步。通过这种架构实现可以Redis的读写分离&…
阅读更多...
U盘文件或目录损坏无法读取？专业恢复策略全解析

U盘文件或目录损坏无法读取？专业恢复策略全解析

U盘困境&#xff1a;文件目录的隐形危机 在日常的数字生活中&#xff0c;U盘作为便捷的数据存储与传输工具&#xff0c;扮演着至关重要的角色。然而&#xff0c;当U盘中的文件或目录突然遭遇损坏&#xff0c;导致无法被正常读取时&#xff0c;这无疑给用户带来了极大的困扰。这…
阅读更多...
达梦数据库的系统视图v$cachers

达梦数据库的系统视图v$cachers

达梦数据库的系统视图v$cachers 达梦数据库的系统视图V$CACHERS的作用是显示缓存中的项信息&#xff0c;在 ini 参数 USE_PLN_POOL !0 时才统计。这个视图帮助数据库管理员监控和分析缓存的使用情况&#xff0c;优化数据库性能。通过查询V$CACHERS视图&#xff0c;可以获取缓存…
阅读更多...
DeferredResult 是如何实现异步处理请求的

DeferredResult 是如何实现异步处理请求的

最近遇到了一个问题&#xff0c;我们的一个接口需要去轮询另一个第三方接口&#xff0c;导致这个接口占用了太多工作线程&#xff0c;这些工作线程长时间 running&#xff0c;我们需要解决这个问题。 于是&#xff0c;我们的方案是&#xff1a;用 DeferredResult 实现接口异步。…
阅读更多...
如何用 ChatGPT 提升学术写作：15 个高效提示

如何用 ChatGPT 提升学术写作：15 个高效提示

在本文&#xff0c;我们详细探讨了如何利用 ChatGPT 提升学术写作的各个方面。我们帮助学术作者通过生成创意点子、构建论证结构、克服写作障碍以及格式化引用&#xff0c;从而显著提升其学术论文的质量。这 15 条提示不仅可以单独使用&#xff0c;还可作为学习的良好范例。 本…
阅读更多...
文件解析漏洞复现

文件解析漏洞复现

一、IIS 6.X 1.在网站目录创建文件夹名为xxx.asp/xxx.asa 文件夹&#xff0c;里面的任意文件都会被当作asp文件执行 创建1.asp 访问 2.ooo.asp.jpg会被当做asp文件执行 创建一个ooo.asp;.jpg 访问 二、IIS 7.X 上传1.jpg文件在网址后/.php可以成功执行 写一个1.jpg文件内容…
阅读更多...
CTFHubret2shellcode-入土为安的第十三天

CTFHubret2shellcode-入土为安的第十三天

checksec pwn 没有开保护 并且是64位的 放入IDa64 shiftf12 查看字符串 发现没有shell f5查看主函数 read函数&#xff0c;点进去buf 0x010,0x08. buf的地址 因为我们要把buf填充满 然后再让栈进入shellcode的地址 然后再执行shellcode recvuntil 函数会一直读取数据&#…
阅读更多...
Vue3 + JS项目配置ESLint Pretter

Vue3 + JS项目配置ESLint Pretter

前言 如果在开发大型项目 同时为多人协作开发 那么 ESLint 在项目中极为重要 在使用 ESLint 的同时 也需要使用 Pretter插件 统一对代码进行格式化 二者相辅相成 缺一不可 1. 安装 VsCode 插件 在 VsCode 插件市场搜索安装 ESLint 和 Pretter 2. 安装依赖 这里直接在 pac…
阅读更多...
SOLIDWORKS教育版支持多种快捷键和自定义工具

SOLIDWORKS教育版支持多种快捷键和自定义工具

在工程设计与教育的广阔领域中&#xff0c;SOLIDWORKS作为一款强大的三维CAD设计软件&#xff0c;凭借其直观的操作界面、丰富的功能集以及对学生及教育机构的特别支持&#xff0c;赢得了广泛的认可与好评。其中&#xff0c;SOLIDWORKS教育版不仅继承了专业版的核心功能&#x…
阅读更多...
Android Listview notifyDataSetChanged() 不起作用

Android Listview notifyDataSetChanged() 不起作用

private ArrayList<Map<String, String>> data new ArrayList<Map<String, String>>(); private ArrayList<Map<String, String>> delivered_data new ArrayList<Map<String, String>>(); 如果直接将arraylist 的数据直接…
阅读更多...
人工智能深度学习系列—深度学习损失函数中的Focal Loss解析

人工智能深度学习系列—深度学习损失函数中的Focal Loss解析

文章目录 1. 背景介绍2. Loss计算公式3. 使用场景4. 代码样例5. 总结 1. 背景介绍 在深度学习的目标检测任务中&#xff0c;类别不平衡问题一直是提升模型性能的拦路虎。Focal Loss损失函数应运而生&#xff0c;专为解决这一难题设计。本文将深入探讨Focal Loss的背景、计算方…
阅读更多...
面向对象之设计模式,四种内部类,类关系

面向对象之设计模式,四种内部类,类关系

面向对象 1. 类关系 继承 使用extends表示,类和类单继承,接口和接口多继承,多个逗号隔开 又叫泛化关系 实现 类和接口是多实现关系,多个逗号隔开,通过关键字 implements表示 依赖 一个类中的局部变量 ,保存了另一个类对象 关联 又叫强依赖,一个类中的成员变量,是另一个类对象…
阅读更多...
用Babylon.js 滑动屏幕画图形，签字等

用Babylon.js 滑动屏幕画图形，签字等

介绍 在上篇文章中我们已经了解到了该游戏引擎的基本搭建过程。比如灯光，摄像头，场景、事件监听等。这里我就不做多介绍。运用以上知识点。我们此时做一个小游戏画图。 效果图 源代码 1.先监听事件是否碰撞到了画板 2.然后判断动作，手指按住屏幕，松开屏幕，滑动屏幕。 …
阅读更多...
Linux---进程(4)---进程优先级调度切换

Linux---进程(4)---进程优先级调度切换

目录 进程优先级 进程切换 前期知识补充 进程切换 进程调度 进程优先级 权限是为了解决能不能享受资源的问题&#xff0c;优先级则是为了解决享受资源的顺序的问题。 进程要访问某种资源&#xff0c;就需要用排队的方式&#xff0c;确定享受资源的先后顺序。因为资源是少…
阅读更多...
谷粒商城实战笔记-105~107-全文检索-ElasticSearch-入门

谷粒商城实战笔记-105~107-全文检索-ElasticSearch-入门

文章目录 一&#xff0c;105-全文检索-ElasticSearch-入门-_cat二&#xff0c;106-全文检索-ElasticSearch-入门-put&post新增数据三&#xff0c;107-全文检索-ElasticSearch-入门-get查询数据&乐观锁字段1&#xff0c;过时的乐观锁-version2&#xff0c;Elasticsearch…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023