Kafka快速实战以及基本原理详解

news2024/11/20 18:43:22

文章目录

  • 1、Kafka介绍
    • 1.1、MQ的作用
    • 1.2、为什么要用Kafka
  • 2、Kafka快速上手
    • 2.1、实验环境
    • 2.2、单机服务体验
    • 2.3、理解Kakfa的消息传递机制

1、Kafka介绍

在这里插入图片描述

​ ChatGPT对于Apache Kafka的介绍：

Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。

Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。

Kafka的基本架构由生产者、消费者和主题（topic）组成。生产者可以将数据发布到指定的主题，而消费者可以订阅这些主题并消费其中的数据。同时，Kafka还支持数据流的处理和转换，可以在管道中通过Kafka Streams API进行流式计算，例如过滤、转换、聚合等。

Kafka使用高效的数据存储和管理技术，能够轻松地处理TB级别的数据量。其优点包括高吞吐量、低延迟、可扩展性、持久性和容错性等。

Kafka在企业级应用中被广泛应用，包括实时流处理、日志聚合、监控和数据分析等方面。同时，Kafka还可以与其他大数据工具集成，如Hadoop、Spark和Storm等，构建一个完整的数据处理生态系统。

1.1、MQ的作用

MQ：MessageQueue，消息队列。 队列，是一种FIFO 先进先出的数据结构。消息则是跨进程传递的数据。一个典型的MQ系统，会将消息消息由生产者发送到MQ进行排队，然后根据一定的顺序交由消息的消费者进行处理。

QQ和微信就是典型的MQ。只不过他对接的使用对象是人，而Kafka需要对接的使用对象是应用程序。

MQ的作用主要有以下三个方面：

  • 异步

    • 例子：快递员发快递，直接到客户家效率会很低。引入菜鸟驿站后，快递员只需要把快递放到菜鸟驿站，就可以继续发其他快递去了。客户再按自己的时间安排去菜鸟驿站取快递。
    • 作用：异步能提高系统的响应速度、吞吐量。

  • 解耦

    • 例子：《Thinking in JAVA》很经典，但是都是英文，我们看不懂，所以需要编辑社，将文章翻译成其他语言，这样就可以完成英语与其他语言的交流。
    • 作用：
      1、服务之间进行解耦，才可以减少服务之间的影响。提高系统整体的稳定性以及可扩展性。
      2、另外，解耦后可以实现数据分发。生产者发送一个消息后，可以由一个或者多个消费者进行消费，并且消费者的增加或者减少对生产者没有影响。

  • 削峰

    • 例子：长江每年都会涨水，但是下游出水口的速度是基本稳定的，所以会涨水。引入三峡大坝后，可以把水储存起来，下游慢慢排水。
    • 作用：以稳定的系统资源应对突发的流量冲击。

1.2、为什么要用Kafka

​ 一个典型的日志聚合的应用场景：

image.png

​ 业务场景决定了产品的特点。

  • 数据吞吐量很大： 需要能够快速收集各个渠道的海量日志

  • 集群容错性高：允许集群中少量节点崩溃

  • 功能不需要太复杂：Kafka的设计目标是高吞吐、低延迟和可扩展，主要关注消息传递而不是消息处理。所以，Kafka并没有支持死信队列、顺序消息等高级功能。

  • 允许少量数据丢失：Kafka本身也在不断优化数据安全问题，目前基本上可以认为Kafka可以做到不会丢数据。

2、Kafka快速上手

2.1、实验环境

​ 准备了三台虚拟机 192.168.232.128~130，预备搭建三台机器的集群。
​ 三台机器均预装CentOS7 操作系统。分别配置机器名 worker1，worker2，worker3。

vi /etc/hosts
192.168.232.128 worker1
192.168.232.129 worker2
192.168.232.130 worker3

​ 然后需要关闭防火墙(实验环境建议关闭)。

firewall-cmd --state   查看防火墙状态
systemctl stop firewalld.service   关闭防火墙

​ 然后三台机器上都需要安装JAVA。
​ 下载kafka，选择当前最新的3.2.0版本。下载地址：https://kafka.apache.org/downloads 选择kafka_2.13-3.4.0.tgz进行下载。

关于kafka的版本，前面的2.13是开发kafka的scala语言的版本，后面的3.4.0是kafka应用的版本。

Scala是一种运行于JVM虚拟机之上的语言。在运行时，只需要安装JDK就可以了，选哪个Scala版本没有区别。但是如果要调试源码，就必须选择对应的Scala版本。因为Scala语言的版本并不是向后兼容的。

另外，在选择kafka版本时，建议先去kafka的官网看下发布日志，了解一下各个版本的特性。 https://kafka.apache.org/downloads。 例如3.2.0版本开始将log4j日志框架替换成了reload4j，这也是应对2021年log4j框架爆发严重BUG后的一种应对方法。

​ 下载Zookeeper，下载地址 https://zookeeper.apache.org/releases.html ，Zookeeper的版本并没有强制要求，这里我们选择比较新的3.6.1版本。

kafka的安装程序中自带了Zookeeper，可以在kafka的安装包的libs目录下查看到zookeeper的客户端jar包。但是，通常情况下，为了让应用更好维护，我们会使用单独部署的Zookeeper，而不使用kafka自带的Zookeeper。

​ 下载完成后，将这两个工具包上传到三台服务器上，解压后，分别放到/app/kafka和/app/zookeeper目录下。并将部署目录下的bin目录路径配置到path环境变量中。

2.2、单机服务体验

​ 下载下来的Kafka安装包不需要做任何的配置，就可以直接单击运行。这通常是快速了解Kafka的第一步。

​ 1、启动Kafka之前需要先启动Zookeeper。这里就用Kafka自带的Zookeeper。启动脚本在bin目录下。

cd $KAKFKA_HOME
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

注意下脚本是不是有执行权限。

​ 从nohup.out中可以看到zookeeper默认会在2181端口启动。通过jps指令看到一个QuorumPeerMain进程，确定服务启动成功。

​ 2、启动Kafka。

nohup bin/kafka-server-start.sh config/server.properties &

​ 启动完成后，使用jps指令，看到一个kafka进程，确定服务启动成功。服务会默认在9092端口启动。

​ 3、简单收发消息

​ Kafka的基础工作机制是消息发送者可以将消息发送到kafka上指定的topic，而消息消费者，可以从指定的topic上消费消息。

image.png

​ 首先，可以使用Kafka提供的客户端脚本创建Topic

#创建Topic
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092
#查看Topic
bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

​ 然后，启动一个消息发送者端。往一个名为test的Topic发送消息。

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
​ 当命令行出现 > 符号后，随意输入一些字符。Ctrl+C 退出命令行。这样就完成了往kafka发消息的操作。

​ 然后启动一个消息消费端，从名为test的Topic上接收消息。

[oper@worker1 kafka_2.13-3.2.0]$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test             
qwe
qwe
123
123
123
^CProcessed a total of 5 messages

​ 这样就完成了一个基础的交互。这其中，生产者和消费者并不需要同时启动。他们之间可以进行数据交互，但是又并不依赖于对方。没有生产者，消费者依然可以正常工作，反过来，没有消费者，生产者也依然可以正常工作。这也体现出了生产者和消费者之间的解耦。

如果想要查看这个脚本的详细参数，可以直接访问这个脚本，不配置任何参数即可。

4、其他消费模式

​ 之前我们通过kafka提供的生产者和消费者脚本，启动了一个简单的消息生产者以及消息消费者，实际上，kafka还提供了丰富的消息消费方式。

指定消费进度

​ 通过kafka-console.consumer.sh启动的控制台消费者，会将获取到的内容在命令行中输出。如果想要消费之前发送的消息，可以通过添加–from-begining参数指定。

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

​ 如果需要更精确的消费消息，甚至可以指定从哪一条消息开始消费。

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test

​ 这表示从第0号Partition上的第四个消息开始读起。Partition和Offset是什么呢，可以用以下指令查看。

分组消费

​ 对于每个消费者，可以指定一个消费者组。kafka中的同一条消息，只能被同一个消费者组下的某一个消费者消费。而不属于同一个消费者组的其他消费者，也可以消费到这一条消息。在kafka-console-consumer.sh脚本中，可以通过–consumer-property group.id=testGroup来指定所属的消费者组。例如，可以启动三个消费者组，来验证一下分组消费机制：

#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test

查看消费者组的偏移量

​ 接下来，还可以使用kafka-consumer-groups.sh观测消费者组的情况。包括他们的消费进度。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

2.3、理解Kakfa的消息传递机制

​ 从之前的实验可以看到， Kafka的消息发送者和消息消费者通过Topic这样一个逻辑概念来进行业务沟通。但是实际上，所有的消息是存在服务端的Partition这样一个数据结构当中的。

image.png

​ 在Kafka的技术体系中，有以下一些概念：

  • 客户端Client： 包括消息生产者 和 消息消费者。之前简单接触过。
  • 消费者组：每个消费者可以指定一个所属的消费者组，相同消费者组的消费者共同构成一个逻辑消费者组。每一个消息会被多个感兴趣的消费者组消费，但是在每一个消费者组内部，一个消息只会被消费一次。
  • 服务端Broker：一个Kafka服务器就是一个Broker。
  • 话题Topic：这是一个逻辑概念，一个Topic被认为是业务含义相同的一组消息。客户端都通过绑定Topic来生产或者消费自己感兴趣的话题。
  • 分区Partition：Topic只是一个逻辑概念，而Partition就是实际存储消息的组件。每个Partiton就是一个queue队列结构。所有消息以FIFO先进先出的顺序保存在这些Partition分区中。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1046203.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Android studio升级Giraffe | 2022.3.1 Patch 1踩坑

Android studio升级Giraffe | 2022.3.1 Patch 1踩坑

这里写自定义目录标题 not "opens java.io" to unnamed module错误报错信息解决 superclass access check failed: class butterknife.compiler.ButterKnifeProcessor$RScanner报错报错信息解决 Android studio升级Giraffe | 2022.3.1 Patch 1后，出现项目…
阅读更多...
架构案例-架构真题2016（四十）

架构案例-架构真题2016（四十）

（2016）嵌入式处理器是嵌入式系统的核心部件，一般可分为嵌入式微处理器（MPU）微控制器（MCU）、数字信号处理器（DSP）和片上系统（SOC）。以下叙述中&…
阅读更多...
Python函数绘图与高等代数互融实例(七): 极限图|气泡图|棉棒图

Python函数绘图与高等代数互融实例(七): 极限图|气泡图|棉棒图

Python函数绘图与高等代数互融实例(一):正弦函数与余弦函数 Python函数绘图与高等代数互融实例(二):闪点函数 Python函数绘图与高等代数互融实例(三):设置X|Y轴|网格线 Python函数绘图与高等代数互融实例(四):设置X|Y轴参考线|参考区域 Python函数绘图与高等代数互融实例(五…
阅读更多...
第十四届蓝桥杯大赛软件赛决赛 C/C++ 大学 B 组 试题 C: 班级活动

第十四届蓝桥杯大赛软件赛决赛 C/C++ 大学 B 组 试题 C: 班级活动

[蓝桥杯 2023 国 B] 班级活动 【问题描述】 小明的老师准备组织一次班级活动。班上一共有 n n n 名（ n n n 为偶数）同学，老师想把所有的同学进行分组，每两名同学一组。为了公平，老师给每名同学随机分配了一个 n n …
阅读更多...
33.栈，队列练习题（王道2023数据结构第3章综合应用）

33.栈，队列练习题（王道2023数据结构第3章综合应用）

试题1（3.1.4节题3）： 假设以 I 和 O 分别表示入栈和出栈操作。栈的初态和终态均为空，入栈和出栈的操作序列可表示为仅有 I 和 O 组成的序列，可以操作的序列为合法序列，否则称为非法序列。 （1&a…
阅读更多...
C++——namespace std

C++——namespace std

命名空间（namespace） 0.使用方法 namespace 命名空间名 {... } 1. 每个命名空间都是一个作用域 同其他作用域类似，命名空间中的每个名字都必须表示该空间内的唯一实体。因为不同命名空间的作用域不同，所以在不同命名空间内可以…
阅读更多...
Neural Insights for Digital Marketing Content Design 阅读笔记

Neural Insights for Digital Marketing Content Design 阅读笔记

KDD-2023 很值得读的文章！ 1 摘要 电商里，营销内容的实验，很重要。 然而，创作营销内容是一个手动和耗时的过程，缺乏明确的指导原则。 本文通过 基于历史数据的AI驱动的可行性洞察，来弥补 营销内容创作 和…
阅读更多...
96 # cookie

96 # cookie

cookie 和 session 和 sessionStorage 和 localStorage localStorage 和 sessionStorage 本地储存（发送请求不会携带），不能跨域localStorage 浏览器关闭后不会清空，必须手动清空sessionStorage 浏览器关闭后就会销毁http 无状态的…
阅读更多...
【Vue】条件渲染列表渲染来啦

【Vue】条件渲染列表渲染来啦

hello，我是小索奇哈，精心制作的Vue系列持续发放，涵盖大量的经验和示例，由浅入深进行讲解。 本章给大家讲解的是条件&列表渲染，前面的章节已经更新完毕，后面的章节持续输出，有任何问题都可以…
阅读更多...
Anaconda启动错误

Anaconda启动错误

错误 An unexpected error occurred on Navigator start-up | Could not find a suitable TLS CA certificate bundle, invalid path 导致Anaconda启动失败！ [解决办法]1 找到anaconda的安装目录，该目录下的__init__.py 这两处分别改为verifyself.sessio…
阅读更多...
程序员不得不知道的排序算法-上

程序员不得不知道的排序算法-上

目录 前言 1.冒泡排序 2.选择排序 3.插入排序 4.希尔排序 5.快速排序 6.归并排序 总结 前言 今天给大家讲一下常用的排序算法 1.冒泡排序 冒泡排序（Bubble Sort）是一种简单的排序算法，它重复地从待排序的元素中比较相邻的两个元素&a…
阅读更多...
如何制作gif动图gif （多图合成gif、GIF录制软件、视频制作成GIF动图）

如何制作gif动图gif （多图合成gif、GIF录制软件、视频制作成GIF动图）

文章目录 1 在线制作多图合成gif动画2 GIF录制软件3 将现有的视频 制作成GIF动图 1 在线制作多图合成gif动画 在线制作gif动画链接:https://www.matools.com/gif ①选择需要制作gif动画的图片将其添加 ②调整时间间隔，图片宽高等设置 ③一键生成gif ④下载到本…
阅读更多...
十年耕耘，致力于让垂直领域合作企业提升竞争力

十年耕耘，致力于让垂直领域合作企业提升竞争力

2013年6月叶帆科技公司成立，时光如驹，距今已经十年了（叶帆科技的前身叶帆工作室，官方博客上的第一篇博文发表于2004年6月，已近二十年了）。 十年时间，初心不变，一直和各垂直领域的企…
阅读更多...
最新AI写作系统ChatGPT源码/支持GPT4.0+GPT联网提问/支持ai绘画Midjourney+Prompt应用+MJ以图生图+思维导图生成

最新AI写作系统ChatGPT源码/支持GPT4.0+GPT联网提问/支持ai绘画Midjourney+Prompt应用+MJ以图生图+思维导图生成

一、智能创作系统 SparkAi创作系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT？小编这里写一个详细图文教程吧&…
阅读更多...
使用ElementUI完成登入注册的跨域请求提高开发效率

使用ElementUI完成登入注册的跨域请求提高开发效率

🎬 艳艳耶✌️：个人主页 🔥 个人专栏 ：《Spring与Mybatis集成整合》​​​​​​​ ⛺️ 生活的理想，为了不断更新自己 ! 目录 ​编辑 1、前言 1.1.什么是ELementUI 2、完成登陆注册前端页面 2.1环境搭建 运行…
阅读更多...
通过pfx格式证书生成Nginx的SSL证书

通过pfx格式证书生成Nginx的SSL证书

1、安装openssl 工具地址：Win32/Win64 OpenSSL Installer for Windows - Shining Light Productions 安装完成后，自行配置环境变量。 2、生成证书 （1）以管理员身份运行cmd，进入到pfx文件的目录： &#x…
阅读更多...
CSS详细基础（二）文本样式

CSS详细基础（二）文本样式

插播一条CSS的工作原理： CSS是一种定义样式结构如字体、颜色、位置等的语言，被用于描述网页上的信息格式化和显示的方式。CSS样式可以直接存储于HTML网页或者单独的样式单文件。无论哪一种方式，样式单包含将样式应用到指定类型的元素的规则。…
阅读更多...
postman记录backup

postman记录backup

之前一直未登录postman，在临时空间处理请求，可能是因为postman更新了，导致其记录没了 别着急！ 首先我们先登录postman，有谷歌登录方式等 第一步、登录后点击import 第二步、点击files 第三步、找到c:/users/AppData…
阅读更多...
三、VXLAN静态方式实验举例

三、VXLAN静态方式实验举例

VXLAN静态方式实验举例 1.1、静态方式部署集中式网关1.1.1、VXLAN隧道建立1.1.2、MAC地址动态学习1.1.3、同子网已知单播报文转发1.1.4、同子网BUM报文转发1.1.5、跨子网报文转发1.1.6、配置VXLAN接入业务部署方式 1.2、配置举例，相同网段互通（静态方式&…
阅读更多...
JVS低代码开发工具：触发逻辑引擎后对象变量节点回显配置说明

JVS低代码开发工具：触发逻辑引擎后对象变量节点回显配置说明

使用说明 通常业务中会涉及到表单上部分字段填写后通过触发逻辑处理已填写的数据进行回显到表单上，这时我们可以采用业务逻辑来配置对象变量节点进行表单数据回显。 对象变量：将自定义字段重新组装新的数据结构，数据结构类型为对象。 设计…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023