Kafka入门与核心概念

news2024/12/23 6:49:12

前言

在我们开发过程中，有一些业务功能比较耗时，但是又不是很重要的核心功能，最典型的场景就是注册用户以后发送激活邮件分为两步

1：向数据库插入一条数据

2：向注册用户发送邮件

第2步其实并不是核心功能，但是发邮件比插入一条数据会更耗时，这种情况下我们可以把这个业务功能用异步处理，而异步处理的手段其中就包含了消费中间件，Kafka就是其中一个，消息中间件除了异步以外常用的功能就是：系统解耦、流量削峰等等

Kafka入门

官网地址：https://kafka.apache.org

下面我们就先把Kafka跑起来，我这里用的是3.1.0版本的

安装

首先，kafka依赖jdk和zookeeper，这里就不演示这两个的安装，请自行安装，其实也很简单

zookeeper下载地址： https://zookeeper.apache.org/releases.html
然后启动你的本地zookeeper

下载地址：https://kafka.apache.org/downloads

下载完上传到服务器上，如下

首先进行解压，解压命令为

tar -zxvf kafka_2.13-3.1.0.tgz

其次，修改config/server.properties的信息，主要是下面的信息

broker.id=0   #broker就是kafka服务器，每天kafka服务器的id唯一即可
listeners = PLAINTEXT://192.168.0.90:9092  #对外暴漏的访问端口
log.dirs=/tmp/kafka-logs  #kafka日志位置
zookeeper.connect=192.168.0.90:2181   # zookeeper的连接地址
zookeeper.connection.timeout.ms=18000   #zookeeper连接超时时间

更多配置请参考：https://kafka.apache.org/documentation/#brokerconfigs

修改完就可以启动了，启动命令如下

 ./bin/kafka-server-start.sh -daemon config/server.properties

-daemon表示后台运行，config/server.properties配置文件地址

cat logs/server.log 查看服务启动日志，如下就表示成功了

使用

首先我们需要创建一个Topic，这是kafka的一个概念，它是一个逻辑概念，并不存储真正的数据，你可以理解为就是队列的名字

./bin/kafka-topics.sh --help   #查看帮助文档
./bin/kafka-topics.sh --bootstrap-server=192.168.0.90:9092 --list  #查看topic列表

刚开始查看肯定是空的，因为你刚安装，如下

创建一个名为zxc1的topic，创建完查看，命令如下

bin/kafka-topics.sh --create --bootstrap-server=192.168.0.90:9092 --topic zxc1

使用kafka提供的脚本启动一个生产者，也就是用来往zxc1发送消息的，命令如下

./bin/kafka-console-producer.sh --bootstrap-server=192.168.0.90:9092 --topic zxc1

启动完输入没报错就是成功了，如下

然后，在另外的窗口启动一个消费者，命令如下

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.90:9092 --topic zxc1

然后你在生产端再发送一条消息，然后再查看控制台，如下

这样一个简单的生产->消费模式就完成了

使用进阶

你可能有个好奇的问题，为啥zxc1-test和zxc2-test消息没有消费到，因为默认情况下kafka的消费者启动消费消息是从启动时候计算的，如果你要从头开始拉取，那需要添加参数--from-beginning，如下

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.90:9092 --from-beginning --topic zxc1

至于其他使用，都可以通过--help的形式进行查看，获取直接去官网查看

./bin/kafka-console-consumer.sh --help

单播消息

首先需要介绍一个消费者组的概念，消费者组也是一个逻辑概念，它下面可以有多个消费者，单播消息是指有多个消费者在同一个消费者组监听的情况，下面就来演示下你就明白了，首先看下现在消费者组列表有哪些，现在肯定是没有消费者组的，如下

./bin/kafka-consumer-groups.sh --bootstrap-server=192.168.0.90:9092 --list

然后我们启动两个consumer运行在zxcgGroup-1组监听zxc1的消息，如下，注意，是两个哦

./bin/kafka-console-consumer.sh --consumer-property group.id=zxcGroup-1 --bootstrap-server 192.168.0.90:9092 --topic zxc1

--consumer-property group.id=zxcGroup-1  代表消费者在消费者组zxcGroup-1进行监听

然后我们在客户端发送消息，如下

这就是单播消费，同一个组只会有一个消费者拿到消息，你可以多试几下

此时：如果把第一个消息者关闭掉，然后再发消息，那么kafka会把消息自动转给第二个消费者，如下

再看下消费者组列表，现在就有信息了，如下

多播消息

那么如果我们要两个客户端同时消费到消息呢？很简单，我们只需要启动另一个消费者在不同的消费者组监听就行了，如下是两个相关的命令与监听情况

./bin/kafka-console-consumer.sh --consumer-property group.id=zxcGroup-1 --bootstrap-server 192.168.0.90:9092 --topic zxc1

./bin/kafka-console-consumer.sh --consumer-property group.id=zxcGroup-2 --bootstrap-server 192.168.0.90:9092 --topic zxc1