Kafka之基本概念

news2024/11/26 17:53:23

1、Kafka是什么？

Kafka是由Scala语言开发的一个多分区、多副本，基于Zookeeper集群协调的系统。

那这个所谓的系统又是什么系统呢？

回答这个问题要从发展的角度来看：起初Kafka的定位是分布式消息系统。但是目前它的定位是一个分布式流式处理平台，用于实时数据集成和流数据处理。

2、Kafka都可以扮演哪些“角色”？

基于Kafka的发展和特性，它可以在我们的实际工作当中扮演以下几个“角色”：

消息系统
存储系统：将消息持久化到磁盘上。
流式处理平台：可以集成多种流式处理框架（例如：SparkStream、Flink等），不但可以作为可靠的数据源，同时提供了一套完整的流处理类库，例如：窗口、连接、交换和聚合等操作。

3、Kafka的体系架构？

Kafka体系架构包括：生产者（Producer）、消费者（Consumer）、服务代理节点（Broker）、一个Zookeeper集群。

生产者（Producer）

作为消息的发送方。负责创建消息，并将消息发送给Broker。
消费者（Consumer）

作为消息的接收方。负责连接Kafka并接收消息，进而进行相应的逻辑处理。
代理服务节点（Broker）

可以看做一个Kafka实例，多个Broker组成一个Kafka集群。
Zookeeper集群

Zookeeper用来负责Kafka集群的元数据管理和控制器的选举等操作。

让我们进一步来描述Producer、Consumer、Broker之间的关系以及作用：

Producer创建消息并将消息发送给Borker，Broker将接收到的消息存储到本地的磁盘上，Consumer负责在Broker上订阅并消费消息。

4、主题、分区、副本

Kafka中有三个重要的概念，主题、分区和副本。它们之间的关系如下图：
在这里插入图片描述
通过上图我们可以得知：

1个主题对应多个分区；一个分区对应多个副本；副本又分为一个leader副本和多个follower副本。

4.1、主题

主题是一个逻辑概念，我们可以把它当做消息的分类。
Producer发送消息的时候会指明该消息所属的主题（即可以理解为Producer是将消息发送给了主题），一个消息只属于一个主题。

4.2、分区

一个主题下会细分为多个分区，每个分区对应一个主题。
消息在分区中的以offset（偏移量）作为唯一标识。
Kafka通过offset来保证消息在分区中的顺序。
offset不能跨区，所以我们说分区是有序的，而主题是无序。
分区可以分布在不同的broker上。

4.3、副本

一个分区会有多个副本，副本中的消息都是一致的（同一时刻可能会有不一致的情况）。
副本之间的关系是“一主多从”，即一个leader副本和多个follower副本。
- leader副本：负责消息的读写。
- follower副本：负责同步leader副本。
副本被分布到不同的broker上，leader副本挂掉了，会从follower副本中重新选举出一个新的leader副本。
我们将分区中所有副本统称为AR（Assigned Replicas）。其中一些与leader副本保持一定程度同步的副本（包括leader副本本身）统称为ISR（In-Sync Replicas）。而另外一些相较于leader副本滞后很多的副本统称为OSR（Out-of-Sync Replicas）。

由此可见，AR = ISR + OSR。正常情况下，所有follower副本都要与leader版本保持一定程度的同步，即AR = ISR，而OSR集合为空。
默认情况下，leader副本只能从ISR中的副本中选举出来。但是我们可以通过参数配置使得OSR中的副本也有机会被选举为leader副本。
leader副本还负责所有follower副本滞后状态的维护和跟踪，即当follower副本滞后较多的时候会将它从ISR中移动到OSR中，也会将OSR中追上leader副本的follower副本移动到ISR中。
特定偏移量HW和LEO。
- 针对分区有一个概念为高水位（High Watermark，缩写HW），它是一个特定的消息偏移量（offset），消费者只能接收到offset之前的消息
- ISR中的每个follower副本都维护一个自己的LEO（Log End Offset），它也是一个特定的消息偏移量（offset），即待写入消息的偏移量。