Kafka基础入门

news2024/11/26 20:50:11

Kafka介绍

Kafka是什么？

kafka是一种分布式的，基于发布/订阅的消息系统。

Kafka的特点

分布式，吞吐量高，发布订阅模式，轻量灵活，较长时间持久化

Kafka的应用场景

解耦

原先一个微服务是通过接口（HTTP）调用另一个微服务，这时候耦合很严重，只要接口发生变化就会导致系统不可用。
使用消息队列可以将系统进行解耦合，现在第一个微服务可以将消息放入到消息

异步

电商网站中，新的用户注册时，需要将用户的信息保存到数据库中，同时还需要额外发送注册的邮件通知、以及短信注册码给用户。但因为发送邮件、发送注册短信需要连接外部的服务器，需要额外等待一段时间，此时，就可以使用消息队列来进行异步处理，从而实现快速响应。
比较常见的：发送短信验证码、发送邮件

削峰

因为消息队列是低延迟、高可靠、高吞吐的，而且消息队列不需要处理业务
，所以消息队列可以应对大量并发，

日志处理

可以使用消息队列作为临时存储，或者一种通信管道

消息队列通信的模式

点对点模式

Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

发布订阅模式

多个消费者可以消费一个消息
每个消息可以有多个订阅者，消息队列收到的消息，每个订阅这个主题的消费者都可以消费

发布订阅模式还有消费组的形式，多个消费者组成一个消费组，一个消费组里只有一个消费者能消费这条信息。

两种消费模式

推模式

在推模式下，由消息队列主动把消息推送给消费者消费。

拉模式

由消费者监控现队列的状态，主动拉取消息消费。

Kafka架构中关键概念

Broker

Kafka是以集群的形式运行的，集群的节点就叫broker，每个broker都有对应的编号

Topic

主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据，生产者将数据发送到Kafka的topic上，订阅了这个topic的消费者就能消费到这些数据。

Producer

生产者，负责将数据推送给broker的topic

Consumer

消费者，负责从broker的topic中拉取数据，并自己进行处理

Partition

在Kafka集群中，topic被分为多个分区。这些分区会分布在不同的broker节点上。

Replica

每个分区由多个副本构成，副本的目的就是冗余备份，当某个Broker上的分区数据丢失时，依然可以保障数据可用。因为在其他的Broker上的副本是可用的。

每个分区都是由多个副本组成，每个分区有多个副本。
多个副本中，有一个是leader副本，而其他的都是follower副本。
leader副本负责Kafka的读写，follower副本负责与leader副本的数据同步。副本可以确保某个服务器出现故障时，确保数据依然可用。
kafka的副本数量不能大于broker节点数量
Kafka的副本会均匀分配在所有的broker节点上，不会出现一个分区的两个副本出现在同一个broker节点

Consumer Group

一个消费者组可以包含多个消费者,组内的消费者根据消费策略，一起消费主题的所有分区数据.

offset偏移量

在Kafka中，每个主题都被分成多个分区，每个分区都是一个有序的消息队列。每条消息在分区中都有一个唯一的偏移量（offset），它表示了这条消息在分区中的位置。消费者在消费消息时，会记录它当前消费到的位置，也就是offset。这样，如果消费者停止或失败，它可以根据记录的offset继续从上次离开的地方开始消费。offsets可以存储在Kafka或ZooKeeper中，以便在消费者重新启动或故障转移时进行恢复。
消费者的offsets存储在一个名为__consumer_offsets的内部Kafka主题中。