前言

        这次我们从消息队列开始讨论。生产者-消费者模型中间需要一个消息队列，以存储生产者的产品。对传统的消息队列来说，它支持点对点（P2P）和发布/订阅（Pub/Sub）两种消息模型。在点对点模型中，消息被发送到一个队列，并且只有一个消费者可以消费该消息。在发布/订阅模型中，消息被发布到一个主题，可以有多个订阅者消费。通常将消息存储在内存或数据库中，可能不具备持久化或只有有限的持久化能力。消息队列能够达到生产者与消费者服务解耦的效果。

        而kafka是一种消息队列系统。主要使用发布/订阅模型，但通过消费者组（Consumer Group）的概念，也可以实现类似点对点的消息消费模式。在 Kafka 中，同一个消费者组内的消费者会协调消费同一个分区的消息，确保每个消息在组内只被消费一次。设计用于持久化消息到磁盘，支持10万级高吞吐量的数据写入，并且可以配置消息的保留策略。此外，Kafka还支持异步处理，这是它能够实现高吞吐量和高性能的关键特性之一。

集群架构

        Kafka 集群是由多个 Kafka 服务器（称为 Broker）组成的分布式系统，它们共同提供高吞吐量、可扩展性和容错性的消息处理能力。以下是 Kafka 集群的一些关键特点和组成部分：

• Broker：Kafka 集群由多个 Broker 组成，每个 Broker 是一个独立的 Kafka 服务器实例。Broker 负责维护数据和处理客户端的请求。
• Topic：Kafka 中的消息分类称为 Topic。一个 Topic 可以分布在多个 Broker 上，以实现数据的分布式存储。
• Partition：Topic 被分割成多个 Partition，每个 Partition 是一个有序的消息队列。Partition 可以在不同的 Broker 之间进行分配，以实现负载均衡和并行处理。
• Replication：为了提高数据的可靠性，每个 Partition 都有多个副本（Replica）。其中一个副本是领导者（Leader），负责处理所有的读写请求。其他副本是追随者（Follower），负责复制领导者的数据。
• Leader Election：如果领导者副本失败，Kafka 会从追随者中选举出一个新的领导者。
• Producer：生产者是向 Kafka 集群发送消息的客户端。生产者可以将消息发送到特定的 Topic 和 Partition。
• Consumer：消费者是从 Kafka 集群读取消息的客户端。消费者可以属于一个消费者组（Consumer Group），消费者组内的消费者可以协调消费同一个 Partition 的消息。
• Consumer Group：消费者组是一组消费者，它们共享订阅的 Topic。Kafka 保证每个消息只被消费者组内的某个消费者消费。所有的消费者都属于某个消费者组。
• Offset：每个消息在 Partition 中都有一个唯一的 Offset，消费者使用 Offset 来跟踪它们在 Partition 中的位置。不同的Partition中的Offset是独立的，消费者组中的每个消费者都会实时记录自己消费到了哪个Offset，以便出错恢复时从上一个位置继续消费。

原理

工作流程

副本原理

         数据只会写入Leader副本，其他副本从Leader副本拉取数据。而消费者读取数据也只会从Leader副本读。Kafka 集群设计了高可用性，即使部分 Broker 失败，集群仍然可以继续处理消息。集群可以通过添加更多的 Broker 来水平扩展，以处理更多的数据和请求。通过副本机制提供容错能力，即使某些 Broker 失败，数据也不会丢失。对于Ledaer的分配，拿TopicA来举例，TopicA分成了两个Partition，如果将其Leader设置在同一个broker上，当这个broker宕机，其他的机器就要选两个新Leader，但是如果将同一Topic的不同Partition的Leader设置在不同的broker，这样即使一个broker宕机也只会重新选一个新Ledaer。所以Ledaer应该尽量分布均匀。

• 在 Kafka 中，副本分成两类：领导者副本（Leader Replica）和追随者副本（FollowerReplica）。每个分区在创建时都要选举一个副本，称为领导者副本，其余的副本自动称为追随者副本。
• Kafka 副本机制中的追随者副本是不对外提供服务的，不同于Fastdfs、MongdoDB等。
• 当领导者副本挂掉了，或领导者副本所在的 Broker 宕机时，Kafka 依托于 ZooKeeper 提供的监控 功能能够实时感知到，并立即开启新一轮的领导者选举，从追随者副本中选一个作为新的领导者。老 Leader 副本重启回来后，只能作为追随者副本加入到集群中。

水平扩展

        kafka得消息组织方式是主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中被保存多份。分区的作用主要提供负载均衡的能力，能够实现系统的高伸缩性（Scalability)。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。这样，当性能不足的时候可以通过添加新的节点机器来增加整体。（特别注意：副本与分区的区别）

分区策略

数据可靠性保证