《Kafka 源码实战》看完面试不慌！

news2024/10/5 18:28:00

Kafka 一开始是 LinkedIn 公司开发的消息队列，随着 Kafka 代码被贡献给 Apache 软件基金会后，就成功孵化成 Apache 顶级项目，世界上有越来越多的公司和个人开始使用 Kafka，所以 Kafka 使用的范围是很普遍的。同时，值得强调的是，在大数据领域 Kafka 是当之无愧的 No.1，对 Spark、Flink 等大数据流计算系统都有很完善的支持，并且 Kafka 的 Connect 可以提供与其他系统之间进行扩展的、可靠的流式传输数据的工具。总之，正是鉴于 Kafka 高吞吐、高可用的特性，以及良好的生态环境和社区的大力支持，Kafka 才有了非常旺盛的生命力，对于大数据也有很好的支持，各个互联网大厂爱用它也就不奇怪了。而从另一个角度来看，你学习好 Kafka 也是很有必要的，这对于提升你在职场上的竞争力非常有帮助。

那么，如何学习Kafka源码？？

我觉得最高效的方式就是去读最核心的源码，先看一张 Kafka结构图以及 Kafka 源码全景图

梳理一下关于 Kafka 框架，找到学习的重点。

其次，我要说的就是一个Kafka源码解析的文档——《Kafka源码解析与实战》

篇幅原因，这边只能大概的介绍一下 ☛ 原件

前5章分别是：Kafka简介、Kafka的架构、Broker概述、Broker的基本模块、Broker的控制管理模块

第1章 Kafka简介：介绍Kafka诞生的背景、Kafka在LinkedIn内部的应用、Kafka 的主要设计目标以及为什么使用消息系统
第2章 Kafka的架构：介绍Kafka的基本组成、拓扑结构及其内部的通信协议
第3章 Broker概述：描述Kafka集群组成的基本元素Broker Server的启动以及内部的模块组成
第4章 Broker的基本模块：描述Broker Server内部的九大基本模块: SocketServer 、KafkaRequestHandlerPool 、LogManager、ReplicaManager 、OffsetManager、KafkaScheduler. KafkaApis 、KafkaHalthcheck和TopicConfigManager
第5章 Broker的控制管理模块：介绍BrokerServer的控制管理模块KafkaController,这个模块负责整个Kafka集群的管理，例如:Topic的新建和删除.分区状态和副本状态的转换、集群的负载均衡管理等

后5章分别是 Topic的管理工具、生产者、消费者、Kafka的典型应用、Kafka的综合案例

第6章 Topic的管理工具：介绍三个维护脚本: kafka-topics.sh 、kafka-reassign-partitions.sh 和kafka preferredreplica-election.sh,它们分别涉及Topic的生命周期管理、Topic分区的重分配和分区首选副本的选择。
第7章生产者：从设计原则、示例代码、模块组成和发送模式四个部分介绍有关消息生产者的相关知识，从设计原则至客户端编程，从客户端编程到内部实现原理，由浅人深，循序渐进地讲解。
第8章消费者：分别介绍两种消费者:简单消费者和高级消费者。针对每种消费者都将依次从设计原则、消费者流程、示例代码以及原理解析四个部分介绍消费者的相关知识。
第9章 Kafka的典型应用：介绍Kafka与典型大数据系统的集成，包括: Kafka和Storm的集成、Kafka 和ELK的集成、Kafka和Hadoop的集成以及Kafka和Spark的集成。
第10章 Kafka的综合案例：用综合实例描述了Kafka的应用，案例描述Kafka作为数据总线在安防整体解决方案中的作用，通过车辆人脸图片数据的入库、视频数据的入库、数据延时的监控、数据质量的监控、布控统计和容灾备份6个业务，简要阐述内部的实现原理。