Kafka 生态系统
-
微信公众号：阿俊的学习记录空间
-
小红书：ArnoZhang
-
wordpress：arnozhang1994
-
博客园：arnozhang
-
CSDN：ArnoZhang1994
以下是与 Kafka 集成的工具列表，涵盖了不同领域的工具和扩展。这些工具并非全部经过验证使用，部分可能不兼容或存在问题。
Kafka Connect
Kafka 提供了内置框架 Kafka Connect，用于编写数据源和数据接收器。该框架支持将数据持续写入 Kafka，或将 Kafka 中的数据写入外部系统。不同应用或数据系统的连接器是独立于 Kafka 主代码库维护的。Confluent Hub 提供了连接器的外部托管列表。
流处理
- Kafka Streams: Kafka 内置的流处理库，包含丰富的文档和代码示例。
- 其他流处理框架:
- Storm: 流处理框架，支持通过 Kafka 作为消息源。
- Samza: 基于 YARN 的流处理框架。
- SparkStreaming: 支持 Kafka 0.8 及以上版本。
- Flink: 与 Kafka 有集成。
- IBM Streams: 支持 Kafka 消息的消费和生产。
- Spring Cloud Stream: 用于构建事件驱动微服务的框架。
- Apache Apex: 提供 Kafka 的源和接收器连接器。
- Logstash: 提供 Kafka 输入和输出插件。
- Logagent: 具有 Kafka 插件的日志处理工具。
Hadoop 集成
- Confluent HDFS Connector: Kafka Connect 框架中的 HDFS 接收器。
- Camus: LinkedIn 的 Kafka 到 HDFS 管道工具。
- Flume: 提供 Kafka 作为数据源和接收器的支持。
- KaBoom: 高性能的 HDFS 数据加载器。
数据库集成
- Confluent JDBC Connector: 用于从 RDBMS（如 MySQL）向 Kafka 写入数据的 Kafka Connect 框架源连接器。
- Oracle Golden Gate Connector: 通过 Golden Gate 采集 CDC 操作并写入 Kafka。
搜索与查询
- Elasticsearch: 支持将 Kafka 消息处理并索引到 Elasticsearch，Kafka Connect 也提供 Elasticsearch 的连接器。
- Presto: 允许使用 SQL 查询 Kafka 数据。
- Hive: 使用 Hive SQL 查询 Kafka（目前仅支持 Avro）。
- OpenMLDB Kafka Connector: 支持通过 SQL 定义和提取数据流中的特征，用于机器学习应用。
管理控制台
- Kafka Manager: 管理 Kafka 的工具。
- Kafka Web Console: 显示 Kafka 集群状态和主题信息。
- Kafka Offset Monitor: 显示消费者的状态及其滞后情况。
- Cruise Control: 自动化动态负载重新平衡和集群自愈工具。
- Burrow: 提供消费者延迟检查服务。
- Xinfra Monitor: 监控 Kafka 集群和镜像管道的可用性与性能。
AWS 集成
- 自动化 AWS 部署: 相关工具支持 Kafka 与 AWS S3 的镜像工具。
日志记录
- syslog 集成: 提供 syslog 生产者支持，常见的日志收集工具（如 syslog-ng、klogd 等）都可与 Kafka 集成。
- Logstash 集成: Logstash 和 Fluentd 插件支持 Kafka。
指标监控
- Mozilla Metrics Service: 基于 Kafka 和 Protocol Buffers 的指标和日志系统。
- Ganglia Integration: Ganglia 与 Kafka 的集成。
- Sematext Kafka 监控集成: 提供 200+ Kafka 指标的收集和图表展示。
- Dropwizard Metrics 集成: 支持将 Kafka 客户端和流处理的内建指标注册到 Dropwizard Metrics。
打包与部署
- RPM 和 Debian 打包: 提供 Kafka 的 RPM 和 Debian 打包支持。
- Puppet 集成: 提供 Puppet 模块管理 Kafka 的配置和部署。
Kafka Camel 集成
- 提供与 Apache Camel 的 Kafka 集成，支持 Camel-Kafka 组件。
其他工具
- Kafka Websocket: 支持通过 Websocket 与浏览器通信的 Kafka 代理。
- KafkaCat: 原生命令行生产者和消费者工具。
- Kafka Mirror: 替代内置镜像工具的 Kafka 镜像工具。
- uReplicator: 跨数据中心的 Kafka 集群复制工具。
- Mirus: 基于 Kafka Connect 的分布式高容量复制工具。
