strimzi operator 部署kafka集群

news2024/9/27 15:28:38

Strimzi介绍

官方文档：https://strimzi.io/docs/operators/0.42.0/overview#kafka-components_str
Strimzi介绍 Strimzi 是一个用于 Apache Kafka 在 Kubernetes 上部署和管理的开源项目。它提供了一组 Kubernetes 自定义资源定义（Custom Resource Definitions，CRDs）、控制器和操作符，使得在 Kubernetes 环境中轻松地部署、管理和操作 Kafka 集群成为可能。Strimzi 项目旨在简化 Kafka 在 Kubernetes 上的部署和运维，同时利用 Kubernetes 的优势，如弹性、可扩展性和自动化。

以下是 Strimzi 的一些关键特性和优势：
Kubernetes原生支持: Strimzi 利用 Kubernetes 的原生资源和概念，如Pods、Services、PersistentVolumeClaims（PVCs）等，使得 Kafka 集群的部署和管理与 Kubernetes 中其他应用程序类似。
自定义资源定义（CRDs）: Strimzi 提供了一组自定义资源定义（CRDs），用于描述 Kafka 集群、主题、用户等 Kafka 相关的资源，使得用户可以通过 Kubernetes API 对其进行管理。
多种部署选项: Strimzi 支持多种部署模式，包括单节点、多节点、高可用、多集群等，可以根据需求选择合适的部署模式。
集成安全性: Strimzi 支持 Kafka 的安全功能，包括TLS/SSL加密、身份认证、授权等，以确保 Kafka 集群的安全性。
自动化运维: Strimzi 提供了一组控制器和操作符，可以自动化 Kafka 集群的运维任务，如扩展、备份、升级等，减少了运维人员的工作量。

Kafka 组件架构

Apache Kafka 组件可通过 Strimzi 发行版部署到 Kubernetes。Kafka 组件通常以集群形式运行，以确保可用性。
包含 Kafka 组件的典型部署可能包括：

  • Kafka代理节点集群
  • 复制的 ZooKeeper 实例的ZooKeeper集群
  • Kafka Connect集群用于外部数据连接
  • Kafka MirrorMaker集群用于在辅助集群中镜像 Kafka 集群
  • Kafka Exporter提取额外的 Kafka 指标数据用于监控
  • Kafka Bridge向 Kafka 集群发出基于 HTTP 的请求
  • Cruise Control用于在代理节点之间重新平衡主题分区

虽然这些组件并非全部都是必需的，但您至少需要 Kafka 和 ZooKeeper。有些组件可以在没有 Kafka 的情况下部署，例如 MirrorMaker 或 Kafka Connect。

  • Kafka 集群由负责消息传递的代理组成。
  • ZooKeeper 用于集群管理。在 KRaft（Kafka Raft 元数据）模式下部署 Kafka 时，通过在 Kafka 节点内集成代理和控制器角色，集群管理得到简化，无需 ZooKeeper。Kafka 节点承担代理、控制器或两者的角色。在 Strimzi 中使用节点池配置角色。

其他每个 Kafka 组件都与 Kafka 集群交互以执行特定的角色。

Kafka 组件交互

请添加链接描述

  • Apache ZooKeeper
    Apache ZooKeeper 提供集群协调服务，存储和跟踪代理和消费者的状态。ZooKeeper 还用于控制器选举。如果使用 ZooKeeper，则在运行 Kafka 之前必须准备好 ZooKeeper 集群。在 KRaft 模式下，ZooKeeper 不是必需的，因为协调由 Kafka 集群中作为控制器运行的 Kafka 节点管理。

  • Kafka Connect
    Kafka Connect 是一个集成工具包，用于使用连接器插件在 Kafka 代理和其他系统之间传输数据。Kafka Connect 提供了一个框架，用于将 Kafka 与外部数据源或目标（例如数据库）集成，以便使用连接器导入或导出数据。连接器是提供所需连接配置的插件。

  • 源连接器将外部数据推送到 Kafka。

  • 接收器连接器从 Kafka 中提取数据
    外部数据被翻译并转换成适当的格式。
    您可以通过配置来部署 Kafka Connect build，该配置会自动构建包含数据连接所需连接器插件的容器映像。

  • Kafka MirrorMaker
    Kafka MirrorMaker 在两个 Kafka 集群之间（在数据中心内或跨数据中心）复制数据。
    MirrorMaker 从源 Kafka 集群获取消息并将其写入目标 Kafka 集群。

  • Kafka桥
    Kafka Bridge 提供了用于将基于 HTTP 的客户端与 Kafka 集群集成的 API。

  • Kafka Exporter
    Kafka Exporter 提取数据作为 Prometheus 指标进行分析，主要是与偏移量、消费者组、消费者滞后和主题相关的数据。消费者滞后是指写入分区的最后一条消息与消费者当前从该分区获取消息之间的延迟

Strimzi operators

官方文档：https://strimzi.io/docs/operators/latest/deploying#assembly-operators-str
Strimzi operators 专门设计了专业的操作知识，以有效管理 Kubernetes 上的 Kafka。每个操作员都执行不同的功能。

Cluster Operator

Cluster Operator 负责在 Kubernetes 上部署和管理 Apache Kafka 集群。它可自动设置 Kafka 代理以及其他 Kafka 组件和资源。

Topic Operator

Topic Operator 管理 Kafka 集群内主题的创建、配置和删除。

User Operator

User Operator 管理需要访问 Kafka 代理的 Kafka 用户。
部署 Strimzi 时，首先要部署 Cluster Operator。然后，Cluster Operator 即可处理 Kafka 的部署。您还可以使用 Cluster Operator（推荐）或作为独立操作员部署 Topic Operator 和 User Operator。您可以将独立操作员与不受 Cluster Operator 管理的 Kafka 集群一起使用。
Topic Operator 和 User Operator 是 Entity Operator 的一部分。Cluster Operator 可以根据 Entity Operator 的配置部署其中一个或者两个 Operator。

部署 Cluster Operator

认识Cluster Operator

  • Strimzi的Cluster Operator是一个自定义的Kubernetes操作符，用于管理和运行Kafka集群。
  • 它是Strimzi的核心组件之一，负责监视Kafka集群的运行状态、处理集群级别的配置变更、创建、删除和更新Kafka集群资源等。
  • Cluster Operator可以自动化部署、升级和维护Kafka集群，使得Kafka集群可以自动化、高效地运行在Kubernetes中。
  • 主要用途是将Kafka和Kubernetes整合在一起，提供了一种简单、可扩展且可靠的方式来管理Kafka集群。

Kafka集群、Topic Operator、User Operator

为了能够使用 Cluster Operator 管理 Kafka 集群，您必须将其部署为 Kafka 资源。 Strimzi 提供了示例部署文件来执行此操作。您可以使用这些文件同时部署 Topic Operator 和 User Operator。

部署 Cluster Operator 后，使用 Kafka 资源部署以下组件：

  • Kafka集群
  • Topic Operator
  • User Operator

在安装 Kafka 时，Strimzi 还安装了 ZooKeeper 集群，并添加了连接 Kafka 和 ZooKeeper 所需的配置。
如果您尚未将 Kafka 集群部署为 Kafka 资源，则无法使用 Cluster Operator 对其进行管理。例如，这适用于在 Kubernetes 外部运行的 Kafka 集群。但是，您可以将 Topic Operator 和 User Operator 与不受 Strimzi 管理的 Kafka 集群一起使用，方法是将它们部署为独立组件。您还可以在非 Strimzi 管理的 Kafka 集群中部署和使用其他 Kafka 组件。

部署 Cluster Operator 以监视所有命名空间

官方文档： https://strimzi.io/quickstarts/

此过程演示如何部署 Cluster Operator 以监视 Kubernetes 集群中所有命名空间中的 Strimzi 资源。
在此模式下运行时，Cluster Operator 会自动管理创建的任何新命名空间中的集群。

创建一个名为 kafka 的命名空间
kubectl create namespace kafka
获取项目代码
# 使用默认的 main 分支即可
git clone https://github.com/strimzi/strimzi-kafka-operator.git
cd strimzi-kafka-operator
配置RBAC

先决条件

  • 您需要一个有权创建和管理 CustomResourceDefinition 和 RBAC（ClusterRole 和 RoleBinding）资源的帐户。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1970820.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Oracle11.2.0 安装手册V1.0.doc

Oracle11.2.0 安装手册V1.0.doc

文档说明 编写目的 本手册是给系统技术人员人员提供Red Hat Enterprise Linux 5.4环境下得Oracle 11g的安装和配置指导，帮助实施人员或用户能够快速安装配置Oracle 11g。 准备介质 适用于Linux x86-64的Oracle Database 11g第2版 linux.x64_11gR2_database_1of2.…
阅读更多...
校园课程助手【4】-使用Elasticsearch实现课程检索

校园课程助手【4】-使用Elasticsearch实现课程检索

本节将介绍本项目的查询模块，使用Elasticsearch又不是查询接口，具体流程如图所示（如果不了解Elasticsearch可以使用sql语句进行查询）： 这里是两种方法的异同点： Mysql：擅长事务类型操作&#…
阅读更多...
​EtherCAT、CANopen、RS485在电机控制中的对比

​EtherCAT、CANopen、RS485在电机控制中的对比

​EtherCAT、CANopen、RS485在电机控制中的对比 EtherCAT 特点： 高速通信：EtherCAT是一种实时以太网技术，数据传输速度快，具有极低的通信延迟和抖动。 高同步性：可精确同步多台设备，适用于高要求的控制任…
阅读更多...
Python爬虫技术 第23节 数据清洗和预处理

Python爬虫技术 第23节 数据清洗和预处理

在使用Python进行网络爬虫项目时，数据清洗和预处理是非常重要的步骤。这些步骤有助于确保从网页上抓取的数据准确、一致，并且适合后续的分析或机器学习任务。下面我将详细介绍如何使用Python来进行数据清洗和预处理。 1. 数据获取 首先，你需…
阅读更多...
Java 实现 AVL树

Java 实现 AVL树

在二叉平衡树中，我们进行插入和删除操作时都需要遍历树，可见树的结构是很影响操作效率的。在最坏的情况下，树成了一个单支树，查找的时间复杂度成了O(N)，建树跟没建树一样。那么是不是有什么办法可以建一个树避免这种情…
阅读更多...
基于 KubeSphere 的 Kubernetes 生产环境部署架构设计及成本分析

基于 KubeSphere 的 Kubernetes 生产环境部署架构设计及成本分析

转载&#xff1a;基于 KubeSphere 的 Kubernetes 生产环境部署架构设计及成本分析 前言 导图 1. 简介 1.1 架构概要说明 今天分享一个实际小规模生产环境部署架构设计的案例&#xff0c;该架构设计概要说明如下&#xff1a; 本架构设计适用于中小规模(<50)的 Kubernetes …
阅读更多...
本地生活服务商公司有哪些？一文教你搭建本地生活系统！

本地生活服务商公司有哪些？一文教你搭建本地生活系统！

当前&#xff0c;本地生活领域群雄环伺&#xff0c;日益激烈的竞争推动各家互联网大厂调整布局模式的同时&#xff0c;也让本地生活市场持续迸发新的活力。在此背景下&#xff0c;想要通过本地生活服务商身份入局的创业者数量不断增多&#xff0c;以本地生活服务商公司有哪些等…
阅读更多...
前端面试题整理-CSS

前端面试题整理-CSS

两栏布局 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>两栏布局</title><style>…
阅读更多...
java计算机毕设课设—基于网络爬虫技术的网络新闻分析系统（附源码、文章、相关截图、部署视频）

java计算机毕设课设—基于网络爬虫技术的网络新闻分析系统（附源码、文章、相关截图、部署视频）

这是什么系统&#xff1f; java计算机毕设课设—基于网络爬虫技术的网络新闻分析系统 基于网络爬虫技术的新闻分析系统&#xff0c;它能够实时抓取凤凰网、网易、新浪、搜狐等网站的新闻数据&#xff0c;提取正文和点击量&#xff0c;每日定时抓取。系统还能对抓取的新闻进行…
阅读更多...
给echarts图表线条、数据点和区域设置颜色

给echarts图表线条、数据点和区域设置颜色

let myChart echarts.init(document.getElementById("chartmainCop"));// 获取当前干部的各项评分const allIndicators Object.keys(this.dialogEacherTable[0]).filter(key > key ! "CadreID" && key ! "xm").map(key > ({name…
阅读更多...
window电脑上使用python将pdf转换为word文档

window电脑上使用python将pdf转换为word文档

1、电脑上安装Python运行环境 一、python官网下载链接 二、下载到电脑后&#xff0c;直接运行安装 三、安装完成后按&#xff1a;winR键进入window命令控制窗口&#xff0c;输入 python --version2、设置python依赖包国内镜像源 pip config set global.index-url https://mirr…
阅读更多...
国家发改委区域司韩振海副司长一行莅临麒麟信安调研

国家发改委区域司韩振海副司长一行莅临麒麟信安调研

7月31日&#xff0c;国家发改委区域司韩振海副司长一行莅临麒麟信安调研。湖南省发改委区域处处长孙健军&#xff0c;长沙市发改委党组成员、市长株潭一体化发展事务中心主任邹犇淼等相关领导陪同调研。麒麟信安总裁刘文清热情接待。 在麒麟信安展厅&#xff0c;韩振海副司长一…
阅读更多...
在MANET中的TCP增强

在MANET中的TCP增强

本文内容节选自一篇系统性文献综述&#xff08;Systematic Literature Review, SLR&#xff09;&#xff0c;标题为“TCP Performance Enhancement in IoT and MANET”&#xff0c;由 Sultana Parween 和 Syed Zeeshan Hussain 撰写&#xff0c;发表在《International Journal …
阅读更多...
Windows下Rust OpenCV环境配置

Windows下Rust OpenCV环境配置

首发于Enaium的个人博客 安装Chocolatey 首先我们需要安装Chocolatey&#xff0c;Chocolatey是一个Windows的包管理器。 我们点击右上角的Install进入到Installing Chocolatey&#xff0c;选择Individual 复制命令 Set-ExecutionPolicy Bypass -Scope Process -Force; [Sys…
阅读更多...
springboot餐饮管理系统-计算机毕业设计源码73168

springboot餐饮管理系统-计算机毕业设计源码73168

摘要 随着科技的不断进步和互联网时代的深入发展&#xff0c;餐饮行业正面临着一场由传统向智能化、信息化转变的革命。传统的餐饮管理方式&#xff0c;如手工点餐、纸质菜单、人工结算等&#xff0c;已经无法满足现代餐饮企业对于效率、准确性和用户体验的高要求。因此&#x…
阅读更多...
【Hot100】LeetCode—31. 下一个排列

【Hot100】LeetCode—31. 下一个排列

目录 题目1- 思路2- 实现⭐31. 下一个排列——题解思路 3- ACM 实现 题目 原题连接&#xff1a;31. 下一个排列 1- 思路 技巧题&#xff0c;分为以下几个步骤 ① 寻找拐点&#xff1a; i 1 &#xff1a;出现 nums[i1] > nums[i] &#xff0c;则 i 1 就是拐点 从右向左遍…
阅读更多...
技术守护尊严||Chat GPT在抵抗性骚扰的作用分析

技术守护尊严||Chat GPT在抵抗性骚扰的作用分析

就在本周&#xff0c;中国人民大学女博士实名举报导师性骚扰的事情&#xff0c;引发全网关注&#xff01; 性骚扰&#xff0c;无论在线上还是线下&#xff0c;无论在职场还是校园&#xff0c;都是对个人尊严与权益的严重侵犯。 幸运的是&#xff0c;随着人工智能技术的飞速发…
阅读更多...
专题九_链表(1)

专题九_链表(1)

目录 题型总结 2. 两数相加 解析 题解 24. 两两交换链表中的节点 解析 题解 题型总结 2. 两数相加 2. 两数相加 解析 题解 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(nullptr)…
阅读更多...
硬件开发笔记（二十九）：TPS54331电源设计（二）：12V转3.3V和12V转4V原理图设计

硬件开发笔记（二十九）：TPS54331电源设计（二）：12V转3.3V和12V转4V原理图设计

若该文为原创文章&#xff0c;转载请注明原文出处 本文章博客地址&#xff1a;https://hpzwl.blog.csdn.net/article/details/140868749 长沙红胖子Qt&#xff08;长沙创微智科&#xff09;博文大全&#xff1a;开发技术集合&#xff08;包含Qt实用技术、树莓派、三维、OpenCV…
阅读更多...
一款功能强大且免费的跨平台图片批量处理工具

一款功能强大且免费的跨平台图片批量处理工具

XnConvert是一款功能强大且免费的跨平台图片批量处理工具&#xff0c;广泛应用于个人用户、教育机构和非营利组织。它支持超过500种图片格式&#xff0c;包括常见的JPEG、PNG、TIFF、GIF、WebP、PSD、JPEG2000等&#xff0c;并能够导出为大约70种不同的文件格式。 该软件的主要…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023