k8s 中间件

news2024/10/6 1:37:10

1. zookeeper

是的，Zookeeper 和 Kafka 经常一起使用，Zookeeper 在 Kafka 中扮演了关键角色。以下是 Zookeeper 和 Kafka 在实际项目中的结合使用及其作用的详细说明。

项目背景

假设我们有一个分布式数据处理系统，该系统需要高吞吐量的实时消息处理能力。Kafka 被选作消息队列系统，用于接收、存储和传输大量实时数据。Zookeeper 被用作集群管理工具，以确保 Kafka 集群的高可用性和一致性。

Kafka 与 Zookeeper 的结合

1. Kafka Broker 管理

Kafka 使用 Zookeeper 来管理 Kafka brokers（代理）。Zookeeper 维护了所有 broker 的元数据和状态信息，确保每个 broker 都可以发现和通信其他 brokers。

  • Broker 注册：当一个 Kafka broker 启动时，它会向 Zookeeper 注册自己，这样其他 brokers 可以知道集群中的所有成员。
  • Leader 选举：Kafka 分区的 leader 选举是通过 Zookeeper 来完成的。每个分区有一个 leader 和多个 follower，leader 负责所有读写操作，而 followers 复制 leader 的数据。
2. Topic 和 Partition 管理

Zookeeper 维护 Kafka 集群中所有 topic 和分区的元数据，包括分区的位置、replicas 和 leader 信息。

  • Topic 配置：创建一个 topic 时，Kafka 会将其配置信息（如分区数、副本数）存储在 Zookeeper 中。
  • 分区信息：每个分区的 leader 和 followers 信息也存储在 Zookeeper 中，确保集群的元数据一致性。
3. 消费者组协调

Zookeeper 协调 Kafka 消费者组，确保每个消费者实例在集群中唯一且不重复地消费消息。

  • 消费者注册：消费者启动时会向 Zookeeper 注册自己，并通过 Zookeeper 获取分配给它的分区。
  • 分区再均衡：当消费者实例加入或离开时，Zookeeper 负责触发分区再均衡，确保分区分配在消费者组中保持均衡。

实际项目示例

项目描述

假设我们有一个实时日志处理系统，该系统收集来自多个应用程序的日志数据，进行实时处理和分析。

使用 Kafka 和 Zookeeper

  1. 数据收集和传输：

    • 应用程序将日志数据发送到 Kafka topic。每个应用程序对应一个或多个 Kafka topics。

  2. 消息队列管理：

    • Kafka 集群由多个 brokers 组成，Zookeeper 管理这些 brokers 的元数据和状态，确保集群的高可用性。
    • Zookeeper 协助 Kafka 进行分区 leader 选举，确保每个分区都有一个 leader 负责处理读写请求。

  3. 实时处理：

    • 一个 Kafka 消费者组（如 Spark Streaming、Flink 或自定义的消费者应用）从 Kafka topics 中消费日志数据进行实时处理。
    • Zookeeper 协调消费者组中的消费者，确保每个分区的数据都被唯一的消费者处理。

  4. 故障恢复：

    • 如果一个 Kafka broker 崩溃，Zookeeper 协助进行 leader 选举，将分区的 leader 转移到其他可用的 brokers。
    • 消费者实例崩溃时，Zookeeper 触发分区再均衡，将分区重新分配给其他消费者实例，确保系统继续稳定运行。

结论

Zookeeper 在 Kafka 集群中起到了关键的协调和管理作用，确保了 Kafka 的高可用性和一致性。在实际项目中，Kafka 和 Zookeeper 的结合使用能够处理大量实时数据，提供可靠的消息传输和处理能力。这种架构在大数据、日志处理、实时分析等领域广泛应用，能够满足高吞吐量和低延迟的需求。

zookeeper headless

在yaml文件中 clusterIP: None 代表它是headless svc
在这里插入图片描述
10.96.0.10 是k8s 集群内的 dns 解析

应用验证

在这里插入图片描述
可以获得键值说明zookeeper正常，这是在集群内访问

下面是安装客户端，从外面通过port 访问zookeeper
在这里插入图片描述

zookeeper的存储可以接nfs

2. kafka

kafka 生产者将数据写入到分区主题， 这些主题通过可配置的副本存储到broker集群上。消费者消费存储在broker 分区生成的数据

示例项目说明

假设你有一个在线零售网站，你希望使用Kafka来处理用户订单数据。以下是如何使用Broker、Topic和分区来实现这一需求的示例：

1. 创建Kafka集群

你创建了一个Kafka集群，包含3个Broker（Broker 0, Broker 1, Broker 2）。

2. 创建Topic

你创建了一个名为orders的Topic，用于存储用户订单数据。为了提高系统的性能和可靠性，你决定将这个Topic分成3个分区，并设置副本因子为2。

kafka-topics.sh --create --topic orders --partitions 3 --replication-factor 2 --zookeeper localhost:2181
3. 分区和副本分布

Kafka会自动在Broker之间分配分区和副本。例如：

  • 分区 0 可能分布在Broker 0和Broker 1上，其中Broker 0是Leader，Broker 1是Follower。
  • 分区 1 可能分布在Broker 1和Broker 2上，其中Broker 1是Leader，Broker 2是Follower。
  • 分区 2 可能分布在Broker 2和Broker 0上，其中Broker 2是Leader，Broker 0是Follower。
4. 数据生产和消费
  • 生产者（Producer）： 你的订单服务会将每个订单消息发送到orders Topic。Kafka根据某种分区策略（如订单ID的哈希值）将消息分配到不同的分区。
  • 消费者（Consumer）： 你的订单处理服务会从orders Topic中消费消息。消费者可以并行地从不同的分区读取数据，从而提高处理速度。
数据流示例
  1. 用户A在网站上下单，订单数据被发送到orders Topic，Kafka将其放入分区0。
  2. 用户B在网站上下单，订单数据被发送到orders Topic，Kafka将其放入分区1。
  3. 用户C在网站上下单，订单数据被发送到orders Topic，Kafka将其放入分区2。

优点

  • 高可用性和容错性： 如果一个Broker宕机，Kafka可以自动切换到其他Broker上的副本，保证数据的可用性。
  • 高吞吐量： 多个分区使得生产者和消费者可以并行工作，提高了系统的处理能力。
  • 可扩展性： 你可以通过增加分区数和Broker数量来扩展Kafka集群的容量和性能。

kafka高可用集群部署

可以使用helm，或者和zookeeper一起部署，还可以自己的yaml
也可以使用storageclass来持久化存储

在k8s内部验证Kafka的使用test，生产环境不这样用kafka

创建一个pod客户端
在这里插入图片描述

进入后，如果没有topic，创建topic，然后生产，消费

在这里插入图片描述

这个topic名字是test01 topic被分成3个分区，分区使Kafka能够并行处理数据，因为不同的消费者可以消费不同的分区。
副本 2个代表每个分区的数据会被复制到两个不同的 Broker上。
副本是分区的一个副本，存储在不同的Broker上。
Kafka使用主副本（Leader）和从副本（Follower）来管理数据复制。
Leader负责所有读写请求，而Follower被动地复制Leader的数据。
如果Leader宕机，Kafka会自动选举一个新的Leader，从而保证数据的高可用性。

Broker 是实际存储和管理数据的服务器节点。
Topic 是消息的分类和逻辑分组。
分区 是Topic的子集，每个分区是一个独立的、有序的消息日志，使Kafka能够并行处理和分发消息。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.rokectmq

分布式消息传递，万亿级别

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1887878.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Webpack: 剖析插件基本形态与架构逻辑

Webpack: 剖析插件基本形态与架构逻辑

概述 Webpack 对外提供了 Loader 与 Plugin 两种扩展方式，其中 Loader 职责比较单一，开发方法比较简单容易理解；Plugin 则功能强大，借助 Webpack 数量庞大的 Hook，我们几乎能改写 Webpack 所有特性，但也伴…
阅读更多...
改变图像中特定区域的颜色

改变图像中特定区域的颜色

背景与原理 再训练施工即系模型中，发现大量施工机械都是黄色的，我需要把它们换成蓝色的，以增强模型使用可靠性。 目前没有尝试深度学习算法，只是简单的进行了处理。 核心目的：通过人工标注与opencv的结合&#xff0…
阅读更多...
Cybervadis认证是什么？

Cybervadis认证是什么？

Cybervadis认证是一种全面且深入的网络安全评估和认证服务，旨在帮助组织提高其网络安全实践的成熟度，并有效应对不断变化的网络威胁和攻击。以下是关于Cybervadis认证的一些关键信息： 认证目的： 评估和验证组织在网络安全方面的能…
阅读更多...
使用目标检测模型YOLO V10 OBB进行旋转目标的检测：训练自己的数据集（基于卫星和无人机的农业大棚数据集）

使用目标检测模型YOLO V10 OBB进行旋转目标的检测：训练自己的数据集（基于卫星和无人机的农业大棚数据集）

这个是在YOLO V10源码的基础上实现的。我只是在源码的基础上做了些许的改动。 YOLO V10源码：YOLO V10源码 YOLOv10是清华大学的研究人员在Ultralytics Python包的基础上，引入了一种新的实时目标检测方法，解决了YOLO 以前版本在后处理和模型架…
阅读更多...
计组_虚拟存储器

计组_虚拟存储器

2024.06.09：计算机组成原理学习笔记 第11节 虚拟存储器* 1.1 分页思想1.1.1 虚拟地址/逻辑地址1.1.2 主存地址/物理地址1.1.3 页表1.1.4 分页方式的缺陷 1.2 分段思想1.2.1 虚拟地址/逻辑地址1.2.2 主存地址/物理地址1.2.3 段表 1.3 段页式思想1.3.1 虚拟地址/逻辑地…
阅读更多...
分布式技术专题 | TCP在分布式网络中的通信机制与底层实现

分布式技术专题 | TCP在分布式网络中的通信机制与底层实现

深入解析分布式网络中的TCP通信协议实现 跨地域通信与资源共享网络节点与主机的定义网络技术通信机制TCP/IP协议模型TCP/IP分层机制TCP的Socket链接处理控制TCP的优势和特性自动差错控制正确性和有序性 TCP的Socket使用端口在应用程序间通信TCP的Socket使用端口套接字操作 跨地…
阅读更多...
5G(NR) NTN 卫星组网架构

5G(NR) NTN 卫星组网架构

5G(NR) NTN 卫星组网架构 参考 3GPP TR 38.821 5G NTN 技术适用于高轨、低轨等多种星座部署场景，是实现星地网络融合发展的可行技术路线。5G NTN 网络分为用户段、空间段和地面段三部分。其中用户段由各种用户终端组成，包括手持、便携站、嵌入式终端、车…
阅读更多...
鸿蒙应用开发-时间屏幕

鸿蒙应用开发-时间屏幕

点击下载源码： https://download.csdn.net/download/liuhaikang/89509449 做一个时间屏幕，可以点击切换白色和黑色，有渐变效果，使用到了鸿蒙的动画效果。 在这个设计中，我们首先引入了通用能力包，以实现功…
阅读更多...
uniapp做小程序内打开地图展示位置信息

uniapp做小程序内打开地图展示位置信息

使用场景&#xff1a;项目中需要通过位置信息打开地图查看当前位置信息在地图那个位置&#xff0c;每个酒店有自己的经纬度和详细地址&#xff0c;点击地图按钮打开内置地图如图 方法如下&#xff1a; <view class"dttu" click"openMap(info.locationY,info.…
阅读更多...
24/07/02数据结构(1.1201)算法效率顺序表

24/07/02数据结构(1.1201)算法效率顺序表

数据结构基本内容:1.时间复杂度 空间复杂度2.顺序表链表3.栈 队列4.二叉树5.排序 数据结构是存储,组织数据的方式.指相互之间存在一种或多种特定关系的数据元素的集合 算法是定义良好的计算过程.取一个或一组值为输入并产生一个或一组值为输出. 需要知道虽然选择题有20-30个…
阅读更多...
什么是Java泛型擦除？

什么是Java泛型擦除？

JDK1.5之后引入泛型擦除的概念。 目录 验证逻辑 实际编译后的结果&#xff1a; 验证例子&#xff1a; 两个类型相同&#xff0c;表面泛型都被擦出了&#xff0c;都是Arraylist。 List<String> list1 new Arraylist<>(); List<Integer> list2 new Arrayli…
阅读更多...
自动化一些操作

自动化一些操作

下拉选择框 from selenium import webdriver from time import sleep # 导包 from selenium.webdriver.support.select import Select driver webdriver.Edge() driver.get(r"D:\WORK\ww\web自动化_day01_课件笔记资料代码\web自动化_day01_课件笔记资料代码\02_其他资料…
阅读更多...
配置windows环境下独立浏览器爬虫方案【不依赖系统环境与chrome】

配置windows环境下独立浏览器爬虫方案【不依赖系统环境与chrome】

引言 由于部署浏览器爬虫的机器浏览器版本不同&#xff0c;同时也不想因为部署了爬虫导致影响系统浏览器数据&#xff0c;以及避免爬虫过程中遇到的chrome与webdriver版本冲突。我决定将特定版本的chrome浏览器与webdriver下载到项目目录内&#xff0c;同时chrome_driver在初始…
阅读更多...
【车载开发系列】SPI总线通信技术

【车载开发系列】SPI总线通信技术

【车载开发系列】SPI总线通信技术 【车载开发系列】SPI总线通信技术 【车载开发系列】SPI总线通信技术一. 什么是SPI二. 应用范围三. 协议特点1&#xff09;传输速率2&#xff09;主要功能3&#xff09;拓扑结构4&#xff09;接口配置 四. SPI总线原理五. 信号列表六. SPI传输时…
阅读更多...
攻防世界-WEB-catcat-new

攻防世界-WEB-catcat-new

前言 .................. 开干 正文 信息收集 有意思 估计是权限不够导致无法访问 我们点击几只小猫看看有什么东西 好的,?File 试试看是否存在任意文件读取 思路 成功,接下来我们尝试获取历史记录 这里补充一下知识点 /proc/self proc是一个伪文件系统&#xff0c;它提…
阅读更多...
PDF文档如何统计字数，统计PDF文档字数的方法有哪些?

PDF文档如何统计字数，统计PDF文档字数的方法有哪些?

在平时使用pdf阅读或者是处理文档的时候&#xff0c;常常需要统计文档的字数。pdf在查看文字时其实很简单。 PDF文档是一种常见的电子文档格式&#xff0c;如果需要对PDF文档中的字数进行统计&#xff0c;可以使用以下方法&#xff1a; Adobe Acrobat DC&#xff1a;Adobe Ac…
阅读更多...
Linux 防火墙开放端口

Linux 防火墙开放端口

启动防火墙服务&#xff1a;systemctl start firewalld 查看防火墙开放端口 &#xff1a;firewall-cmd --list-ports 开放3306端口&#xff1a;firewall-cmd --zonepublic --add-port2375/tcp --permanent 防火墙重启&#xff1a;firewall-cmd --reload
阅读更多...
html+css+js气球消除小游戏

html+css+js气球消除小游戏

气球消除小游戏 消除15个就成功 源码在图片后 点赞加关注&#xff0c;谢谢 左上角的数字显示消除气球的数量 定时随机生成气球 &#x1f388;&#x1f388;&#x1f388; 图片 源代码 <!DOCTYPE html> <html lang"en"> <head> <meta charset&…
阅读更多...
2.3.2 主程序和外部IO交互 （文件映射方式）----IO Client实现

2.3.2 主程序和外部IO交互 （文件映射方式）----IO Client实现

2.3.2 主程序和外部IO交互 &#xff08;文件映射方式&#xff09;----IO Client C实现 和IOServer主要差别&#xff1a; 1 使用Open_Client 连接 2 一定要先打开IOServer&#xff0c;再打开IO_Client 效果显示 1 C 代码实现 1.1 shareddataClient.h 头文件中引用 和sharedd…
阅读更多...
0 TMS320F28379D 开坑

0 TMS320F28379D 开坑

开坑原因 最近开始做实验&#xff0c;实验室的主控采用的是F2812FPGA&#xff0c;属于够用但不好用的状态。FPGA用于生成调制信号&#xff0c;DSP完成采样和控制。师兄师姐研究拓扑及调制策略&#xff0c;对驱动数量以及驱动逻辑有比较高的要求&#xff0c;因此不好脱离FPGA&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023