kafka集群环境部署

news2024/11/28 10:42:15

文章目录

  • 1 Kafka集群
  • 2 搭建两台服务器
    • 2.1 zookeeper部署
    • 2.2 启动1号机器的broker
    • 2.3 启动2号机器的broker
    • 2.4 查看kafka集群
    • 2.5 测试集群

1 Kafka集群

在这里插入图片描述

2 搭建两台服务器

在这里插入图片描述

2.1 zookeeper部署

zookeeper先只部署一台,在1号机器(192.168.11.59)上启动zookeeper。

sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

2.2 启动1号机器的broker

(1)修改server.properties(在config目录)。

broker.id=0
zookeeper.connect=192.168.11.59:2181

修改broker.id(也可以改为-1,自动分配)和配置对应的zookeeper ip地址。

(2)启动kafka。

sh kafka-server-start.sh -daemon ../config/server.properties

默认端口为:9092,可以通过命令lsof -i:9092查看kafka是否启动成功。

2.3 启动2号机器的broker

除server.properties中broker.id=1与1号机器不同之外其他都一样。

2.4 查看kafka集群

(1)创建主题。

sh kafka-topics.sh --create --zookeeper 192.168.11.59:2181 -replication-factor 2 --partitions 2 --topic kafka-2

(2)查看主题。

sh kafka-topics.sh --describe --zookeeper 192.168.11.59:2181 --topic kafka-2

显示消息:

Topic:kafka-2	PartitionCount:2	ReplicationFactor:2	Configs:
	Topic: kafka-2	Partition: 0	Leader: 1	Replicas: 1,0	Isr: 1,0
	Topic: kafka-2	Partition: 1	Leader: 0	Replicas: 0,1	Isr: 0

2.5 测试集群

开启一个生产者,两个消费者。当两个消费者同属一个消费组开启后,消费者轮流收到发送者的数据。

(1)生产者:

sh kafka-console-producer.sh --broker-list 192.168.11.59:9092 --topic kafka-2

(2)消费者:

sh kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic kafka-2

默认是group 0,也可以指定,比如:

sh kafka-console-consumer.sh --bootstrap-server 192.168.31.249:9092 --topic kafka-2 --group 0 --from-beginning

kafka-console-consumer.sh部分支持的参数:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1259248.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

浅谈智能照明控制系统在建筑电气工程中的应用

贾丽丽 安科瑞电气股份有限公司 上海嘉定 201801 摘要:建筑电气工程是项目工程中的重要组成部分,其对技术、电气设备及系统的要求较高。在信息化技术不断深入推广的新时期,建筑电气工程中的照明系统获得新的发展契机,为了满足现…

【RTP】4: 实例解析:一个SRTP的wireshark抓包:带padding、带扩展

抓取的是视频包。固定的pt是127从头部找到序号,快速找到这个包包大小因为是包括了SRTP的,所以318 个字节,实际RTP包是286个字节。SRTP 包 UDP总共 294个字节,payload部分286 RTP协议 RTP部分: B0 代表有padding、有扩展 从B0开始

每天一道算法题:51. N 皇后

难度 困难 题目 按照国际象棋的规则,皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 n 皇后问题 研究的是如何将 n 个皇后放置在 nn 的棋盘上,并且使皇后彼此之间不能相互攻击。 给你一个整数 n ,返回所有不同的 n_ _皇后问题 的…

FLASK博客系列9——你想成为我的新用户吗?

距离上次发文好久好久了。 先说声抱歉,拖更的毛病我会改掉的。 上次我们教大家如何用后台去管理用户和新增文章,但始终都是单机操作,怎么让你的朋友也来加入你的小站呢?今天我们来为我们的网站增添一个新功能,实现用户…

js 获取数组的最大值与最小值

let arr [1, 2, 5, 8, 10, 100, -1] 1. 使用Math的静态方法max/min Math.max()函数返回给定的一组数中的最大值。 它的语法:Math.max(value1[, value2, ...]) 使用此方法,需要注意,如果没有参数的话,则返回-Infinity。如果有任一…

海外服务器的韧性有多重要?带你了解亚马逊云科技的前世今生

在“第四次工业革命”的浪潮中,云计算已经成为众多互联网企业发展业务灵活性和创新性的核心引擎。然而,随之而来的是各个行业对云服务器,尤其是海外服务器的韧性和可靠性的需求不断提升。在这个充满挑战和竞争的行业环境下,亚马逊…

Vatee万腾的数字创新征途:vatee科技力量的独特奇点

在数字化的时代浪潮中,Vatee万腾如一颗耀眼的明星,以其独特的科技奇点引领着数字创新的征途。无论是在人工智能、大数据、云计算,还是智能化领域,Vatee万腾都展现出了与众不同的创新力量,为科技征途描绘了独一无二的奇…

linux下的工具---gdb

一、gdb简介 GDB,是The GNU Project Debugger 的缩写,是 Linux 下功能全面的调试工具。 GDB支持断点、单步执行、打印变量、观察变量、查看寄存器、查看堆栈等调试手段。 程序的发布方式有两种,debug模式和release模式 Linux gcc/g出来的二进制程序&am…

神经网络的分类

神经网络可以分为三种主要类型:前馈神经网络、反馈神经网络 和 图神经网络。 一、前馈神经⽹络 前馈神经⽹络(feedforward neural network)是⼀种简单的神经⽹络,也被称为多层感知机(multi-layer perceptron&#xff…

亚马逊云科技实现了奇瑞捷豹路虎SAP系统的上云目标并保持成本优化

11月23日,“2023第八届IDC中国数字化转型年度盛典”正式开启并揭晓“2023 IDC中国未来企业大奖-卓越奖”获奖企业,奇瑞捷豹路虎汽车有限公司(以下简称“奇瑞捷豹路虎”)凭借“基于云原生的智慧化运营平台”项目,继获得…

2024年最安全的10个Linux桌面发行版

选择合适的 Linux 发行版很重要。 Linux 发行版是一切计算的基石,也是诸君管理硬件组件及交互的重要工具。如果没有强大的安全措施,你的系统很容易受到攻击。值得庆幸的是,Linux 生态系统提供了一系列选项,允许用户根据自己的特定…

Single Patterns : 就一个单例模式调得我蛋疼,1. 单例类的继承树即扩展 2. 系统中单例类的注册及查询,属实有意思!

Intent Ensure a class only has one instance, and provide a global point of access to it. // DesignPatterns.cpp: 定义应用程序的入口点。 //#include "DesignPatterns.h"#include <list> #include <utility> using namespace std;class Single…

计算机视觉面试题-03

1、简单介绍一下sigmoid&#xff0c;relu&#xff0c;softplus&#xff0c;tanh&#xff0c;RBF及其应用场景 这里简单介绍几个激活函数及其应用场景&#xff1a; Sigmoid 函数&#xff08;Logistic 函数&#xff09;&#xff1a; 公式&#xff1a; s i g m a ( x ) 1 1 e …

2.7V 到 5.5V、 12Bit 单通道数模转换器MS5221/5221M

产品简述 MS5221/5221M 是一款 12bit 单通道输出的电压型 DAC &#xff0c;接口 采用三线串口模式&#xff0c;可以兼容 TMS320 、 SPI 、 QSPI 和 Microwire 串 口。 MS5221/5221M 数据有 16bit &#xff0c;包括控制字节&#xff0c;和 12bitDAC 数 据。 MS5221/5221M 电…

CloudCompare 二次开发1

一、在源码中添加插件文件 修改cmakelist 二、插件文件内容 MyPlugin 1、修改程序名称 2、 修改cMakeList 3、 修改cpp和.h 4、修改qc 5、修改json 三、重新编译 cmake 插件 如果不打√那个生成的程序里面没有这个插件显示 generate 然后生成 结果 四、结果显示 dll …

SAS Planet软件介绍与使用教程

软件情况 SAS Planet是一位俄罗斯爱好者创建的的开源应用&#xff0c;该应用可以浏览与下载主流网络地图&#xff0c;包括Google地图、Google地球、Bing地图、Esri 地图、Yandex地图等。 该软件是基于Pascal开发的应用&#xff0c;目前已在github上开源&#xff0c;并使用了GP…

统计学之假设检验

- 原假设和备择假设&#xff1a; - 第一类错误&#xff08;α错误&#xff09;&#xff1a;H0以真为假 *重点关注 第二类错误&#xff08;β错误&#xff09;&#xff1a;H0以假为真 - 假设检验流程&#xff1a; 提出H0和H1&#xff1b;计算检验统计量Z&#xff1…

运维01:云计算

云计算的类型 分类&#xff1a;公有云、私有云、混合云 云计算的服务模式 服务模式分3种&#xff1a; ①IaaS&#xff08;Infrastructure as a Service&#xff09;&#xff1a;基础设施即服务 ②PaaS&#xff08;Platform as a Service&#xff09;&#xff1a;平台即服务…

数据结构——利用堆进行对数组的排序

今天文章的内容是关于我们如何利用堆的特性对我们的数组进行排序&#xff0c;还有就是我们的TopK的问题&#xff0c;这次我们放在的是文件种&#xff0c;我们放入一亿个数字&#xff0c;然后我们取出一亿个数字中最大的十个数&#xff0c;利用上章堆的问题进行解决。 首先就是我…

函数指针数组指针数组传参的本质字符指针

&#x1f680; 作者&#xff1a;阿辉不一般 &#x1f680; 你说呢&#xff1a;不服输的你&#xff0c;他们拿什么赢 &#x1f680; 专栏&#xff1a;爱上C语言 &#x1f680;作图工具&#xff1a;draw.io(免费开源的作图网站) 如果觉得文章对你有帮助的话&#xff0c;还请点赞…