(二十六)大数据实战——kafka集群之Kraft模式安装与部署

news2025/1/21 22:06:52

前言

本节内容主要介绍kafka3.0版本以后,一种新的kafka集群搭建模式看kraft,在该模式下,kafka高可用不在依赖于zookeeper,用 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进 行 Kafka 集群管理。

正文

①解压kafka安装包到/opt/module/kafka-kraft目录下

- 命令:

mkdir -p /opt/module/kafka-kraft
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/kafka-kraft

②修改kafka目录下/opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft的配置文件server.properties

 - server.properties配置文件目录

- 服务器基础配置

############################# Server Basics #############################

# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller

# The node id associated with this instance's roles
node.id=1

# The connect string for the controller quorum
controller.quorum.voters=1@hadoop101:9093,2@hadoop102:9093,3@hadoop103:9093

- 对外暴露地址的配置

advertised.listeners=PLAINTEXT://hadoop101:9092

- 配置数据存储目录

log.dirs=/opt/module/kafka-kraft/kafka_2.12-3.0.0/data

③同步kafka的kraft模式安装包到hadoop102和hadoop103,并修改配置

 - 同步kafka安装包

- 修改hadoop102的server.properties配置文件

- 修改hadoop103的server.properties配置文件

④初始化kafka-kraft集群数据目录

-  生成存储目录唯一 ID

bin/kafka-storage.sh random-uuid

- 用该ID格式化kafka集群的存储目录

bin/kafka-storage.sh format -t 4l-ahopRSLSJlH-qxczhYg -c /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties

⑤创建kafka集群启停脚本

 - 在kafka的bin目录创建集群启停脚本my-kafka-kraft.sh

#! /bin/bash
case $1 in
"start"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------启动 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka-kraft/kafka_2.12-3.0.0/config/kraft/server.properties"
 done
};;
"status"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo =============== $i ===============
 ssh $i jps
 done
};;
"stop"){
 for i in hadoop101 hadoop102 hadoop103
 do
 echo " --------停止 $i Kafka2-------"
 ssh $i "/opt/module/kafka-kraft/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
 done
};;
esac

- 在hadoop101服务器创建my-kafka-kraft.sh脚本

 ⑥配置kafka-kraft环境变量

- 修改环境变量配置

- 同步环境变量配置

⑦启动集群、停止集群、查看集群状态

 

结语

至此,关于kafka集群之Kraft模式安装与部署到这里就结束了,我们下期见。。。。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/996663.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

产品路线图管理,实践如何管理产品路线图和路线图规划

​什么是产品路线图? 产品路线图是一个高层次的战略计划,它描述了产品在未来一段时间可能会如何发展和壮大。 产品路线图确保整个产品团队持续关注产品的目标,帮助产品负责人把握产品的战略方向,调整产品的优先级和产品规划。 …

【实践篇】Redis最强Java客户端Redisson

文章目录 1. 前言2. Redisson基础概念2.1 数据结构和并发工具2.1.1 对Redis原生数据类型的封装和使用2.1.2 分布式锁实现和应用2.1.3 分布式集合使用方法 2.2 Redisson的高级特性2.2.1 分布式对象实现和使用2.2.2 分布式消息队列实现和使用2.2.3 分布式计数器实现和使用 3. 参考…

hadoop伪分布模式配置

1、修改/usr/local/hadoop/etc/hadoop/core-site.xml和/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件 core-site.xml内容 <configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><descr…

日志平台搭建第四章:Linux安装kibana

相关链接 https://www.elastic.co/cn/downloads/kibana https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz 官网下载可能比较慢&#xff0c;下面提供下载地址 百度云链接&#xff1a;https://pan.baidu.com/s/1d9Cqr9EwHF94op90F57bww 提取码…

《微服务架构设计模式》第二章

文章目录 微服务架构是什么软件架构是什么软件架构的定义软件架构的41视图模型为什么架构如此重要 什么是架构风格分层式架构风格六边形架构风格微服务架构风格 为应用程序定义微服务架构识别操作系统根据业务能力进行拆分根据子域进行拆分拆分指导原则单一职责原则&#xff08…

idea的GsonFormatPlus插件教程

1 安装 插件 打开idea, File—>Setting—>Plugins,搜索 GsonFormatPlus 直接安装 2 json 转化为 实体类 2.1 新建一个类 2.2 点击右键 2.4 点击Format 生成注释

聊一下酱香拿铁,瑞幸与茅台强强联手

&#xff08;点击即可收听&#xff09; 这两天&#xff0c;酱香拿铁火爆朋友圈了的 为什么唯独酱香拿铁会火成这样&#xff0c;不知道有人思考过背后逻辑&#xff1f; 难道只是因为一个新出的拿铁咖啡吗&#xff1f; 奇葩咖啡那么多为什么都没有这个一出来就爆火。 联名本身就是…

BUUCTF内涵的软件 1

使用die查看文件信息&#xff0c;没有pe64就是pe32 运行看看 使用IDA打开文件 shift F12 打开字符串窗口 可能有人猜到了上面的 DBAPP{49d3c93df25caad81232130f3d2ebfad} 可能就是flag&#xff0c;但是我们保持做题的思路来得到这个flag 因为编码问题&#xff0c;这里显…

第29节-PhotoShop基础课程-滤镜库

文章目录 前言1.滤镜库2.Camera Raw滤镜 &#xff08;用来对图片进行预处理&#xff0c;最全面的一个&#xff09;3.神经滤镜&#xff08;2022插件 需要先下载&#xff09;4.液化&#xff08;胖-> 瘦 矮->高&#xff09;5.其它滤镜1.自适应广角2.镜头矫正 把图片放正3.消…

分享配置FreeRTOSConfig.h文件因部分宏值配置不对以及相应函数未定义出现的三个错误解决方法

今天来分享一个在创建FreeRTOS时候调用官方的FreeRTOSConfig头文件时&#xff0c;因部分宏值的配置与FreeRTOS内核文件中的函数不匹配&#xff0c;导致编译时候出现了相应的错误。 于是&#xff0c;既然遇到了&#xff0c;就准备拿出来讲一下&#xff0c;让其他遇到的小伙伴也…

VBA技术资料MF55:VBA_突出显示小于某值的单元格

【分享成果&#xff0c;随喜正能量】当你对别人有用时&#xff0c;人性就是善良的&#xff1b;当你对别人无用时&#xff0c;人性就是自私的&#xff1b;当你触碰别人利益时&#xff0c;人性就是恶毒的。活得通透的人必须做到&#xff1a;圈子越来越小&#xff0c;话也越来越少…

解决transform带来的z-index失效问题

现象如下&#xff1a; 其实下拉列表已经设置了z-index: 但是为什么z-index没有生效呢。 后来发现原来它的父级元素使用了transform进行垂直方向居中 网上查询了相关资料&#xff0c;说: tranform由于会构造一个新的context层, 然后这个层的z轴优先级会最低巴拉巴拉的&#xff…

通信原理板块——信道之无线信道和有线信道

微信公众号上线&#xff0c;搜索公众号小灰灰的FPGA,关注可获取相关源码&#xff0c;定期更新有关FPGA的项目以及开源项目源码&#xff0c;包括但不限于各类检测芯片驱动、低速接口驱动、高速接口驱动、数据信号处理、图像处理以及AXI总线等 1、信道 通信模型中的信道&#xf…

初探JVM

五道常问面试题 1.请你谈谈你对JVM的理解&#xff1f;java8虚拟机和之前的变化更新&#xff1f; 2.什么是OOM,什么是栈溢出StackOverFlowError?怎么分析? 3.JVM的常用调优参数有哪些&#xff1f; 4.内存快照如何抓取&#xff0c;怎么分析Dump文件&#xff1f;知道吗&#xf…

队列(Queue)的顶级理解

目录 1.队列(Queue) 的概念 2.单链表模拟实现队列 2.1创建队列 2.2入队列 2.3判断是否为空 2.4出队列 2.5获取队头元素 2.6完整代码&#xff1a; 2.7双向链表模拟实现队列代码 3.数组模拟实现队列代码 3.1创建队列 3.2判断是否为满 3.3检查是否为空 3.4插入元素 3…

时序分解 | MATLAB实现RIME-VMD霜冰优化算法优化VMD变分模态分解信号分量可视化

时序分解 | MATLAB实现RIME-VMD霜冰优化算法优化VMD变分模态分解信号分量可视化 目录 时序分解 | MATLAB实现RIME-VMD霜冰优化算法优化VMD变分模态分解信号分量可视化效果一览基本介绍程序设计参考资料 效果一览 基本介绍 RIME-VMD【23年新算法】霜冰优化算法优化VMD变分模态分…

基于springboot跨国旅游系统

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容&#xff1a;毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…

微信小程序ibeacon搜索功能制作

以下是一个完整的微信小程序代码示例&#xff0c;演示如何实现iBeacon搜索功能&#xff1a; // 在小程序页面中的js文件中编写代码Page({data: {beacons: [] // 存储搜索到的iBeacon设备信息},onReady() {// 初始化iBeaconwx.startBeaconDiscovery({uuids: [你的UUID], // 替换…

关于中了halo勒索病毒,这些你需要了解,勒索病毒解密数据恢复

一&#xff0c;什么是halo勒索病毒&#xff1f; halo勒索病毒是一种新兴的电脑病毒&#xff0c;其主要目标是加密受害者的文件并索要赎金以解锁。这种病毒利用各种手段进行传播&#xff0c;包括电子邮件、恶意网站、网络下载等方式。halo勒索病毒是一种相对较新的勒索病毒&…

免费敏捷需求管理工具,需求管理方案

​传统的瀑布工作模式使用详细的需求说明书来表达需求&#xff0c;需求人员负责做需求调研&#xff0c;根据调研情况编制详细的需求说明书&#xff0c;进行需求评审&#xff0c;评审之后签字确认交给研发团队设计开发。在这样的环境下&#xff0c;需求文档是信息传递的主体&…