Kafka3.0.0版本——Broker(服役新节点)示例

news2024/11/25 2:29:18

目录

    • 一、服务器信息
    • 二、VMware克隆服务节点(将虚拟机1克隆成虚拟机4
    • 三、克隆后的(192.168.136.30)服务节点配置文件修改
      • 3.1、修改zookeeper服务配置文件
      • 3.2、修改kafka服务配置文件
      • 3.3、先启动zookeeper,再启动kafka
      • 3.4、通过PrettyZoo工具验证启动的kafka是否ok
    • 四、查看新服役的节点上是否存在原始集群中创建的名称为news的主题
    • 五、如何解决新服役的节点上不存在历史集群中创建的主题

一、服务器信息

  • 三台服务器

    原始服务器名称原始服务器ip
    centos7虚拟机1192.168.136.27
    centos7虚拟机2192.168.136.28
    centos7虚拟机3192.168.136.29
  • 克隆后的虚拟机服务节点信息

    克隆后的服务器名称克隆后的服务器ip
    centos7虚拟机4192.168.136.30

二、VMware克隆服务节点(将虚拟机1克隆成虚拟机4

  • VMware克隆kafka服务节点参考博主此博文链接:https://wwwxz.blog.csdn.net/article/details/132178200?spm=1001.2014.3001.5502

三、克隆后的(192.168.136.30)服务节点配置文件修改

3.1、修改zookeeper服务配置文件

  • 编辑/opt/module/zookeeper-3.5.7/conf/zoo.cfg 配置文件,新增server信息,如下图:

    [root@localhost /]# vi /opt/module/zookeeper-3.5.7/conf/
    

    在这里插入图片描述

3.2、修改kafka服务配置文件

  • 进入/opt/module/kafka-3.0.0/目录,删除原始的datas和logs文件夹

    [root@localhost kafka-3.0.0]# rm -rf datas
    [root@localhost kafka-3.0.0]#  rm -rf logs
    

    在这里插入图片描述

  • 编辑/opt/module/kafka-3.0.0/config/server.properties文件,修改内容如下图:

    [root@localhost /]# vi /opt/module/kafka-3.0.0/config/server.properties
    

    在这里插入图片描述

3.3、先启动zookeeper,再启动kafka

  • 启动zookeeper

    [root@localhost /]# cd /opt/module/zookeeper-3.5.7/bin/
    [root@localhost bin]# pwd
    /opt/module/zookeeper-3.5.7/bin
    [root@localhost bin]# sh zkServer.sh start
    

    在这里插入图片描述

  • 再启动kafka

    [root@localhost bin]# cd /opt/module/kafka-3.0.0/
    [root@localhost kafka-3.0.0]# pwd
    /opt/module/kafka-3.0.0
    [root@localhost kafka-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
    [root@localhost kafka-3.0.0]# jps
    

    在这里插入图片描述

3.4、通过PrettyZoo工具验证启动的kafka是否ok

  • brokers中的ids=3已经存在,说明克隆后的kafka启动正常,如下图:

    在这里插入图片描述

四、查看新服役的节点上是否存在原始集群中创建的名称为news的主题

  • 查看kafka中的创建过的名称为news的topic,由下图可知:在3台原始服务器创建的名称为news的主题,在新服役的节点上不存在。

    
    [root@localhost home]# cd /opt/module/kafka-3.0.0/
    [root@localhost kafka-3.0.0]# bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --topic news --describe
    

    在这里插入图片描述

五、如何解决新服役的节点上不存在历史集群中创建的主题

  • 1、创建一个要均衡的主题

    [root@localhost kafka-3.0.0]# vim topics-to-move.json
    #topics-to-move.json的内容如下
    {
    	"topics": [
    		{"topic": "news"}
    	],
    	"version": 1
    }
    

    在这里插入图片描述

  • 2、生成一个负载均衡的计划

    bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092  --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate
    

    在这里插入图片描述

  • 3、创建副本存储计划(所有副本存储在 broker0、broker1、broker2、broker3中)

    [root@localhost kafka-3.0.0]# vim increase-replication-factor.json
    #increase-replication-factor.json的内容如下
    {"version":1,"partitions":[{"topic":"news","partition":0,"replicas":[2,3,0],"log_dirs":["any","any","any"]},{"topic":"news","partition":1,"replicas":[3,0,1],"log_dirs":["any","any","any"]},{"topic":"news","partition":2,"replicas":[0,1,2],"log_dirs":["any","any","any"]}]}
    
  • 4、执行副本存储计划

    bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092  --reassignment-json-file increase-replication-factor.json --execute
    

    在这里插入图片描述

  • 5、验证副本存储计划

    bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092  --reassignment-json-file increase-replication-factor.json --verify
    

    在这里插入图片描述

  • 6、再次查看新服役的节点上是否存在原始集群中创建的名称为news的主题,由下图可知,kafka历史服务中创建的news主题已在新节点上

    [root@localhost kafka-3.0.0]# bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --topic news --describe
    

    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/855944.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Cesium中通过射线计算日照

Cesium中通过射线计算日照 前段时间接触到一个需求,需要实时的计算建筑的日照,通常优先通过shadow map来实现。通过shadow map可以直接获取某一时刻的光照信息,累积不同太阳光位置的shadow map即可得到物体表面的光照时长。 不过本人技术有限…

Pycharm如何打断点进行调试?

断点调试,是编写程序中一个很重要的步骤,有些简单的程序使用print语句就可看出问题,而比较复杂的程序,函数和变量较多的情况下,这时候就需要打断点了,更容易定位问题。 一、添加断点 在代码的行标前面&…

C++/Qt 读写文件

之前写过两篇跟文件操作相关的博客,有兴趣也可以看一下: C语言读写文件 Qt关于文件路径的处理 先讲一些关于基础文本文件和二进制文件的读写操作,后续将会整理C/Qt关于ini、xml、json、xlsx相关文件的读写操作。 C 相比于C语言使用FILE文…

centos7安装phpipam1.4

by:铁乐与猫 date:2021-5-11 安装依赖 sudo yum install epel-release sudo yum install php-mcrypt安装 Apache, MySQL, PHP (LAMP) stack packages sudo yum install httpd mariadb-server php php-cli php-gd php-common php-ldap php-pdo php-pear php-snmp …

c++11 标准模板(STL)(std::basic_fstream)(三)

定义于头文件 <fstream> template< class CharT, class Traits std::char_traits<CharT> > class basic_fstream : public std::basic_iostream<CharT, Traits> 类模板 basic_fstream 实现基于文件的流上的高层输入/输出。它将 std::basic_i…

JPA实现存储实体类型信息

本文已收录于专栏 《Java》 目录 背景介绍概念说明DiscriminatorValue 注解&#xff1a;DiscriminatorColumn 注解&#xff1a;Inheritance(strategy InheritanceType.SINGLE_TABLE) 注解&#xff1a; 实现方式父类子类执行效果 总结提升 背景介绍 在我们项目开发的过程中经常…

Node RESTful API说明

1、什么是 REST REST即表述性状态传递&#xff1b; 表述性状态转移是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。需要注意的是&#xff0c;REST是设计风格而不是标准。 2、HTTP 方法 以下为 REST 基本架构的四个方法&#xff1a; GET - …

机器视觉项目流程和学习方法

机器视觉项目流程&#xff1a; 00001. 需求分析和方案建立 00002. 算法流程规划和业务逻辑设计 00003. 模块化编程和集成化实现 00004. 调试和优化&#xff0c;交付客户及文档 学习机器视觉的方法&#xff1a; 00001. 实战学习&#xff0c;结合项目经验教训 00002. 学习…

【Leetcode】基础题||合并有序表(击败100%)

step by step. 题目&#xff1a;&#xff08;超级基础的题&#xff09; 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1&#xff1a; 输入&#xff1a;l1 [1,2,4], l2 [1,3,4] 输出&#xff1a;[1,1,2,3,4,4]示例…

mysql统计近7天数据量,,按时间戳分组

可以使用以下 SQL 语句来统计近7天的数据量&#xff0c;并按时间戳分组。如果某一天没有数据&#xff0c;则将其填充为0。 SELECT DATE_FORMAT(FROM_UNIXTIME(timestamp), %Y-%m-%d) AS date,COUNT(*) AS count FROM table_name WHERE timestamp > UNIX_TIMESTAMP(DATE_SUB…

C++ 引用详解

1.引用的基本语法 &#xff08;1&#xff09;语法形式&#xff1a; 数据类型 &别名 原名 &#xff08;2&#xff09;原理 给一个已有的变量起别名 int main() {int a 10;int& b a;cout << "a" << a << " b" << b &l…

Vector - CAPL - 诊断模块函数(流控制帧)

目录 CanTpIsUseFlowControlBlockSize & CanTpUseFlowControlBlockSize 代码示例 CanTpGetOneFlowControlValue & CanTpSetOneFlowControlValue 代码示例 CanTpGetAckMode & CanTpSetAckMode & CanTpGetAckResult & CanTpSetAckResult 代码示例 CanT…

MySQL5.7数据库、Navicat Premium1.6可视化工具安装教程【详细教程】

文章目录 一、MySQL、Navicat、注册机地址二、安装&#xff08;一&#xff09;、MySQL安装&#xff08;二&#xff09;、Navicat Premium安装&#xff08;三&#xff09;、集活Navicat Premium 三、遇到的问题1、Are you sure your navicat has not beenpatched/modified befor…

android开发之Android 自定义滑动解锁View

自定义滑动解锁View 需求如下&#xff1a; 近期需要做一个类似屏幕滑动解锁的功能&#xff0c;右划开始&#xff0c;左划暂停。 需求效果图如下 实现效果展示 自定义view如下 /** Desc 自定义滑动解锁View Author ZY Mail sunnyfor98gmail.com Date 2021/5/17 11:52 *…

测评HTTP代理的透明匿名?

在我们日常的网络冒险中&#xff0c;你是否曾听说过HTTP代理的透明匿名特性&#xff1f;这些神秘的工具就像是网络世界中的隐身斗士&#xff0c;让我们能够在互联网的迷雾中保护自己的身份和隐私。那么&#xff0c;让我们一起揭开HTTP代理的面纱&#xff0c;探索其中的奥秘吧&a…

opencv安装报错解决方案

菜鸟程序员写代码5分钟&#xff0c;配环境5小时 这里记录一下opencv配置报错&#xff0c;其实之前碰到过很多遍了 情况1&#xff1a;安装的时候卡在这一块 Building wheel for opencv-python (pyproject.toml) 解决方案&#xff1a;在安装指令后加--verbose pip install o…

并发三大特性和JMM

一、并发三大特性 1、原子性 一个或多个操作&#xff0c;要么全部执行且在执行过程中不被任何因素打断&#xff0c;要么全部不执行。在Java中&#xff0c;对基本数据类型的读取和赋值操作是原子性操作&#xff08;64位处理器&#xff09;。不采取任何的原子性保障措施的自增操…

微信小程序 map地图(轨迹)

allMarkers效果图 废话少说直接上马&#xff08;最后是我遇到的问题&#xff09; cover-view是气泡弹窗&#xff0c;可以自定义弹窗&#xff0c;要配合js&#xff1a;customCallout&#xff0c;如果是非自定义的话&#xff1a;callout&#xff08;可以修改颜色、边框宽度、圆角…

《Zookeeper》源码分析(五)之 ServerCnxnFactory的工作原理(上)

目录 AcceptThread数据结构构造函数run() SelectorThread数据结构processAcceptedConnections()select()processInterestOpsUpdateRequests() 本文开始分析 ServerCnxnFactory的工作原理&#xff0c;按照顺序我们这样分析&#xff1a; 建立连接监听读写事件处理读写就绪的事件…

【图像去噪的滤波器】非局部均值滤波器的实现,用于鲁棒的图像去噪研究(Matlab代码实现)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…