使用docker搭建kafka集群、可视化操作台

news2024/11/19 20:39:31

单机搭建

        1 拉取zookeeper镜像

                docker pull wurstmeister/zookeeper 

        2  启动zookeeper容器

                docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

        3 拉取kafka镜像

                docker pull wurstmeister/kafka

        4 启动kafka镜像

              docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                 KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                 KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                 KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                 wurstmeister/kafka

        5 拉取kafka-map镜像

                docker pull dushixiang/kafka-map:latest

        6 启动kafka-map容器

                  docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        7  访问:http://192.168.56.103:9001

                

        点击右上角+号完成kafka的接入:

        

        9  kafka常用命令


                    docker exec -it kafka /bin/bash
                    cd /opt/kafka_2.13-2.8.1/bin
           创建主题:
            ./kafka-topics.sh --create --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --partitions 2 --replication-factor 2 --topic first-create
   
            作为消费端:
            ./kafka-console-consumer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 --from-beginning


           作为生产者:
            ./kafka-console-producer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 

集群搭建

        本次基于docker搭建kafka集群,zookeeper使用单实例

        1 准备2台虚拟机,ip分别是:192.168.56.103,192.168.56.104
 

        2 104 上操作

                

                a 拉取zookeeper镜像
                      docker pull wurstmeister/zookeeper 

                  b 启动zookeeper容器
                      docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime                         wurstmeister/zookeeper

                  c 拉取kafka镜像
                      docker pull wurstmeister/kafka

                  d 启动kafka容器
                      docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.104:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.104:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
  
                  e 拉取kafka-map镜像
                     docker pull dushixiang/kafka-map:latest
                  f 启动kafka-map容器
                    docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        3 103上操作

                

                 a 拉取kafka镜像
                    docker pull wurstmeister/kafka

                 b 启动kafka容器
                    docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=2 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
                    注意:103和104启动kafka的区别就是指定不同的KAFKA_BROKER_ID,如果是以配置文件启动的,在配置文件中修改即可

                
        4 登录到kafka-map上创建对应的kafka集群信息,实现界面化操作

                

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1076012.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【配置vscode编写c或c++程序,并在外部控制台输出程序和解决中文乱码问题!!!】

配置vscode编写c或c程序,并在外部控制台输出程序和解决中文乱码问题!!! 1、点击扩展,添加C语言所需的插件(点击安装,安装完成后点击设置标志安装另一个版本,注意一定要安装1.8.4版本…

赋能智能制造产业发展,开源网安入选广东省智能制造生态合作伙伴

​为贯彻《“十四五”智能制造发展规划》,加快构建广东省智能制造发展生态,广东省工业和信息化厅组织开展了第三批广东省智能制造生态合作伙伴筛选工作。经专家评审和公示,开源网安成功入选第三批广东省智能制造生态合作伙伴。 一直以来&…

期权开户流程合集——期权开户的操作步骤

最详细的期权开户流程介绍是怎样的,下文为大家介绍期权开户流程合集——期权开户的操作步骤的知识点,希望对读者有所帮助,期权开户流程和方式分两种,一种券商,一种期权分仓平台,有啥区别下文揭秘。本文来自…

亚马逊流量攻略:如何将流量转化为销售,测评实现销售飙升!

在电商领域,流量获取一直是一个核心议题。对于任何希望增加订单量的商家而言,将流量引导至自身店铺并成功转化为销售至关重要。对于初入电商领域或规模较小的卖家来说,亚马逊内部的流量获取通常可带来显著的销售业绩。那么,如何利…

从零学算法(LCR 180)

文件组合.待传输文件被切分成多个部分,按照原排列顺序,每部分文件编号均为一个 正整数(至少含有两个文件)。传输要求为:连续文件编号总和为接收方指定数字 target 的所有文件。请返回所有符合该要求的文件传输组合列表…

基于数学模型水动力模拟、水质建模、复杂河网构建技术在环境影响评价、排污口论证及防洪评价中的实践技术应用

目录 专题一 一维水动力模型在河流水动力模拟中的应用 专题二 一维复杂河网模型构建及建筑物设置 专题三 一维水质模型在入河排污口和环境影响评价中的应用 专题四 平面二维水动力模型的构建和验证 专题五 平面二维水动力模型在防洪影响评价中的应用 专题六 平面二维水动…

进阶JAVA篇-深入了解内部类

目录 一.内部类概述: 二.内部类可以分为四种: 2.1成员内部类 2.1.1如何编写一个成员内部类呢? 2.1.2该如何创建内部类的对象? 2.1.3在内部类中该如何访问外部类中的成员呢? 2.2静态内部类 2.2.1如何来创建静…

react管理系统layOut简单搭建

一、新建立react文件夹,生成项目 npx create-react-app my-app cd my-app npm start 二、安装react-router-dom npm install react-router-dom 三、安装Ant Design of React(UI框架库,可根据需求进行安装) npm install antd …

Idea JavaWeb项目,继承自HttpFilter的过滤器,启动Tomcat时部署工件出错

JDK版本:1.8 Tomcat版本:8.5 10-Oct-2023 13:55:17.586 严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.catalina.core.StandardContext.startInternal One or more Filters failed to start. Full details will be found in the appropriate conta…

onnx转换TensorRT的步骤

A. 解析onnx 已有的trt不适配,需要将onnx转为trt parse onnxserialize trt保存trt文件 注意:如果不使用Int8模式,onnx的parser代码几乎通用 概览 构建阶段 建立logger(日志)建立builder(网络元数据)创…

SpringBoot 如何使用 Sleuth 进行分布式跟踪

使用Spring Boot Sleuth进行分布式跟踪 在现代分布式应用程序中,跟踪请求和了解应用程序的性能是至关重要的。Spring Boot Sleuth是一个分布式跟踪解决方案,它可以帮助您在分布式系统中跟踪请求并分析性能问题。本文将介绍如何在Spring Boot应用程序中使…

【Python深度学习】目标检测和语义分割的区别

在计算机视觉领域,语义分割和目标检测是两个关键的任务,它们都是对图像和视频进行分析,但它们之间存在着明显的区别。本文将通过图像示例,详细阐述语义分割和目标检测之间的差异。 一、基本概念 1.1 语义分割(Semantic…

Git【入门】从安装到会用(千字总结)

Git使用 一、Git介绍 1.1 版本控制(理解) 无论是代码编写,还是文档编写,我们都会遇到对文档内容反复修改的情况 但我们不能只保留最后一次修改的文件,其余版本也要保留,有可能老板想要的就是你的上一个版本的 1.2 开发中存在的…

基于YOLOv5、YOLOv8的火灾检测(超实用毕业设计项目)

yolo系列文章目录 摘要:基于YOLOV5模型的火灾检测系统用于日常生活中检测与定位火灾目标,包括建筑火灾、森林火灾等。利用深度学习算法可实现图片、视频、摄像头等方式的火灾目标检测,另外本系统还支持图片、视频等格式的结果可视化与结果导…

云安全之信息内容安全

内容安全产生背景 随着互联网、智能设备及各种新生业务的飞速发展,互联网上的数据呈现爆炸式增长,图片、视频、发文、聊天等互动内容已经成为人们表达感情、记录事件和日常工作不可或缺的部分。每天,通过互联网上传的视频、图片数量超过10亿…

在工业机器视觉领域中应用钡铼技术有限公司的EtherCAT网关

钡铼技术有限公司作为一家专注于业物联网关、工业智能网关、边缘计算网关、ARM嵌入式工业计算机、PLC远程采集网关、Modbus转MQTT网关、OPC UA网关、BACnet网关路由器、Lora网关、工业4G边缘路由器、4G无线远程数据采集模块、4G DTU RTU、以太网远程IO模块、工业总线分布式I/O模…

R语言实现向量自回归和误差修正模型——附实战代码

大家好,我是带我去滑雪! 向量自回归(VAR)模型和误差修正模型(ECM)是时间序列分析中常用的两种模型,它们用于研究多个变量之间的动态关系。VAR 模型适用于研究多个相关变量之间的相互影响和动态关…

总结CRM客户管理系统实施失败的主要原因

实施CRM系统相对于ERP等大型软件要更加容易,但不是每一家企业都能成功实施CRM系统,实施CRM销售管理系统失败的原因有很多比如准备工作不足、与现有应用无法集成做到数据互通、销售人员不容易操作系统。 准备工作不足 部署方式是本地化还云服务主要取决…

除了console.log(),很多人不知道的其他方法console.table,console.dir,console.time等

console.dir 可以对象化输出 dom <script>setTimeout(() > {let d document.querySelector(.box);console.log(d);console.dir(d);}, 500);</script>输出结果 这个对象展开之后的内容太多了就不截图了 console.table能够以表格形式展现对象/数组 <scrip…

如何在 PyTorch 中冻结模型权重以进行迁移学习:分步教程

一、说明 迁移学习是一种机器学习技术&#xff0c;其中预先训练的模型适用于新的但类似的问题。迁移学习的关键步骤之一是能够冻结预训练模型的层&#xff0c;以便在训练期间仅更新网络的某些部分。当您想要保留预训练模型已经学习的特征时&#xff0c;冻结至关重要。在本教程中…