centos7安装kafka、zookeeper

news2024/11/14 3:08:32

安装jdk

安装jdk8  

安装zookeeper

在指定目录执行下载命令 我是在/newdisk/zookeeper目录下

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz --no-check-certificate

下载好后并解压  tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz

校验是否安装好，进入 /newdisk/zookeeper/apache-zookeeper-3.5.8-bin/conf

复制zoo_sample.cfg配置文件为zoo.cfg

cp zoo_sample.cfg zoo.cfg

在进入/newdisk/zookeeper/apache-zookeeper-3.5.8-bin/bin目录

启动zk服务端

./zkServer.sh start

 启动客户端

 ./zkCli.sh

在查看根节点 ，出现如下界面就安装成功了

安装kafka 

进入到要下载的目录，我这边是/newdisk/kafka 执行下载命令（有点慢）

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz --no-check-certificate

或者直接使用安装包kafka_2.13-3.6.0.tgz

解压  tar -xvzf kafka_2.13-3.6.0.tgz

修改配置

进入/newdisk/kafka/kafka_2.13-3.6.0/config，vim server.properties

# broker.id属性在kafka集群中必须要是唯一
broker.id=0
# kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://内网ip:9092
# kafka的消息存储文件
log.dirs=/usr/local/data/kafka-logs
# kafka连接zookeeper的地址
zookeeper.connect=内网ip:2181
broker.id=0
listeners=PLAINTEXT://192.168.31.131:9092
log.dir=/newdisk/kafka/data/kafka-logs
zookeeper.connect=192.168.31.131:2181

启动kafka（前提是zookeeper服务端启动）

进入/newdisk/kafka/kafka_2.13-3.6.0/，执行如下命令

bin/kafka-server-start.sh config/server.properties

通过zookeeper客户端查看是否注册成功

kafka基本操作

创建topic

参数 --topic 指定 Topic 名，--partitions 指定分区数，--replication-factor 指定副本数：

./kafka-topics.sh --create --bootstrap-server 192.168.31.131:9092 --replication-factor 1 --partitions 1 --topic test

查看topic

./kafka-topics.sh --list --bootstrap-server 192.168.31.131:9092

 发送消息

./kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test

消费消息 

./kafka-console-consumer.sh --bootstrap-server 192.168.31.131:9092 --topic test --from-beginning

安装可视化工具Apache Kafka UI

地址：GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management

简介

Apache Kafka UI 是一个免费的开源 Web UI，用于监控和管理 Apache Kafka 集群。

Apache Kafka UI 是一个简单的工具，可让您的数据流可观察，帮助更快地发现和解决问题并提供最佳性能。其轻量级仪表板可以轻松跟踪 Kafka 集群的关键指标 - 代理、主题、分区、生产和消耗。

安装及启动（docker）

运行如下命令

docker run -it -p 8080:8080 -d -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

然后访问 Web UI ：http://localhost:8080

可视化工具kafka-eagle（推荐）

下载 ，只需要到自己想要下载的文件路径下执行如下命令

wget https://github.com/smartloli/kafka-eagle-bin/archive/v2.1.0.tar.gz

解压，解压后发现里面还是一个压缩包

tar -xzvf v2.1.0.tar.gz

继续解压 

tar -xvzf efak-web-2.1.0-bin.tar.gz

复制到指定文件夹

 mv efak-web-2.1.0 /newdisk/kafka/kafka-web

配置kafka_eagle环境变量：vim /etc/profile

# KAFKA_EAGLE
export KE_HOME=/newdisk/kafka/kafka-web
export PATH=$PATH:$KE_HOME/bin

source /etc/profile

配置kafka_eagle，修改配置文件conf文件夹下的system-config.properties文件

 

完整的配置如下


######################################
# multi zookeeper & kafka cluster list
# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead
######################################
#efak.zk.cluster.alias=cluster1,cluster2
#cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.31.131:2181


######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.efak.broker.size=20

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=16

######################################
# EFAK webui port
######################################
efak.webui.port=8048

######################################
# EFAK enable distributed
######################################
efak.distributed.enable=false
efak.cluster.mode.status=master
efak.worknode.master.host=localhost
efak.worknode.port=8085

######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

######################################
# kafka offset storage
######################################
cluster1.efak.offset.storage=kafka
#cluster2.efak.offset.storage=zk

######################################
# kafka jmx uri
######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

######################################
# kafka metrics, 15 days by default
######################################
efak.metrics.charts=true
efak.metrics.retain=15

######################################
# kafka sql topic records max
######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10

######################################
# delete kafka topic token
######################################
efak.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
#cluster2.efak.sasl.enable=false
#cluster2.efak.sasl.protocol=SASL_PLAINTEXT
#cluster2.efak.sasl.mechanism=PLAIN
#cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
#cluster2.efak.sasl.client.id=
#cluster2.efak.blacklist.topics=
#cluster2.efak.sasl.cgroup.enable=false
#cluster2.efak.sasl.cgroup.topics=

######################################
# kafka ssl authenticate
######################################
cluster3.efak.ssl.enable=false
cluster3.efak.ssl.protocol=SSL
cluster3.efak.ssl.truststore.location=
cluster3.efak.ssl.truststore.password=
cluster3.efak.ssl.keystore.location=
cluster3.efak.ssl.keystore.password=
cluster3.efak.ssl.key.password=
cluster3.efak.ssl.endpoint.identification.algorithm=https
cluster3.efak.blacklist.topics=
cluster3.efak.ssl.cgroup.enable=false
cluster3.efak.ssl.cgroup.topics=

######################################
# kafka sqlite jdbc driver address
######################################
#efak.driver=org.sqlite.JDBC
#efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#efak.username=root
#efak.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.31.131:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456

 保存后，启动

bin/ke.sh start

我这边启动报错，根据提升是内存不够，我们把内存调小一点

vim bin/ke.sh

重新启动

 查看状态

bin/ke.sh status

浏览器访问http://192.168.31.131:8048/    用户名/密码  admin/123456

到这边就成功了 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1490309.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Kali Linux 2024.1

Kali Linux 2024.1

Kali Linux 2024.1刚刚发布，标志着这个备受欢迎的安全重点Linux发行版在今年的首次重大更新。以其先进的渗透测试和安全审计功能而闻名，它是安全专业人员和爱好者的首选工具。 Kali 2024.1 亮点 本次发布由 Linux 内核 6.6 提供支持，突出了…
阅读更多...
Git分布式管理-头歌实验本地版本库

Git分布式管理-头歌实验本地版本库

一、本地版本库创建 任务描述 本地Git操作三部曲是“修改-添加-提交”，即先要在本地仓库进行添加、删除或编辑等修改，然后将本地所做的修改添加至暂存区。添加至暂存区的这些本地修改，并未提交到本地仓库，需要执行提交命令才能将暂…
阅读更多...
详解Java中集合的List接口实现的ArrayList方法 | Set接口实现的HashSet方法

详解Java中集合的List接口实现的ArrayList方法 | Set接口实现的HashSet方法

集合的概念 当我们需要保存一组一样（类型相同）的元素的时候，我们应该使用一个容器来存储，数组就是这样一个容器。 ● 数组的特点： 数组是一组数据类型相同的元素集合； 创建数组时，必须给定…
阅读更多...
【CSP试题回顾】202212-1-现值计算

【CSP试题回顾】202212-1-现值计算

CSP-202212-1-现值计算 解题代码 #include <iostream> #include <vector> #include <cmath> using namespace std;int main() {int n;double k, sumPrice 0;cin >> n >> k;vector<double>priceList(n 1);for (int i 0; i < n; i){…
阅读更多...
分享7款前端动画特效（附效果图及在线演示）

分享7款前端动画特效（附效果图及在线演示）

分享7款好玩的前端动画特效 其中有CSS动画、SVG动画、js小游戏等等 下方效果图可能不是特别的生动 那么你可以点击在线预览进行查看相应的动画特效 同时也是可以下载该资源的 canvas彩色画树特效 基于canvas实现的画树特效 同时还可选择树枝的初始数目进行彩色树生成 以下效果…
阅读更多...
用docker部署后端项目

用docker部署后端项目

一、搭建局域网 1.1、介绍前后端项目搭建 需要4台服务器&#xff0c;在同一个局域网中 1.2、操作 # 搭建net-ry局域网&#xff0c;用于部署若依项目 net-ry&#xff1a;名字 docker network create net-ry --subnet172.68.0.0/16 --gateway172.68.0.1#查看 docker network ls…
阅读更多...
【力扣精选算法100道】——存在重复元素 1 or 2 (哈希）

【力扣精选算法100道】——存在重复元素 1 or 2 (哈希）

目录 &#x1f6a9;存在重复元素1 &#x1f388;了解题意 &#x1f388;算法原理 &#x1f388;实现代码 &#x1f6a9;存在重复元素2 &#x1f388;了解题意 &#x1f388;算法原理 &#x1f388;代码实现 217. 存在重复元素 - 力扣&#xff08;LeetCode&#xff09; …
阅读更多...
Zynq—AD9238数据采集DDR3缓存千兆以太网发送实验（二）

Zynq—AD9238数据采集DDR3缓存千兆以太网发送实验（二）

Zynq—AD9238数据采集DDR3缓存千兆以太网发送实验&#xff08;前导&#xff09; Zynq—AD9238数据采集DDR3缓存千兆以太网发送实验&#xff08;一&#xff09; 五、实验目的 本次实验使用电脑上的网络调试助手&#xff0c;将命令帧通过以太网芯片RTL8211&#xff08;RGMII接口…
阅读更多...
C#，最小代价多边形三角剖分MCPT（Minimum Cost Polygon Triangulation）算法与源代码

C#，最小代价多边形三角剖分MCPT（Minimum Cost Polygon Triangulation）算法与源代码

1 最小代价多边形三角剖分算法 凸多边形的三角剖分是通过在非相邻顶点&#xff08;角点&#xff09;之间绘制对角线来形成的&#xff0c;这样对角线就不会相交。问题是如何以最小的代价找到三角剖分的代价。三角剖分的代价是其组成三角形的权重之和。每个三角形的重量是其周长…
阅读更多...
FPFH特征提取以及匹配（matlab代码免费）

FPFH特征提取以及匹配（matlab代码免费）

FPFH特征提取时谁提出的&#xff0c;尊重一下原创&#xff1a; [1] Rusu, Radu Bogdan, Nico Blodow, and Michael Beetz. “Fast point feature histograms (FPFH) for 3D registration.” In 2009 IEEE International Conference on Robotics and Automation, pp. 3212-3217…
阅读更多...
websocket在java中的使用教程

websocket在java中的使用教程

本文从websocket服务端和客户端两个方面简单介绍下websocket在java中的使用。 一、websocket服务端&#xff08;WebSocketServer&#xff09; websocket服务端是以本机作为消息的接受端&#xff0c;用于接受客户端websocket发送过来的消息&#xff0c;并可以通过客户端的webs…
阅读更多...
06_netdev网卡设备内核模块

06_netdev网卡设备内核模块

01_basicLinux内核模块-CSDN博客文章浏览阅读315次&#xff0c;点赞3次&#xff0c;收藏3次。环境IDubuntuMakefilemodules:clean:basic.creturn 0;运行效果。https://blog.csdn.net/m0_37132481/article/details/136157384my_netdev.c #include <linux/kernel.h> #incl…
阅读更多...
Unity 使用AddListener监听事件与取消监听

Unity 使用AddListener监听事件与取消监听

在Unity中&#xff0c;有时候我们会动态监听组件中的某个事件。当我们使用代码动态加载多次&#xff0c;每次动态加载后我们会发现原来的和新的事件都会监听&#xff0c;如若我们只想取代原来的监听事件&#xff0c;那么就需要取消监听再添加监听了。 如实现如下需求&#xff…
阅读更多...
yml代替properties文件进行springboot项目配置

yml代替properties文件进行springboot项目配置

任务&#xff1a;使用yml格式文件代替properties格式文件进行便捷有效的springboot项目配置。 原先&#xff1a; 在与application.properties文件同级目录下新建application.yml文件&#xff0c;以上配置内容修改为&#xff1a; 注&#xff1a;yml文件的一些编写规范
阅读更多...
前端爬虫+可视化Demo

前端爬虫+可视化Demo

爬虫简介 可以把互联网比做成一张 “大网”&#xff0c;爬虫就是在这张大网上不断爬取信息的程序。 爬虫是请求网站并提取数据的自动化程序。 省流&#xff1a;Demo实现前置知识&#xff1a; JS 基础Node 基础 &#xff08;1&#xff09;爬虫基本工作流程&#xff1a; 向…
阅读更多...
跨境电商必看：跨境出海实用工具！

跨境电商必看：跨境出海实用工具！

对于想要出海扩展业务的电商从业者来说&#xff0c;用好工具和资源至关重要。本文将分享一些跨境出海的使用工具&#xff0c;助力跨境业务。 关键词工具 Google Trends&#xff08;谷歌趋势&#xff09;&#xff1a; 它的数据来源于谷歌搜索&#xff0c;依靠Google全世界数十…
阅读更多...
R语言简介、环境与基础语法及注释

R语言简介、环境与基础语法及注释

R语言简介、环境与基础语法及注释 一、R语言1.R语言简介2.R语言官网3.R语言中国的镜像网站4.R语言下载5.R语言的历史 二、R语言环境1.Windows安装1.1 去 R 语言下载的镜像站点的列表下载1.2 选择版本进行下载1.3 点击运行1.4 一路默认&#xff0c;安装完毕&#xff01; 2.Linux…
阅读更多...
maven配置文件（一）Settings配置

maven配置文件（一）Settings配置

一、仓库 1、关系 我们依赖的外部服务是需要有地方进行存储的&#xff0c;而存储的地方就称之为仓库。其中仓库又分为本地仓库、中央仓库、镜像仓库、私服。 &#xff08;1&#xff09;本地仓库 当项目在本地编译或运行时&#xff0c;直接加载本地的依赖服务无疑是最快的。默…
阅读更多...
[计算机网络]：流量控制

[计算机网络]：流量控制

一、流量控制简介 一条TCP连接的每一侧主机都为其设置了接收缓存&#xff0c;当TCP成功连接后&#xff0c;它发送的数据会放入接受缓存中。相关联的进程会从缓存中读取数据。但是存在一个问题&#xff0c;当某应用程序读取数据速率太慢&#xff0c;而发送数据一方不停的发送数…
阅读更多...
Flutter学习8 - 网络编程 Http

Flutter学习8 - 网络编程 Http

1、配置 Http 依赖 Flutter 工具库搜索地址&#xff1a;https://pub.dev/ http最新版本查看网址&#xff1a; https://pub.dev/packages/http 在 pubspec.yaml 中引入 http 插件 dependencies:flutter:sdk: flutterhttp: ^0.13.4 # 请检查并使用最新版本命令行中输入 “ flut…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023