01_kafka_环境搭建安装_topic管理

news2024/12/23 2:09:40

文章目录

  • 安装jdk
  • 配置主机名
  • Zookeeper 下载与安装
  • Kafka 下载与安装
  • 测试
  • 集群版安装
    • 测试
    • 输出

安装jdk

  • 略

配置主机名

  • hostnamectl set-hostname kafka_1

  • /etc/sysconfig/network

HOSTNAME=kafka_1
  • /etc/hosts
ip  kafka_1
  • ping kafka_1 测试

Zookeeper 下载与安装

  • 由于 集群中的 Leader 的监控 和 Topic 元数据 存储在 Zookeeper 中 ，所以需要安装 zk；
  • https://zookeeper.apache.org/releases.html 中选择需要的版本；
  • conf 目录 复制zoo_sample.cfg 为 zoo.cfg, 修改其中的配置 dataDir 指定自己的目录；
  • 启动zk：使用 zkServer.sh start zoo.cfg
cd /opt/pkg/
wget --no-check-certificate  https://dlcdn.apache.org/zookeeper/zookeeper-3.8.2/apache-zookeeper-3.8.2-bin.tar.gz
tar zxf apache-zookeeper-3.8.2-bin.tar.gz
mv apache-zookeeper-3.8.2-bin ../app/
cd /opt/app/apache-zookeeper-3.8.2-bin/
cp zoo_sample.cfg zoo.cfg
./bin/zkServer.sh start zoo.cfg

---
[root@loaclhost bin]# ./zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/app/apache-zookeeper-3.8.2-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone

Kafka 下载与安装

  • https://kafka.apache.org/downloads
cd /opt/pkg/
wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
tar zxf kafka_2.13-3.5.1.tgz
mv kafka_2.13-3.5.1 ../app/
cd /opt/app
cd kafka_2.13-3.5.1/
cd config/
cp server.properties server.properties.bak
vim server.properties
---
listeners=PLAINTEXT://kafka_1:9092
og.dirs=./kafka-logs
zookeeper.connect=kafka_1:2181
---

cd ../
./bin/kafka-server-start.sh -daemon config/server.properties
  • 配置： config/server.properties
broker.id
listeners=PLAINTEXT://主机名:9092
log.dirs= # 日志目录
zookeeper.connect=主机名:2181
  • 启动：./bin/kafka-server-start.sh -daemon config/server.properties
  • 停止：./bin/kafka-server-stop.sh

测试

./bin/kafka-topics.sh --bootstrap-server kafka_1:9092 --create --topic topic_01 --partitions 3 --replication-factor 1 # 单机版副本因子为1 多了没有意义
./bin/kafka-console-consumer.sh --bootstrap-server kafka_1:9092 --topic topic_01 --group g1 # 消费者 查看输出
./bin/kafka-console-producer.sh --broker-list kafka_1:9092  --topic topic_01  # 开始输入

root@loaclhost kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092 --create --topic topic_0
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should c
WARNING: Due to limitations in metric names, topics with a period (‘.’) or underscore ('') could collide. To avo
Created topic topic_01.
[root@loaclhost kafka_2.13-3.5.1]# ./bin/kafka-console-consumer.sh --bootstrap-server kafka_1:9092 --topic topic
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should c

root@loaclhost kafka_2.13-3.5.1]# ./bin/kafka-console-consumer.sh --bootstrap-server kafka_1:9092 --topic topic_01 --group g1
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N

在这里插入图片描述

集群版安装

  • 使用3台主机进行搭建，三台机器上都需要安装 jdk，Zookeeper，Kafka
  • 其中 /etc/hosts 都需要配置好三台主机的ip 主机名映射；
  • 需要额外注意的是，三台主机需要做一次时间同步
yum -y install ntpdate
timedatectl set-timezone Asia/Shanghai
ntpdate ntp1.aliyun.com # aliyun 有ntp1~7， 或者 cn.pool.ntp.org
  • 复制文件到 另外两台主机
[root@kafka_1 pkg]# pwd
/opt/pkg
scp kafka_2.13-3.5.1.tgz root@kafka_2:/opt/pkg 
scp kafka_2.13-3.5.1.tgz root@kafka_3:/opt/pkg
scp apache-zookeeper-3.8.2-bin.tar.gz root@kafka_3:/opt/pkg
scp apache-zookeeper-3.8.2-bin.tar.gz root@kafka_2:/opt/pkg
  • 配置 zoo.cfg:
# 数据目录 每个机器中，此目录下 需要创建 myid文件内容 和server.id 对应 , 可以指定一个绝对目录
dataDir=/opt/app/cluster/apache-zookeeper-3.8.2/dataDir 

server.1=kafka_1:2888:3888
server.2=kafka_2:2888:3888
server.3=kafka_3:2888:3888
4lw.commands.whitelist=*

  • myid生成： echo 1 > /opt/app/cluster/apache-zookeeper-3.8.2/dataDir/myid # 1,2,3

  • 配置： config/server.properties

broker.id=0 # 需要修改 1,2 
listeners=PLAINTEXT://kafka_1:9092 # 主机名和当前机器对应
log.dirs=/opt/app/cluster/kafka_2.13-3.5.1/log_dirs # 日志目录
zookeeper.connect=kafka_1:2181,kafka_2:2181,kafka_3:2181
  • 启动zk 和 kafka:
cd /opt/app/cluster/apache-zookeeper-3.8.2/
./bin/zkServer.sh start zoo.cfg
cd /opt/app/cluster/kafka_2.13-3.5.1
./bin/kafka-server-start.sh -daemon config/server.properties
  • 报错：

Using config: /opt/app/cluster/apache-zookeeper-3.8.2/bin/…/conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.

  • 原因是防火墙没关：
 systemctl status firewalld
#● firewalld.service - firewalld - dynamic firewall daemon
#   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
#   Active: active (running) since Sun 2023-08-27 19:48:04 CST; 2h 32min ago
#     Docs: man:firewalld(1)
# Main PID: 649 (firewalld)
#   CGroup: /system.slice/firewalld.service
#           └─649 /usr/bin/python -Es /usr/sbin/firewalld --nofork --nopid
#           
systemctl disable firewalld

测试

./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --create --topic topic01 --partitions 3 --replication-factor 3  # 创建 topic
./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --create --topic topic02 --partitions 3 --replication-factor 3  # 创建 topic
./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --list # 查看
./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --describe --topic topic02 # 查看详细描述
./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --alter --topic topic02 --partitions 4   # 修改分区数量,只能增不能减，设置小于3则报错
./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --delete --topic topic02  # 删除topic
	
---
# 消息的生产与消费/订阅
./bin/kafka-console-producer.sh --broker-list kafka_1:9092,kafka_2:9092,kafka_3:9092 --topic topic01 # 生产
./bin/kafka-console-consumer.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --topic topic01 --group g1 --property print.key=true  --property print.value=true  --property key.separator=, # 消费
---
# 查看消费组信息
./bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --list g1  # 查看
./bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --describe --group g1  # 查看详情

输出

[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --create --topic topic01 --partitions 3 --replication-factor 3
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Created topic topic01.
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --create --topic topic02 --partitions 3 --replication-factor 3
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Created topic topic02.
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --list
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
topic01
topic02

[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --describe --topic topic02
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic: topic02  TopicId: _s44mBQqTLaSmVWcZA2GTw PartitionCount: 3       ReplicationFactor: 3    Configs:
        Topic: topic02  Partition: 0    Leader: 2       Replicas: 2,0,1 Isr: 2,1
        Topic: topic02  Partition: 1    Leader: 1       Replicas: 1,2,0 Isr: 1,2
        Topic: topic02  Partition: 2    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2

[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --alter --topic topic02 --partitions 4

[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --describe --topic topic02
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Topic: topic02  TopicId: _s44mBQqTLaSmVWcZA2GTw PartitionCount: 4       ReplicationFactor: 3    Configs:
        Topic: topic02  Partition: 0    Leader: 2       Replicas: 2,0,1 Isr: 2,1
        Topic: topic02  Partition: 1    Leader: 1       Replicas: 1,2,0 Isr: 1,2
        Topic: topic02  Partition: 2    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: topic02  Partition: 3    Leader: 2       Replicas: 2,1,0 Isr: 2,1

[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --list
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
topic01
topic02
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --delete --topic topic02
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-topics.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --list
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
topic01

---
# 生产者
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-console-producer.sh --broker-list kafka_1:9092,kafka_2:9092,kafka_3:9092 --topic topic01
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
>123
>123
>key=123
>


# 消费者
[root@kafka_1 kafka_2.13-3.5.1]# ./bin/kafka-console-consumer.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092 --topic topic01 --group g1 --property print.key=true  --property print.value=true  --property key.separator=,
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N



null,123
null,123
null,key=123

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1006742.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

科技云报道：青云科技为何成为IDC云转型的“神队友”？

科技云报道：青云科技为何成为IDC云转型的“神队友”？

科技云报道原创。 如今随着出海企业数量的不断增长，跨境业务也逐渐从蓝海变红海，从“价格战”到“智能战”。 一个明显的变化，来自企业对于出海效率的提升。《埃森哲2022中国企业国际化研究》指出，企业想要在出海浪潮中取胜&…
阅读更多...
智能合约平台开发指南

智能合约平台开发指南

随着区块链技术的普及，智能合约平台已经成为了这个领域的一个重要趋势。智能合约可以自动化执行合同条款，大大减少了执行和监督合同条款所需的成本和时间。那么，如何开发一个智能合约平台呢？以下是一些关键步骤。 一、选择合适…
阅读更多...
赴日IT工作 日本的IT工作怎么样？

赴日IT工作 日本的IT工作怎么样？

有许多朋友困惑去日本做IT需要什么条件？日本的IT工作怎么样？今天我来给大家简单分析一下。如果你想要去做赴日IT工作，需要国内正规本科或大专学历及以上才可以，然后就是你的技术和日语要过关，比较重要的是日语&#xf…
阅读更多...
cleanmymac这个软件怎么样？好用吗

cleanmymac这个软件怎么样？好用吗

cleanmymac是我必装的mac端清理软件，界面简洁好看，完美适配mac系统，文件清理的速度、精度都比较优秀，还是比较不错的呢。 虽然说mac平时不需要大量维护进行清理但是有一些临时文件、软件残留、系统缓存、下载安装包还是会日积月累…
阅读更多...
Java笔记：GC日志

Java笔记：GC日志

1. 启用GC日志 -verbose:gc -XX:PrintGC -XX:PrintGCDetails -XX:PrintGCDateStamps -Xloggc:/opt/logs/gc.log在JDK 8中， -verbose:gc是 -XX:PrintGC一个别称，日志格式等价与： -XX:PrintGC。 不过在JDK 9中 -XX:PrintGC被标记deprecated…
阅读更多...
香港渣打银行个人开户

香港渣打银行个人开户

渣打银行成立于1853年，全称为标准渣打银行，总部设在英国伦敦，渣打银行是香港最大的外商独资注册银行，是香港的三大发钞银行之一。 一、渣打银行开个人户条件？ 在渣打银行开户所需要的条件和在其他银行开户所需要的条件…
阅读更多...
若依注册的时候给个默认部门出现获取用户信息异常

若依注册的时候给个默认部门出现获取用户信息异常

想在注册的时候在数据库中查询一个部门给它一个默认部门，结果出现异常——【[handleServiceException,59] - 获取用户信息异常】 经分析代码，此方法有如下注解 以上注解会在mapper.xml中做如下操作 在做此操作之前会进入一个拦截器，根据token…
阅读更多...
Win10 update version 22H2

Win10 update version 22H2

下载 Windows 10 下载新版本win10 安装新版本win10 1703 更新到最新版本 22H2 2023.09.12 20:20 到 2023.09.12 23:44
阅读更多...
信通传媒携各家虚商领袖，走进九牛汇

信通传媒携各家虚商领袖，走进九牛汇

2023年9月8日，各家虚拟运营商领袖相约到厦，齐聚九牛汇共探通信行业革新之路！ 厦门98投洽会，作为一个规模庞大的国际型盛会，吸引了全球各行各业的精英和企业家。由通信世界主办的《云通信服务工业企业发展论坛》也在这天…
阅读更多...
谷粒商城篇章6 ---- P193-P210 ---- 异步线程池商品详情【分布式高级篇三】

谷粒商城篇章6 ---- P193-P210 ---- 异步线程池商品详情【分布式高级篇三】

目录 1. 异步 1.1 初始化线程的 4 种方式 1.1.1 继承 Thread 1.1.2 实现 Runnable 接口 1.1.3 实现 Callable 接口 FutureTask 1.1.4 线程池 1.1.5 以上 4 种方式总结： 1.2 线程池详解 1.2.1 初始化线程池的 2 种方式 1.2.1.1 使用 Executors 创建 1.2…
阅读更多...
区块链实验室(24) - FISCO网络重构

区块链实验室(24) - FISCO网络重构

若干次实验以后，FISCO网络中100个节点堆积了不少交易记录，消耗不少磁盘空间，见下图所示，100个节点累计消耗了10G空间。 观察每个节点的磁盘消耗，以node88为例，消耗了107MB，见下图所示。在该节点…
阅读更多...
数据结构 图

数据结构 图

目录 第六章 图6.1 图的基本概念知识回顾 6.2 图的储存结构（邻接矩阵法）1. 数组表示法(1) 有向图，无向图的邻接矩阵 2. 定义邻接矩阵的结构3. 定义图的结构4. 构造图G5. 特点 6.3 储存结构（邻接表表示法）1. 储存方式2.…
阅读更多...
揭秘：Wasserstein GAN与梯度惩罚（WGAN-GP）

揭秘：Wasserstein GAN与梯度惩罚（WGAN-GP）

一、说明 什么是梯度惩罚？为什么它比渐变裁剪更好？如何实施梯度惩罚？在提起GAN对抗网络中，就不能避免Wasserstein距离的概念，本篇为系列读物，目的是揭示围绕Wasserstein-GAN建模的一些重要概念进行探讨。 图…
阅读更多...
建筑模板桉木好还是松木好？

建筑模板桉木好还是松木好？

在建筑行业中，选择合适的建筑模板材料对于确保施工质量和效率至关重要。桉木和松木是常见的木质建筑模板材料，但在两者之间做出选择时，桉木往往是更好的选择。本文将探讨桉木建筑模板的优势，并为您提供选择建筑模板的指导。 桉木作…
阅读更多...
从人工测绘到无人机航测：探索测绘技术的巨大变革

从人工测绘到无人机航测：探索测绘技术的巨大变革

在测绘领域，随着科技的不断进步，测绘技术也在不断演进。人工测绘、传统航测以及如今的无人机航测，每一次进步都为我们提供了更加精确和高效的地图数据。本文将带你深入探索这些技术的演变及其应用。 一、人工测绘的时代 早期的地图制作依赖于…
阅读更多...
公司的固定资产怎么管理的

公司的固定资产怎么管理的

固定资产的管理是公司运作的重要组成部分。它不仅影响到公司的运营效率，也直接影响到公司的财务状况。然而，如何有效地管理公司的固定资产，仍然是一个需要深入研究和解决的问题。　　有效的固定资产管理需要建立一个全面、系统的管理体系。这…
阅读更多...
【数据分享】2006-2021年我国省份级别的排水和污水处理相关指标（20多项指标）

【数据分享】2006-2021年我国省份级别的排水和污水处理相关指标（20多项指标）

《中国城市建设统计年鉴》中细致地统计了我国城市市政公用设施建设与发展情况，在之前的文章中，我们分享过基于2006-2021年《中国城市建设统计年鉴》整理的2006—2021年我国省份级别的市政设施水平相关指标、2006-2021年我国省份级别的各类建设用地面积数…
阅读更多...
台积电的战略布局：“曲线”抢单 | 百能云芯

台积电的战略布局：“曲线”抢单 | 百能云芯

郭明錤最新的分析引发了广泛关注，他指出台积电采取了一系列重大战略投资举措，旨在争夺未来的半导体订单，尤其是来自苹果和英伟达的12纳米订单。这些战略举措包括认购英特尔手中的IMS Nanofabrication Global股权以及投资安谋（Arm&…
阅读更多...
这4款优秀的国产开源低代码开发平台，值得开发者尝试！

这4款优秀的国产开源低代码开发平台，值得开发者尝试！

这4款优秀的国产开源低代码开发平台有哪些？ 以下是一些常用的开源团队协作平台和项目管理工具： 我们现在用的就是简道云这样的低代码平台，有免费版可以使用，灵活简单，比开源系统的安全性也更高 1、简道云 官网&…
阅读更多...
Window10安装PHP7.4

Window10安装PHP7.4

1. 下载PHP 7 首先需要下载PHP 7的安装包，可以从PHP官网（https://www.php.net/downloads.php）或者Windows下的PHP官网（http://windows.php.net/download/）下载Windows版本的PHP 7安装包。根据自己的系统架构&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023