【Kafka】Kafka安装：Linux本地和Docker

news2024/11/16 6:28:02

目录

  • Linux本地安装kafka
    • java环境配置
    • Zookeeper的安装配置
    • Kafka的安装与配置
    • 生产与消费
  • Docker安装kafka
    • Zookeeper安装
    • Kafka安装

Linux本地安装kafka

java环境配置

1、上传jdk-8u261-linux-x64.rpm到服务器并安装：

rpm -ivh jdk-8u261-linux-x64.rpm

2、配置环境变量：

vim /etc/profile 1

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd647879 
export PATH=$PATH:$JAVA_HOME/bin

# 生效 
source /etc/profile 
# 验证 
java -version

Zookeeper的安装配置

1、上传zookeeper-3.4.14.tar.gz到服务器

2、解压到/opt：

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf 
# 复制zoo_sample.cfg命名为zoo.cfg 
cp zoo_sample.cfg zoo.cfg 
# 编辑zoo.cfg文件 
vim zoo.cfg

3、修改Zookeeper保存数据的目录，dataDir：

dataDir=/var/lagou/zookeeper/data

4、编辑/etc/profile：

  • 设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；
  • ZOOKEEPER_PREFIX指向Zookeeper的解压目录；
  • 将Zookeeper的bin目录添加到PATH中：
export Z00KEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$Z00KEEPER_PREFIx/bin
export Z00_L0G_DIR=/var/lagou/zookeeper/log

5、使配置生效：

source /etc/profile

6、验证：

zkServer.sh status

Kafka的安装与配置

1、上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

2、配置环境变量并生效：

vim /etc/profile

export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件：

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址是localhost:2181，后面的 myKafka 是Kafka在Zookeeper中的根节点路径：

在这里插入图片描述

4、启动Zookeeper：

zkServer.sh start

5、确认Zookeeper的状态：

在这里插入图片描述

6、启动Kafka：

进入Kafka安装的根目录，执行如下命令：

在这里插入图片描述

启动成功，可以看到控制台输出的最后一行的started状态：

INF0 [KafkaServer id=0] started(kafka.server.KafkaServer)

7、查看Zookeeper的节点：

在这里插入图片描述

8、此时Kafka是前台模式启动，要停止，使用Ctrl+C。

如果要后台启动，使用命令：

kafka-server-start.sh -daemon config/server.properties

查看Kafka的后台进程：

ps aux | grep kafka

停止后台运行的Kafka：

kafka-server-stop.sh

生产与消费

1、kafka-topics.sh 用于管理主题

# 列出现有的主题
kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题，该主题包含一个分区，该分区为Leader分区，它没有Follower分区副本
kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
kafka-topics.sh --zookeeper localhost:2181/myKafka -- describe --topic topic_1
# 删除指定主题
kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1

2、kafka-console-producer.sh用于生产消息

# 开启生产者
kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092

3、kafka-console-consumer.sh用于消费消息

# 开启消费者
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1
#  开启消费者方式二，从头消费，不按照偏移量消费
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning

Docker安装kafka

Zookeeper安装

1、拉取zookeeper 镜像

docker pull zookeeper

2、运行zookeeper 服务

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /mydata/zookeeper/data:/data -v /mydata/zookeeper/conf:/conf -v /mydata/zookeeper/logs:/datalog zookeeper

参数：

  • --log-driver json-file：指定日志驱动程序为json-file。json-file是一个日志驱动程序，它将日志记录为JSON格式的文件。
  • --log-opt max-size=100m：设置每个日志文件的最大大小为100MB。当单个日志文件达到这个大小时，Docker会自动开始写入新的日志文件。
  • --log-opt max-file=2：设置最多保留2个日志文件。当达到这个限制时，旧的日志文件会被自动删除，以保留最新的2个日志文件。
  • --name zookeeper：容器名字
  • -p 2181:2181：映射端口
  • -v /mydata/zookeeper/data:/data：挂载Zookeeper的数据目录，存储其运行时数据，包括事务日志和快照
  • -v /mydata/zookeeper/conf:/conf：挂载Zookeeper配置文件
  • -v /mydata/zookeeper/logs:/datalog：挂载Zookeeper的日志文件

日志相关的参数只是测试使用，实际根据需求调整。

本机修改文件路径后：

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /Users/fltech/docker/zookeeper/data:/data -v /Users/fltech/docker/zookeeper/conf:/conf -v /Users/fltech/docker/zookeeper/logs:/datalog zookeeper

3、验证是否启动成功

进入zookeeper容器

docker exec -it 容器id /bin/bash

找到配置文件位置

cat /conf/zoo.cfg

查看zookeeper状态

zkServer.sh status

显示如下：

Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone

说明Zookeeper启动成功，运行模式是单机版。

Kafka安装

1、拉取kafka 镜像

docker pull kafka

2、运行kafka

docker run -d  --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /mydata/kafka/conf:/opt/kafka/conf -v /mydata/kafka/data:/tmp/kafka-logs -v /mydata/kafka/logs:/logs wurstmeister/kafka

kafka运行时，指定需要的环境变量

  • -e KAFKA_BROKER_ID=0：配置BROKER_ID，默认第一台是0，单机模式下只能是0
  • -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka：配置zookeeper的地址及管理kafka的路径，注意IP使用公网地址
  • -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:909 ：把kafka的地址端口注册给zookeeper
  • -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092： 配置kafka的监听端口
  • -v /etc/localtime:/etc/localtime： 容器时间同步虚拟机的时间

挂载文件根据需要：

-v /mydata/kafka/conf:/opt/kafka/conf：挂载配置文件

-v /mydata/kafka/data:/tmp/kafka-logs：挂载数据目录，存储其运行时数据，包括日志文件和元数据

-v /mydata/kafka/logs:/logs：挂载日志

本机修改文件路径后：

docker run -d  --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /Users/fltech/docker/kafka/conf:/opt/kafka/conf -v /Users/fltech/docker/kafka/data:/tmp/kafka-logs -v /Users/fltech/docker/kafka/logs:/logs wurstmeister/kafka
  1. 验证是否启动成功

进入容器：

docker exec -it kafka1 bash

到保存脚本的目录：

cd /opt/kafka_2.13-2.7.1/bin

创建一个topic：

/opt/kafka_2.13-2.7.1/bin > kafka-topics.sh --create --zookeeper 192.168.1.21:2181/kafka --replication-factor 1 --partitions 1 --topic topicDemo
Created topic topicDemo.

能够成功创建，说明安装成功。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1410143.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

抖音跳转微信公众号是怎么实现的丨数灵通

抖音跳转微信公众号是怎么实现的丨数灵通

抖音是一款非常流行的社交媒体应用程序，用户可以在其中分享短视频和互动内容。许多用户希望通过抖音来引流到他们的微信公众号，以扩大影响力并吸引更多粉丝。以下是一些关于如何在抖音上跳转到微信公众号的科普信息： 1.信息流广告&#xff1a…
阅读更多...
爬虫笔记（二）：实战58二手房

爬虫笔记（二）：实战58二手房

第一：给大家推荐一个爬虫的网课哈，码起来 第二：今夜主题：通过xpath爬取58二手房的title信息，也就是标红的位置~ 第三：先分析一波title所在的位置 打开按下f12打开抓包工具，即可看到网站的源码…
阅读更多...
RBD —— 不同材质破碎

RBD —— 不同材质破碎

目录 Working with concrete Chipping Details Proxy geometry Constraints Working with glass Chipping Proxy geometry Constraints Resolving issues with glass fracturing Working with wood Clustering Using custom cutters Working with concrete Concr…
阅读更多...
2024年破圈9套商业模式电商干货，真心分享丨项目孵化必看

2024年破圈9套商业模式电商干货，真心分享丨项目孵化必看

2024年破圈9套商业模式电商干货，真心分享丨项目孵化必看 文丨微三云营销总监胡佳东，点击上方“关注”，为你分享市场商业模式电商干货。 - 疫情过后，市场瞬息万变，理想状态的消费复苏和消费回暖的机遇并没有到来&…
阅读更多...
简述Elasticsearch(ES)是什么 全文搜索概念 (倒排索引 管理文档)

简述Elasticsearch(ES)是什么 全文搜索概念 (倒排索引 管理文档)

今天 我们来说说 NoSql 中的 Elasticsearch 大家基本都叫它 ES 官方介绍 它是一个分布式全文搜索引擎 分布式是一个系统架构的概念 而 全文搜索引擎 全文搜索 可以说基本大家天天都在接触 就比如 我们京东购物 想买什么东西 在全文输入框中搜索 它就会在所有物品中 帮你找出需…
阅读更多...
2023年AI大模型：从科技热潮到商业变革

2023年AI大模型：从科技热潮到商业变革

出品：新商纪，作者：独孤依风 2023年，大模型技术在全球科技界掀起了一场风暴，引发了科技巨头们的激烈角逐。这一年，大模型不仅重新定义了人工智能的边界，还催生了跨行业技术革新。 根据IDC的预测…
阅读更多...
年少不知 Base 好，错把总包当成宝。。

年少不知 Base 好，错把总包当成宝。。

今天聊一个很现实的话题：选 offer 对比薪资时，我强烈建议以 Base 为主，而不是总包。 为什么？且听鱼皮娓娓道来。 注意，以下为个人观点，仅供参考！ 首先明确 Base 和总包的概念： Base&…
阅读更多...
使用PowerShell命令行，批量修改文件编码

使用PowerShell命令行，批量修改文件编码

目录 ■前言 ■PowerShell命令 ■效果 ■前言 今天统计修改代码量，使用工具时，发现有些代码无法统计。 原因时UTF-8中有某些特殊字符，工具不能识别。 但是，如果把代码转换为SJIS格式，就能正常统计了。 因此&…
阅读更多...
猫头虎分享：已解决RuoYi-Vue3 项目代码生成器默认生成代码使用的Vue2模板代码问题与Vue2升级到Vue3解决方案

猫头虎分享：已解决RuoYi-Vue3 项目代码生成器默认生成代码使用的Vue2模板代码问题与Vue2升级到Vue3解决方案

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通Golang》…
阅读更多...
HCIP-11

HCIP-11

生成树协议： 企业网三层架构---》冗余----》线路冗余---》二层桥接环路 导致问题： 广播风暴MAC地址表翻滚同一数据帧的重复拷贝以上3个条件最终导致设备工作过载，导致重启保护 生成树：在一个二层交换网络中，生成一棵…
阅读更多...
Python之数据可视化基础

Python之数据可视化基础

目录 一 JSON数据格式转换 二 pyecharts模块 三 Pyecharts入门 四 数据可视化之疫情折线图 一 JSON数据格式转换 什么是JSON? JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。它以易于阅读和编写的方式来表示结构化数据。JSO…
阅读更多...
Linux：Bash中变量的定义与使用

Linux：Bash中变量的定义与使用

相关文章 Linux专栏https://blog.csdn.net/weixin_45791458/category_12234591.html 在bash shell中，变量(variable)是参数(parameter)的一类，用于存储值，且变量还可以拥有属性(attributes)，这通过bash内建命令declare来完成。 一…
阅读更多...
Python 第四十三章 MYSQL 补充

Python 第四十三章 MYSQL 补充

多表查询 1.笛卡尔积:将两表所有的数据一一对应,生成一张大表 select * from dep,emp; #两个表拼一起 select * from dep,emp where dep.id emp.dep_id; #找到两表之间对应的关系记录 select * from dep,emp where dep.id emp.dep_id and dep.name技术; #筛选部门名称为技…
阅读更多...
springboot优雅停机

springboot优雅停机

import org.springframework.context.annotation.Configuration;import javax.annotation.PreDestroy;Configuration public class DataBackupConfig {PreDestroypublic void backData(){System.out.println("开始备份..."System.currentTimeMillis());System.out.pr…
阅读更多...
基于springboot留守儿童爱心网站源码和论文

基于springboot留守儿童爱心网站源码和论文

随着留守儿童爱心管理的不断发展，留守儿童爱心网站在现实生活中的使用和普及，留守儿童爱心管理成为近年内出现的一个热门话题，并且能够成为大众广为认可和接受的行为和选择。设计留守儿童爱心网站的目的就是借助计算机让复杂的管理操作变简单…
阅读更多...
如何实现无公网ip远程访问本地websocket服务端【内网穿透】

如何实现无公网ip远程访问本地websocket服务端【内网穿透】

文章目录 1. Java 服务端demo环境2. 在pom文件引入第三包封装的netty框架maven坐标3. 创建服务端,以接口模式调用,方便外部调用4. 启动服务,出现以下信息表示启动成功,暴露端口默认99995. 创建隧道映射内网端口6. 查看状态->在线隧道,复制所创建隧道的公网地址加端口号7. 以…
阅读更多...
数据结构奇妙旅程之二叉树题型解法总结

数据结构奇妙旅程之二叉树题型解法总结

꒰˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好，我是xiaoxie.希望你看完之后,有不足之处请多多谅解，让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN …
阅读更多...
【推荐100个unity插件之16】3D物品描边效果——Quick Outline免费插件

【推荐100个unity插件之16】3D物品描边效果——Quick Outline免费插件

文章目录 前言地址介绍使用例子完结 前言 关于3D描边，其实之前有用shader弄过一个：【实现100个unity特效】shader实现3D物品闪光和描边效果 但是很遗憾的是他不支持URP项目，所以现在推荐这款插件，他能很好的支持URP，…
阅读更多...
01-Shell编程规范与变量

01-Shell编程规范与变量

提取之后
阅读更多...
每日一题 2859. 计算 K 置位下标对应元素的和（简单）

每日一题 2859. 计算 K 置位下标对应元素的和（简单）

每次有空做每日一题，都碰到简单题。。。。。。 class Solution:def sumIndicesWithKSetBits(self, nums: List[int], k: int) -> int:ans 0for i in range(len(nums)):cnt 0t iwhile t > 0:cnt 1 if t & 1 1 else 0t >> 1ans nums[i] if cnt…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023