威联通安装Kafka

news2024/11/23 19:23:36

最近在学习 Kafka 的知识,遇到一些问题网上搜到的信息不全。想要在本地安装一个 Kafka 进行验证,想到了之前买的 Nas 就开始折腾。

用 Docker 的方式安装 Kafka

现在的 Nas 很多都支持 Docker,我买的也支持。威联通的 Docker 叫 Container Station,因为提供了图形化界面就不用写命令了。现在的 Kafka 似乎可以在没有 Zookeeper 的情况下运行,但我考虑到万一以后要用到 Zookeeper 再腾出时间来安装太费事了,就索性一起装了。

安装 Zookeeper

选择映像

Zookeeper 的映像我使用的是搜索出来的第一个镜像,因为看起来像是官方出品。下载完映像后开始安装过程。
在这里插入图片描述

发布网络端口

配置一下Zookeeper 对外暴露的网络端口,这个映像已经把用到的端口写上了,只需要配置主机上要暴露的端口就可以了。如果不填就是与容器的端口保持一致,我直接在所有的端口前面加了一个 1(2181 变成 12181)。容器端口最好不要改,如果改了的话要在 Kafka 的配置里做相同的更改。
在这里插入图片描述

存储映射

在高级设置中配置文件夹的映射,映像也已经把用到的几个文件夹提出来了(本来还想去网上搜一下要用的哪些文件夹)。为了方面看文件,我把这三个文件夹 绑定装载主机路径,绑定到 Nas 的文件夹里。
在这里插入图片描述

Zookeeper 安装完成

配置完网络和存储就直接安装完成了,Zookeeper 自己会启动。等启动完之后看日志没有报错,再登录容器执行 zkCli.sh,能连接上就说明成功了。

安装 Kafka

选择映像

Kafka 的映像我使用的是星星最多的 bitnami/kafka 映像。下载映像后直接开始安装。
在这里插入图片描述

配置文件

Kafka 依赖几个配置文件,要在安装之前先准备好并放到 Nas 上的一个目录里,我在 Nas 上新建了一个 Container\kafka\config 目录,在安装 Kafka 的步骤里映射到容器里。

server.properties

server.properties 是 Kafka 的核心配置文件,没有启动会报错。文件的内容如下

broker.id=0
listeners=PLAINTEXT://{Ip}:{Port}
log.dirs=/var/lib/kafka/data
zookeeper.connect={Ip}:{Port}
  • broker.id:Broker 的 id,随便写一个大于等于 0 的整数就可以了
  • listeners:监听的端口,PLAINTEXT:// 是固定的,后面是 ip 和端口,默认端口是 9092,没有特殊需求可以不用改
  • log.dirs:日志文件夹
  • zookeeper.connect:Zookeeper 的 ip 和端口.注意这里的端口是 zk 容器的端口,不要写成主机映射的端口(在安装 zookeeper 时不管有没有绑定主机端口都没有影响,用容器端口)
log4j.properties

Kafka 的日志文件,网上直接拷贝一份就可以了。我是直接在 Github 上拉的 Kafka 项目里的 log4j.properties 文件。

tools-log4j.properties

Kafka 工具的日志文件,同样网上直接拷贝。我还是直接在 Github 上拉的 Kafka 项目里的 tools-log4j.properties 文件。

网络映射

这个映像文件已经把要用的端口提出来了,根据需要绑定主机端口,如果不填就是对外暴露 9092 端口。
在这里插入图片描述

存储映射

存储映射的时候配置文件的目录是一定要绑定的,因为要把刚才新建的几个配置文件映射到容器里让 Kafka 能够使用。我还映射了一个 data 文件夹,方便后面看文件学习。
在这里插入图片描述

Kafka 安装完成

网络映射和存储映射都配置好了之后,就可以完成安装了。等容器启动完成后看下日志,没有报错就算成功了。为了验证安装是否成功可以登录容器创建一个 Topic

kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --create --replication-factor 1 --partitions 1 --topic first-topic

注意这里的 ip 和端口一定要和配置文件里的一致,不然可能会报错。Topic 创建成功就说明 Kafka 安装成功了(其实只要 Kafka 响应了就算安装成功了)。

关于网络

安装之间看到有文章说 Docker 容器之间互相访问需要对网络做一些配置,想着先安装完试一下再说。结果安装完直接可以用,不需要对网络做处理,不知道是否威联通做了处理。反正不用处理最好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1553797.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Ubuntu通过分用户进行多版本jdk配置

前言:本文内容为实操记录,仅供参考! linux安装jdk参考:http://t.csdnimg.cn/TeECj 出发点:最新的项目需要用jdk17来编译,就把服务器的jdk版本升级到了17,但是有一些软件例如nexus还需要jdk1.8进…

【算法】第一篇 外观数列

导航 1. 简介2. 生成规则3. 代码演示1. 简介 外观数列是指数列中的每一项都是描述前一项的外观或者外貌。它通常由初始项开始,通过描述前一项的外观来生成下一项。外观数列最初由John H. Conway在1969年发现,并在他的著作《外貌数列和自动机理论》(The Construction of Look…

数据持久化第二课-C#高级特性

数据持久化第二课-C#高级特性 一.预习笔记 1.委托 1-1.委托的概述与声明 1-1-1:委托是一种引用类型,表示对具有特定参数列表和返回类型的方法的引用 1-1-2:可以通过委托实例调用方法。也可以使用委托将方法作为参数传递给其他方法 1-1-3…

《VulnHub》Lampião:1

title: 《VulnHub》Lampio:1 date: 2024-03-28 21:37:49 updated: 2024-03-28 21:37:50 categories: WriteUp:Cyber-Range excerpt: 关键技术:主机发现,端口扫描、服务探测、操作系统探测,对开放的端口探测漏洞&#x…

Vue-Electron配置及踩坑

前言 大道至简。太复杂的教程不看。 本篇将记述我创建好Vue3项目之后,用Electron把页面呈现出来的整个过程。会记录一些踩坑。 首先,Electron官网可以参考。但是它只是作出了一个普通的html结构该如何用Electron呈现出来,vue的配置有一些变…

防止恶意软件和网络攻击的简单贴士

如今,缺少互联网的生活是难以想象的。然而,互联网的匿名性导致了网络攻击和恶意软件很猖獗。恶意软件会损坏我们的设备、窃取个人数据,并导致金钱损失。因此,保护计算机免受这些威胁显得至关重要。 一、确保操作系统和软件是最新版…

【深度学习目标检测】二十五、基于深度学习的花卉分类系统-含数据集、GUI和源码(python,yolov8)

设计花卉分类系统的原因主要有以下几点: 组织和识别:分类系统有助于组织和识别大量的花卉品种。通过将花卉按照特定的标准进行分类,可以更容易地找到、识别和区分不同的花卉。 科学研究:分类系统为科学家提供了研究花卉的基础框架…

C++从入门到精通——缺省参数

缺省参数 前言一、缺省参数概念二、缺省参数分类位置参数的缺省参数全缺省参数半缺省参数 关键字参数的缺省参数函数指针的缺省参数lambda表达式 三、缺省参数的具体代码展示main.cpp 前言 缺省参数是在函数定义时指定的默认值,当调用函数时未提供该参数的值时&…

系统分析师-UML系列

系列文章目录 数学与经济管理 软件开发模型总结 文章目录 系列文章目录前言一、类图(class diagram)二、对象图(object diagram)三、构件图(component diagram)四、活动图(activity diagram&am…

安卓调试桥ADB

Logcat 命令行工具 | Android Studio | Android Developers 什么是ADB ADB 全称为 Android Debug Bridge ,是 Android SDK (安卓的开发工具)中的一个工具,起到调试桥的作用,是一个 客户端 - 服务器端程序 。其中 …

滑动窗口_水果成篮_C++

题目: 题目解析: fruits[i]表示第i棵树,这个fruits[i]所表示的数字是果树的种类例如示例1中的[1,2,1],表示第一棵树 的种类是 1,第二个树的种类是2 第三个树的种类是1随后每一个篮子只能装一种类型的水果,我…

java项目:基于springboot实现的MBTI性格测试系统(分前后端)

一、项目介绍 本项目是一套基于springboot实现的个人性格测试系统,主要针对计算机相关专业的正在做bishe的学生和需要项目实战练习的Java学习者。 包含:项目源码、数据库脚本等,该项目可以直接作为bishe使用。 项目都经过严格调试&#xff0…

SpringCloudConfig 使用git搭建配置中心

一 SpringCloudConfig 配置搭建步骤 1.引入 依赖pom文件 引入 spring-cloud-config-server 是因为已经配置了注册中心 <dependencies><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-config-server</…

1. Java概述

文章目录 1.Java语言概述1.1 Java介绍1.1.1 软件开发概述1.1.2 计算机语言1.1.3 Java 简史1.1.4 Java 技术体系平台1.1.5 Java在各领域的应用1.1.6 Java语言特点1.1.7 Java核心机制一-Java虚拟机1.1.8 Java核心机制二-垃圾回收1.1.9 Java开发工具 1.2 Java环境搭建1.2.1 JDK、J…

对接中泰极速行情 | DolphinDB XTP 插件使用教程

XTP 是中泰证券推出的高性能交易平台&#xff0c;专为专业投资者提供高速行情及交易系统&#xff0c;旨在提供优质便捷的市场接入通道。目前支持股票、基金、ETF、债券、期权等多个市场&#xff0c;可满足不同投资者需求。 基于 XTP 官方 C SDK&#xff0c;DolphinDB 开发了 X…

台灯护眼灯哪个牌子好?护眼灯十大品牌推荐

随着近视率的上升&#xff0c;越来越多的人开始重视眼睛健康&#xff0c;尤其是学生群体面临着巨大的学习压力。家长们也意识到良好的眼睛保护至关重要&#xff0c;开始关注护眼台灯的作用。在选择护眼灯时&#xff0c;家长们常常会陷入犹豫&#xff0c;不知道哪个品牌更可靠。…

书生·浦语大模型开源体系(一)论文精读笔记

&#x1f497;&#x1f497;&#x1f497;欢迎来到我的博客&#xff0c;你将找到有关如何使用技术解决问题的文章&#xff0c;也会找到某个技术的学习路线。无论你是何种职业&#xff0c;我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章&#xff0c;也欢…

C++:sizeof关键字(7)

sizeof用于统计数据所占用内存的大小 用法&#xff1a;sizeof( 变量名称 / 变量) 直接上代码&#xff0c;可以在让大家直观的感受到sizeof关键字的用法 #include<iostream> using namespace std;// 语法&#xff1a; sizeof&#xff08;数据类型|变量名&#xff09;// 用…

MYSQL数字函数实操宝典:场景化SQL语句一网打尽

​&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》《MYSQL应用》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 MYSQL数字函数&#xff1a;不可不知的数据处理利器 文章目录 Part 1: 准备 &#x…

云数据仓库Snowflake论文完整版解读

本文是对于Snowflake论文的一个完整版解读&#xff0c;对于从事大数据数据仓库开发&#xff0c;数据湖开发的读者来说&#xff0c;这是一篇必须要详细了解和阅读的内容&#xff0c;通过全文你会发现整个数据湖设计的起初原因以及从各个维度&#xff08;架构设计、存算分离、弹性…