如何在 Ubuntu 22.04 上安装和使用 Apache Kafka

news2025/2/27 21:00:05

简介

Apache Kafka是一个高性能、低延迟的分布式流处理平台，广泛用于构建实时数据管道和流式应用。本文将指导你如何在Ubuntu 22.04系统上快速部署Apache Kafka，让你体验到Kafka在处理大规模实时数据流方面的强大能力。通过本教程，你将学会如何安装、配置Kafka及其依赖的Zookeeper服务，并进行基本的测试以确保部署成功。

功能特点简介

Apache Kafka的核心优势在于其高吞吐量和分布式、容错的特性，使其成为处理大规模实时数据流的理想选择。以下是Kafka的一些独特卖点：

  • 高吞吐量：Kafka能够处理高吞吐量的数据流，满足大数据时代的需求。
  • 低延迟：即使在高负载下，Kafka也能保持低延迟的数据传输。
  • 分布式架构：Kafka的分布式架构支持数据的分布式存储和处理，提高了系统的可扩展性和可靠性。
  • 容错机制：Kafka内置的复制和分区机制，确保了数据的高可用性和持久性。

接下来，我将一步一步教大家如何进行安装和部署！！

准备工作

服务器准备

必要前提：

  • 一个充满求知欲的大脑。
  • 一台 Linux 服务器（推荐腾讯云、阿里云或雨云等）。

我将以 雨云 为例，带大家创建一台自己的云服务器，以便学习本篇文章的内容。

注册链接： https://rainyun.ivwv.site

创建雨云服务器

以下步骤仅供参考，请根据实际需求选择配置。

  • 点击 云产品 → 云服务器 → 立即购买。
  • 选择距离你较近的区域，以保证低延迟。

https://img-blog.csdnimg.cn/img_convert/4c16271f125adea69da6ed9e7b2a4226.png

  • 按照自己需求选择配置，选择Ubuntu 22.04 版本，按照自己需求是否预装Docker。
  • 最后按照提示进行购买。
  • 购买后等待机器部署完毕，点击刚刚创建好的服务器，进入管理面板，找到远程连接相关信息。

https://img-blog.csdnimg.cn/img_convert/414570cd3da48d4cc4bf51489992000b.png

  • 我们使用 PowerShell 进行 SSH 远程连接到服务器，Win+R 打开运行窗口，输入 powershell 后点击确定。

https://img-blog.csdnimg.cn/img_convert/c8afbeb764459a37a8451dd2ed8eeff1.png

  • 输入 ssh root@你的服务器IP 例如 ssh root@154.9.227.239 回车后，首次需要输入 yes，再次回车后即可登录服务器。

https://img-blog.csdnimg.cn/img_convert/ea5814f1d1068ca9fa2bb94631cfbdf1.png

  • 到此为止，我们的云服务器就远程连接上了。

开始部署

1. 更新系统

首先，更新你的包列表并升级系统包到最新版本。

sudo apt update -y

2. 安装Java

Kafka需要Java环境来运行。安装Ubuntu仓库中最新版本的OpenJDK。

sudo apt install openjdk-21-jdk -y

3. 创建Kafka用户

出于安全考虑，建议为Kafka创建一个专用用户。

sudo useradd -m -s /bin/bash kafka
sudo passwd kafka

切换到Kafka用户：

sudo su - kafka

4. 下载并解压Kafka

从Apache Kafka官方下载页面下载最新稳定版本的Kafka。

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzf kafka_2.13-3.7.0.tgz
mv kafka_2.13-3.7.0 kafka

5. 配置Kafka

Kafka需要Zookeeper，它随Kafka一起提供，用于开发和测试目的。在生产环境中，你应该设置一个专用的Zookeeper集群。

配置Zookeeper

创建Zookeeper的数据目录：

mkdir -p ~/kafka/data/zookeeper

编辑Zookeeper配置文件：

nano ~/kafka/config/zookeeper.properties

更新dataDir属性指向新数据目录：

dataDir=/home/kafka/kafka/data/zookeeper

配置Kafka Broker

创建Kafka的数据目录：

mkdir -p ~/kafka/data/kafka

编辑Kafka配置文件：

nano ~/kafka/config/server.properties

更新以下属性：

log.dirs=/home/kafka/kafka/data/kafka
zookeeper.connect=localhost:2181

6. 启动Zookeeper和Kafka

打开两个终端会话：一个用于Zookeeper，另一个用于Kafka。确保你在两个会话中都以Kafka用户身份登录。

启动Zookeeper

~/kafka/bin/zookeeper-server-start.sh ~/kafka/config/zookeeper.properties

启动Kafka

在第二个终端会话中，启动Kafka：

~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties

7. 测试安装

创建Topic

在新的终端会话中，以Kafka用户身份登录，创建一个测试Topic：

~/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

列出Topics

验证Topic是否创建：

~/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

生产消息

启动一个Kafka生产者：

~/kafka/bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

输入几条消息并按Enter键：

Hello Kafka
This is a test message

消费消息

打开另一个终端会话，启动一个Kafka消费者：

~/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

你应该能看到你在生产者终端输入的消息。

8. 设置SELinux为Enforcing（可选）

如果你已启用SELinux，请按照以下步骤操作。为了启动Kafka和Zookeeper服务，我们需要将SELinux设置为Enforcing。否则，我们将面临“Permission Denied”错误。

sudo setenforce 0

9. 将Kafka设置为Systemd服务

为了确保Kafka和Zookeeper在启动时自动启动，你可以将它们设置为systemd服务。

创建Zookeeper的systemd服务文件：

sudo nano /etc/systemd/system/zookeeper.service

添加以下内容：

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
After=network.target
[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

创建Kafka的systemd服务文件：

sudo nano /etc/systemd/system/kafka.service

添加以下内容：

[Unit]
Description=Apache Kafka server
Documentation=http://kafka.apache.org/documentation.html
After=network.target zookeeper.service
[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

启动并启用服务：

重新加载systemd以应用新的服务文件：

sudo systemctl daemon-reload

启动并启用Zookeeper：

sudo systemctl start zookeeper
sudo systemctl enable zookeeper

启动并启用Kafka：

sudo systemctl start kafka
sudo systemctl enable kafka

结论

你已经成功地在Ubuntu 22.04上安装了Apache Kafka。你可以创建主题、生产和消费消息，并将Kafka和Zookeeper作为systemd服务进行管理。这个设置为你构建实时数据管道和流式应用提供了一个坚实的基础。

如需进一步配置和调整，请参考官方Kafka文档。

相关链接
雨云 - 新一代云服务提供商: https://rainyun.ivwv.site
我的博客：https://blog.ivwv.site

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2257959.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

TCP/IP杂记

TCP/IP杂记

TCP三次握手、四次挥手 从应用角度，不用多考虑为什么有三次，遵循标准即可。 ubuntu 下 wireshark安装： sudo add-apt-repository universe sudo apt install wireshark 三次握手实证： 第一次握手的情况如下：&#…
阅读更多...
【2024最新Java面试宝典】—— SpringBoot面试题（44道含答案）

【2024最新Java面试宝典】—— SpringBoot面试题（44道含答案）

1. 什么是 Spring Boot？ Spring Boot 是 Spring 开源组织下的子项目，是 Spring 组件一站式解决方案，主要是简化了使用 Spring 的难度，简省了繁重的配置，提供了各种启动器，使开发者能快速上手。 2. 为什么…
阅读更多...
MTK Android12 开机向导

MTK Android12 开机向导

文章目录 需求-场景参考资料：博客资料官网参考资料：参考资料注意点 附件资料文件说明：推荐工具：配置定制的 声明叠加层 APK需求实现替换字符、删减开机向导界面、添加开机向导界面删除部分界面需求，官网说明如下更新部…
阅读更多...
思科模拟器路由器的基本配置

思科模拟器路由器的基本配置

一、实验目的 了解路由器的作用掌握路由器的基本配置方法 3、掌握路由器模块的使用和互连方式 二、实验环境 2811路由器一台，计算机两台，Console配置线一根，网线若干；本实验拓扑图如图8-1所示；计算机IP地址规划如表8-…
阅读更多...
HTTP multipart/form-data 请求

HTTP multipart/form-data 请求

序言 最近在写项目的过程中有一个需求是利用 HTTP 协议传输图片和视频，经过查询方法相应的方法发现使用 multipart/form-data 的方式，这是最常见处理二进制文件的表单编码类型。  学习了一下午，现在总结一下使用的方法和相关的知识点&#x…
阅读更多...
一、测试工具LoadRunner Professional脚本编写-录制前设置

一、测试工具LoadRunner Professional脚本编写-录制前设置

设置基于URL的脚本 原因：基于HTML的脚本会导致login接口不能正确录制 设置UTF-8 原因：不勾选此项会导致脚本中文变为乱码
阅读更多...
Hadoop生态圈框架部署（九-2）- Hive HA（高可用）部署

Hadoop生态圈框架部署（九-2）- Hive HA（高可用）部署

文章目录 前言一、Hive部署（手动部署）下载Hive1. 上传安装包2. 解压Hive安装包2.1 解压2.2 重命名2.3 解决冲突2.3.1 解决guava冲突2.3.2 解决SLF4J冲突 3. 配置Hive3.1 配置Hive环境变量3.2 修改 hive-site.xml 配置文件3.3 配置MySQL驱动包3.3.1 下在M…
阅读更多...
JAVA ｜日常开发中Websocket详解

JAVA ｜日常开发中Websocket详解

JAVA ｜日常开发中Websocket详解 前言一、Websocket 概述1.1 定义1.2 优势 二、Websocket 协议基础2.1 握手过程2.2 消息格式2.3 数据传输方式 三、Java 中使用 Websocket3.1 Java WebSocket API（JSR - 356）3.2 第三方库（如 Tyrus&…
阅读更多...
算法基础学习Day6(动态窗口)

算法基础学习Day6(动态窗口)

文章目录 1.题目2.题目解答1.最大连续1的个数题目及题目解析算法学习思路一:暴力解法思路二:滑动窗口 代码提交 2.将x减到0的最小操作数题目及题目解析算法学习滑动窗口解决问题 代码提交 1.题目 1004. 最大连续1的个数 III - 力扣（LeetCode）1658. 将 x…
阅读更多...
开发一套SDK 第一弹

开发一套SDK 第一弹

自动安装依赖包 添加条件使能 #ex: filetypesh bash_ls 识别 达到预期,多个硬件环境 等待文件文件系统挂在完成 或者创建 /sys/class/ 属性文件灌入配置操作 AI 提供的 netlink 调试方法,也是目前主流调用方法,socket yyds #include <linux/module.h> #include <linux…
阅读更多...
【leetcode】替换后的最长重复字符、将字符串翻转到单调递增

【leetcode】替换后的最长重复字符、将字符串翻转到单调递增

1.替换后的最长重复字符 示例如下&#xff1a; 下面我们来分析一下一个例子&#xff0c;其中K 2 暴力枚举 这里的字符串s是仅由大写字母组成&#xff0c;首先我们尝试用暴力解法的思路来想一下这道题&#xff0c;通过从第一个字符开始进行枚举&#xff0c;如果出现了条件判断…
阅读更多...
HarmonyOS 线性容器List 常用的几个方法

HarmonyOS 线性容器List 常用的几个方法

List底层通过单向链表实现&#xff0c;每个节点有一个指向后一个元素的引用。当需要查询元素时&#xff0c;必须从头遍历&#xff0c;插入、删除效率高&#xff0c;查询效率低。List允许元素为null。 List和LinkedList相比&#xff0c;LinkedList是双向链表&#xff0c;可以快速…
阅读更多...
C# 网络编程--基础核心内容

C# 网络编程--基础核心内容

在现今软件开发中&#xff0c;网络编程是非常重要的一部分&#xff0c;本文简要介绍下网络编程的概念和实践。 C#网络编程的主要内容包括以下几个方面‌&#xff1a; : 上图引用大佬的图&#xff0c;大家也关注一下&#xff0c;有技术有品质&#xff0c;有国有家&#xff0c;情…
阅读更多...
基于Python实现web网页内容爬取

基于Python实现web网页内容爬取

文章目录 1. 网页分析2. 获取网页信息2.1 使用默认的urllib.request库2.2 使用requests库1.3 urllib.request 和 requests库区别 2. 更改用户代理3. BeautifulSoup库筛选数据3.1 soup.find()和soup.find_all() 函数 4. 抓取分页链接参考资料 在日常学习和工作中&#xff0c;我们…
阅读更多...
ASP .NET Core 中的环境变量

ASP .NET Core 中的环境变量

在本文中&#xff0c;我们将通过组织一场小型音乐会&#xff08;当然是在代码中&#xff09;来了解 ASP .NET Core 中的环境变量。让我们从创建项目开始&#xff1a; dotnet new web --name Concert 并更新Program.cs&#xff1a; // replace this: app.MapGet("/"…
阅读更多...
一个简单带颜色的Map

一个简单带颜色的Map

越简单 越实用。越少设计&#xff0c;越易懂。 需求背景&#xff1a; 创建方法&#xff0c;声明一个hashset&#xff0c; 元素为 {“#DE3200”, “#FA8C00”, “#027B00”, “#27B600”, “#5EB600”} 。 对应的key为 key1 、key2、key3、key4、key5。 封装该方法&#xff0c…
阅读更多...
操作系统：中断与处理器调度

操作系统：中断与处理器调度

目录 1、中断与中断系统 中断概念&#xff1a; 中断装置&#xff1a; 中断相关概念&#xff1a; 中断优先级别与中断屏蔽 2、处理机&#xff08;CPU&#xff09;调度 调度相关参数&#xff1a;P62 调度算法&#xff1a; 处理机调度时机 处理机调度过程 3、调度级别与多…
阅读更多...
【推荐算法】单目标精排模型——FiBiNET

【推荐算法】单目标精排模型——FiBiNET

key word: 学术论文 Motivation&#xff1a; 传统的Embedding&MLP算法是通过内积和Hadamard product实现特征交互的&#xff0c;这篇文章的作者提出了采用SENET实现动态学习特征的重要性&#xff1b;作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互&a…
阅读更多...
AndroidStudio配置aar包的依赖方式

AndroidStudio配置aar包的依赖方式

创建本地仓库文件夹和aar文件夹 创建本地仓库文件夹LocalRepo&#xff0c;文件夹名称可以自定义。在LocalRepo文件夹下为每一个aar单独创建文件夹&#xff0c;如下所示。aar包就放在各自的文件夹下。请注意一个aar文件夹下只能放置一个aar。 配置build.gradle文件 在aar文件…
阅读更多...
unity 让文字变形

unity 让文字变形

效果&#xff1a; using TMPro; using UnityEngine; using NaughtyAttributes;[ExecuteInEditMode] public class TMTextPerpective : MonoBehaviour {[OnValueChanged("DoPerspective")][Range(-1f, 1f)]public float CenterBias 0f;[OnValueChanged("DoPers…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023