Kafka第一章:环境搭建

news2024/11/13 16:12:26

系列文章目录

Kafka第一章:环境搭建


文章目录

  • 系列文章目录
  • 前言
  • 一、环境安装
    • 1.前置环境
    • 2.软件下载
    • 3.上传集群并解压
    • 4.编写配置文件
    • 5.分发配置文件
    • 6.修改参数
    • 7.环境变量
    • 8.启动服务
    • 9.编写启动脚本
  • 二、主题命令行操作
    • 1.查看topic
    • 2.创建 first topic
    • 3.查看主题的详情
    • 4.修改分区数
    • 5.删除 topic
  • 三、生产者命令行操作
    • 1.发送消息
  • 四、消费者命令行操作
    • 1.消费 first 主题中的数据
    • 2.把主题中所有的数据都读取出来
  • 总结


前言

Kafka传 统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

Kafka最 新定义 : Kafka是 一个开源的 分 布式事件流平台 (Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

简单来说
kafka就是一个队列,用来缓解数据产生和数据上传之间的速度矛盾。当数据产生的速度超过上传速度,需要上传的数据就先进kafka排队等待。


一、环境安装

1.前置环境

安装kafka需要提前安装好zookeeper环境,未来kafka4或许又可能脱离zk运行,但现在还是需要安装。没装的,看前边的博客。

2.软件下载

官方地址
实验采用目前的最新版3.3.2并且用scala2.13编译。

3.上传集群并解压

在这里插入图片描述

tar -xvf kafka_2.13-3.3.2.tgz -C /opt/module/
mv kafka_2.13-3.3.2/ kafka

在这里插入图片描述

4.编写配置文件

一个需要修改三个参数

vim config/server.properties

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.分发配置文件

在这里插入图片描述

6.修改参数

在另外两台机器上修改参数
在这里插入图片描述
在这里插入图片描述

7.环境变量

sudo vim /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

在这里插入图片描述
分发文件并且在每台机器source环境变量

sudo xsync /etc/profile.d/my_env.sh
source /etc/profile.d/my_env.sh

8.启动服务

先启动zk
在这里插入图片描述
在每个节点的kafka目录使用如下命令。

bin/kafka-server-start.sh -daemon config/server.properties

在这里插入图片描述

9.编写启动脚本

在/home/atguigu/bin 目录下创建文件 kf.sh 脚本文件

#! /bin/bash

case $1 in
"start"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------启动 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
 done
};;
"stop"){
 for i in hadoop102 hadoop103 hadoop104
 do
 echo " --------停止 $i Kafka-------"
 ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
 done
};;
esac

为脚本添加权限。

chmod 777 kf.sh 
chmod +x kf.sh

现在关闭kafka服务。
在这里插入图片描述
到现在位置kafka的环境安装完成,建议现在保存快照。

二、主题命令行操作

1.查看topic

现在是什么都没有的

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

在这里插入图片描述

2.创建 first topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

–topic 定义 topic 名
–replication-factor 定义副本数
–partitions 定义分区数
在这里插入图片描述

3.查看主题的详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

在这里插入图片描述

4.修改分区数

注:分区数只能增加,不能减少

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

在这里插入图片描述

5.删除 topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

在这里插入图片描述

三、生产者命令行操作

先创建一个first
在这里插入图片描述

1.发送消息

bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first

在这里插入图片描述

四、消费者命令行操作

1.消费 first 主题中的数据

我们再开一个窗口进行消费者操作

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

在这里插入图片描述

2.把主题中所有的数据都读取出来

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

在这里插入图片描述


总结

kafka也是hadoop核心生态中一个比较重要的组件,还是需要学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/188776.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

录制屏幕为什么没有声音?教您录制声画同步的视频

有时我们只顾着录制电脑的画面,而忽视了录制视频的声音,导致录制的视频文件只有画面没有声音。那您知道录制的视频为什么没有声音吗?怎样才能录制声画同步的录屏文件呢?想要录制带声画同步的视频,首先您得拥有一款支持…

[kubernetes]-k8s通过psp限制nvidia-plugin插件的使用

导语: k8s通过psp限制nvidia-plugin插件的使用。刚开始接触psp 记录一下 后续投入生产测试了再完善。 通过apiserver开启psp 静态pod会自动更新 # PSP(Pod Security Policy) 在默认情况下并不会开启。通过将PodSecurityPolicy关键词添加到 --enbale-admission-plu…

【Cocos新手入门】使用 cocos creator 创建多个场景,并通过代码和事件绑定进行切换场景的方法

本篇文章主要讲解使用 cocos creator 创建多个场景,并通过代码和事件绑定进行切换 作者:任聪聪 日期:2023年1月31日 cocos 引擎版本 2.4.3 场景的创建 步骤一、右击资源管理器下的assets目录,点击新建,献出案件一个sc…

NX二开ufun函数UF_MODL_create_section_surface(样条曲线构建截面特征)

本节主要介绍通过样条曲线及截面OPEN API结构体构建截面特征,函数名 UF_MODL_create_section_surface,效果图如下: 1、函数结构 int UF_MODL_create_section_surface ( UF_MODL_secsrf_data_p_t section_surface_data&#xff0c…

vue2 数据响应式Object.defineProperty

我们通常可以对进行输入框进行数据的监听,只需要用到了input 事件或 change事件,就可以实时监听到数据的改变,但是如果只是一个单独的数据呢?怎么去做监听,watch吗??哈哈。 所以 vue响应式就用…

基于微信小程序的懒人美食帮小程序

文末联系获取源码 开发语言:Java 框架:springboot JDK版本:JDK1.8 服务器:tomcat7 数据库:mysql 5.7/8.0 数据库工具:Navicat11 开发软件:eclipse/myeclipse/idea Maven包:Maven3.3.…

graalvm把springboot 3.0应用编译为原生应用

文章目录1、GraalVM Native Support依赖2、编译为原生应用2.1、编译为docker镜像2.2、编译为原生应用文件之前的文章《Graalvm 安装和静态编译(https://blog.csdn.net/penngo/article/details/128006244)》介绍了graalvm的安装和环境配置,普通…

【Rust】6. 结构体与方法

6.1 结构体的定义和实例化 6.1.1 结构体定义、创建实例 6.1.2 创建实例:字段初始化简写语法 6.1.3 创建实例:结构体更新语法(注意:数据的移动特性!) .. 语法:指定了剩余未显式设置值的字段应有…

通信原理笔记—差分脉冲编码调制

目录 差分脉冲编码调制(DPCM): 预测编码: 预测编码的基本原理: 信号预测的基本方法: ΔPCM与DPCM的主要区别: 差分脉冲编码调制(DPCM): 实际信源的特点:实际信源大都是有记忆的信源:信源的相邻输出符号间(如&…

无广告,小体积,实用性拉满的5款软件

人类与99%的动物之间最大差别在于是否会运用工具,借助好的工具,能提升几倍的工作效率。 1. 无损放大图片——Bigjpg 大杀器!深度卷积神经网络实现噪点和锯齿部分补充,从而达到图片无损放大。图片边缘也不会有毛刺和重影,。更重要…

(深度学习快速入门)第四章第二节:什么是卷积神经网络

文章目录一:为什么DNN不适合图像处理(1)图像的空间信息被丢失(不具备空间不变性)(2)参数爆炸二:什么是卷积神经网络三:CNN应用一:为什么DNN不适合图像处理 &…

【关于PostgreSQL的系统信息函数的OID】

一、自带的OID的相关脚本 在PostgreSQL的安装包的src/include/catalog目录下,有着两个脚本,unused_oids和 duplicate_oids。通过这两个可执行脚本,可以查看当前源码包配置里的符合要求的OID。unused_oids可以查看若根据当前源码包初始化产生…

YOLOv5训练结果性能分析

入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。 可参照以下博客一起看(涉及一些概念解析)深度学习之常用模型评估指标(一)—— 分类…

Python大数据处理利器,PySpark的入门实战

PySpark极速入门 一:Pyspark简介与安装 什么是Pyspark? PySpark是Spark的Python语言接口,通过它,可以使用Python API编写Spark应用程序,目前支持绝大多数Spark功能。目前Spark官方在其支持的所有语言中,…

OpenCV-Python学习(18)—— OpenCV 图像几何变换之图像平移(cv.warpAffine)

1. 学习目标 学习图像的平移矩阵;学习 OpenCV 图像平移函数。 2. 图像的平移矩阵 平移是物体位置在水平和垂直方向的移动。 像素点 (x,y) 沿 x 轴平移 dx、沿 y 轴平移 dy,公式: 3. 图像平移函数 3.1 cv.warpAffine() 函数使用 cv.war…

R语言生物群落(生态)数据统计分析与绘图

包含:《R语言基础》、《tidyverse数据清洗》、《多元统计分析》、《随机森林模型》、《回归及混合效应模型》、《结构方程模型》、《统计结果作图》七合一版本 R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂&#…

手动启动Oracle服务和Oracle监听服务和init.ora文件相关

Oracle 11g 安装未完全成功;安装完以后,服务只有2个;这样是用不了,oracle服务和oracle监听服务都没有; 尝试启动一下数据库,出现12560错误; 根据资料,可用如下命令启动Oracle服务&am…

【06】FreeRTOS临界段代码保护及调度器挂起与恢复

目录 1.临界段代码保护简介 2.临界段代码保护函数介绍 2.1任务级临界区调用格式示例 2.2中断级临界区调用格式示例 2.3函数调用特点 2.4任务级进入和退出临界段函数 2.5中断级进入和退出临界段函数 3.任务调度器的挂起和恢复 3.1任务调度器挂起函数vTaskSuspendAll() …

为什么大部分虚拟主机都配置SSD

对于任何站长来说,拥有一个不会加载的漂亮网站可能是毁灭性的。选择正确的托管服务对于确保网站始终以最佳状态运行至关重要。而由于新手站长呈爆发性增长态势,选择虚拟主机的站长日趋增多。本文就将介绍大部分虚拟主机都配置SSD的原因。SSD优势SSD在数据…

Windows下MySQL5与MySQL8的下载、安装、配置

MySQL版本简介 MySQL Community Server 社区版本,开源免费,自由下载,但不提供官方技术支持,适用于 大多数普通用户。MySQL Enterprise Edition 企业版本,需付费,不能在线下载,可以试用30天。提供…