Hadoop学习笔记（HDP）-Part.19 安装Kafka

news2024/11/24 12:28:09

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十九、安装Kafka

1.安装kafka

选择kafka进行安装
在这里插入图片描述
选择hdp03-05作为kafka的broker
在这里插入图片描述
Log directories:/data01/kafka-logs
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.安装kafka manager

下载链接：
https://gitcode.net/mirrors/yahoo/kafka-manager/-/archive/master/kafka-manager-master.tar.gz
在具有sbt编译环境的服务器（需要外网环境）上，对kafka-manager进行编译

unzip kafka-manager-2.0.0.2.zip -d /usr/local/

修改配置文件，/usr/local/kafka-manager-2.0.0.2/conf/application.conf
修改zookeeper连接地址

kafka-manager.zkhosts="hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181"

启动kafka-manager

cd /usr/local/kafka-manager-2.0.0.2/bin/
nohup bin/kafka-manager >/dev/null 2>&1 &

访问页面http://hdp01.hdp.com:9000
创建kafka集群
在这里插入图片描述
Cluster Name：hdp315，自定义名称
Cluster Zookeeper Hosts：hdp01.hdp.com:2181,hdp02.hdp02.com:2181,hdp03.hdp.com:2181

3.启用kerberos配置确认

(1)ZooKeeper开启kerberos认证

ZooKeeper账号信息

klist -ket /etc/security/keytabs/zk.service.keytab

在这里插入图片描述
jaas认证信息
/usr/hdp/3.1.5.0-152/zookeeper/conf/zookeeper_jaas.conf
/usr/hdp/3.1.5.0-152/zookeeper/conf/zookeeper_client_jaas.conf
com.sun.security.auth.module.Krb5LoginModule这个是类名,是kerberos对JAAS中的LoginModule的实现;required表示必须进行校验;其他几个是kerberos相关参数;后面会将该配置文件地址配置到jvm参数,其中的信息会被初始化到LoginContext上下文对象中。另外注意格式以及末尾的;分号。
在这里插入图片描述
开启sasl/kerberos认证，/usr/hdp/3.1.5.0-152/zookeeper/conf/zoo.cfg
在这里插入图片描述

(2)Kafka账号信息

Ambari自动创建的kafka账号信息如下

klist -kte /etc/security/keytabs/kafka.service.keytab

在这里插入图片描述

(3)Kafka服务端配置

jaas认证信息，/usr/hdp/3.1.5.0-152/kafka/config/kafka_jaas.conf
在这里插入图片描述
KafkaServer：Kafka服务端
KafkaClient：Kafka客户端
Client：ZooKeeper客户端
Kerberos认证有两种方式，即利用票证缓存和指定keytab。
要使用存储在票证缓存中的Kerberos票证：

sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useTicketCache=true;

要使用keytab：

sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/etc/security/keytabs/alice.keytab" principal="alice@EXAMPLE.COM";

开启sasl/kerberos认证，/usr/hdp/3.1.5.0-152/kafka/config/server.properties
核心配置如下

advertised.listeners=SASL_PLAINTEXT://hdp03.hdp.com:6667
listeners=SASL_PLAINTEXT://hdp03.hdp.com:6667
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka
sasl.mechanism.inter.broker.protocol=GSSAPI
security.inter.broker.protocol=SASL_PLAINTEXT
(4)Kafka客户端配置

jaas认证信息，/usr/hdp/3.1.5.0-152/kafka/config/kafka_client_jaas.conf
在这里插入图片描述
开启sasl/kerberos认证，新建文件/root/client.properties

security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
sasl.mechanism=GSSAPI

4.Controller/Broker确认

Broker在启动时，会尝试去ZooKeeper中创建/controller节点。Kafka当前选举控制器的规则是：第一个成功创建/controller节点的Broker会被指定为控制器。同样，也会在zookeeper的/brokers/ids下创建一个临时znode。当broker宕机或主动关闭后，该broker与ZooKeeper的会话结束，这个znode会被自动删除。
zookeeper中还有一个与控制器有关的/controller_epoch持久节点，节点中存放的是一个整型的controller_epoch值（初始值为1）。controller_epoch用于记录控制器发生变更的次数，即记录当前的控制器是第几代控制器，也可以称为“控制器的纪元”。
在kafka集群中，首先启动hdp03节点，此时controller选举为hdp03，且broker下也只有hdp03，并且可以看到相关的详细信息。

ls /controller
get /controller

在这里插入图片描述

ls /brokers/ids
get /brokers/ids/1001

在这里插入图片描述
之后在kafka集群中增加节点hdp04，此时可以看到controller仍是hdp03，但broker下已经有hdp04节点。

ls /controller
get /controller

在这里插入图片描述

ls /brokers/ids
get /brokers/ids/1002

在这里插入图片描述

5.其他配置确认

(1)权限控制

Kafka本身自带有一个授权的类kafka.security.auth.SimpleAclAuthorizer，可在server.properties配置，分为Acl和Ranger两种方式。
Acl控制

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

Ranger控制

authorizer.class.name=org.apache.ranger.authorization.kafka.authorizer.RangerKafkaAuthorizer

当添加权限控制后，会在zk中创建2个节点
节点1：存储ACL信息节点kafka-acl
节点2：存储ACL变更信息节点kafka-acl-changes

(2)listeners/advertised.listeners

内网发布地址用listeners，对外网发布地址时用advertised.listeners

6.常用指令

创建topic

./kafka-topics.sh --create --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --replication-factor 3 --partitions 3 --topic test-topic

partitions指定topic分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗；分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数；分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。
replication-factor指定topic每个分区的副本数,控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量。
查看所有topic列表

./kafka-topics.sh  --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --list

查看指定topic信息

./kafka-topics.sh --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --describe --topic test-topic

控制台向topic生产数据

./kafka-console-producer.sh --broker-list hdp03.hdp.com:6667,hdp04.hdp.com:6667,hdp05.hdp.com:6667 --topic test-topic

控制台消费topic的数据

./kafka-console-consumer.sh --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --topic test-topic --from-beginning

增加topic分区数

./kafka-topics.sh --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --alter --topic test-topic --partitions 10

删除topic

./kafka-topics.sh --delete --zookeeper hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181 --topic test-topic

只会删除zookeeper中的元数据，消息文件须手动删除
在zookeeper中，以kafka登录后删除对应的文件

kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/hdp03.hdp.com@HDP315.COM
/usr/hdp/3.1.5.0-152/zookeeper/bin/zkCli.sh -server hdp01:2181,hdp02:2181,hdp03:2181
rmr /admin/delete_topics/test-topic
rmr /brokers/topics/test-topic

查看topic消费进度

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1
显示出consumer group的offset情况，必须参数为--group，不指定--topic，默认为所有topic

查看topic某分区偏移量最大（小）值

./kafka-run-class.sh kafka.tools.GetOffsetShell --topic test-topic --time -1 --broker-list hdp03.hdp.com:6667,hdp04.hdp.com:6667,hdp05.hdp.com:6667 --partitions 0

time为-1时表示最大值，time为-2时表示最小值
列出所有topic的用户组列表

./kafka-consumer-groups.sh --bootstrap-server hdp03.hdp.com:6667,hdp04.hdp.com:6667,hdp05.hdp.com:6667 --list

7.实验：发布订阅

以hdp03作为producer，hdp04作为consumer
【hdp03】上执行启动生产者，并输入随机字符

kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/hdp03.hdp.com@HDP315.COM
./kafka-console-producer.sh --broker-list hdp03.hdp.com:6667,hdp04.hdp.com:6667,hdp05.hdp.com:6667 --topic test-topic --producer.config /root/producer.properties

【hdp04】上执行启动消费者，观察hdp03上输入字符后在hdp04上显示的内容

kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/hdp03.hdp.com@HDP315.COM
./kafka-console-producer.sh --broker-list
./kafka-console-consumer.sh --bootstrap-server hdp03.hdp.com:6667 --topic test-topic --consumer.config /root/consumer.properties

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1289048.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

pyqt5+QWebEngineView+pdfjs+win32print实现pdf文件的预览、打印

pyqt5+QWebEngineView+pdfjs+win32print实现pdf文件的预览、打印

一、pdf显示逻辑 import sys from PyQt5 import QtCore, QtWidgets, QtWebEngineWidgetsPDFJS = file:///pdfjs-1.9.426-dist/web/viewer.html # PDFJS = file:///usr/share/pdf.js/web/viewer.html PDF = file:///D:/Code/report.pdfclass Window(QtWebEngineWidgets.QWebEng…
阅读更多...
使用 MITRE ATTCK® 框架缓解网络安全威胁

使用 MITRE ATTCK® 框架缓解网络安全威胁

什么是MITRE ATT&CK框架 MITRE Adversarial Tactics， Techniques， and Common Knowledge（ATT&CK）是一个威胁建模框架，用于对攻击者用来入侵企业、云和工业控制系统（ICS）并发起网络攻击…
阅读更多...
在交易中价差遇上对冲，fpmarkets操作得当，盈利必不可少

在交易中价差遇上对冲，fpmarkets操作得当，盈利必不可少

想不到吧！fpmarkets发现在交易中价差遇上对冲，只要操作得当，盈利必不可少。 下面我们就通过实践证明这个认知，我们大家都知道，交易可以分为两种方式:激进的和保守的。从定义中可以清楚地看出，一种方式风险较…
阅读更多...
机器学习实验一：线性回归

机器学习实验一：线性回归

系列文章目录 机器学习实验一：线性回归机器学习实验二：决策树模型机器学习实验三：支持向量机模型机器学习实验四：贝叶斯分类器机器学习实验五：集成学习机器学习实验六：聚类 文章目录 系列文章目录一、实验…
阅读更多...
【python】使用pipenv创建虚拟环境进行打包

【python】使用pipenv创建虚拟环境进行打包

文章目录 一、pipenv 介绍二、快速上手使用pipenv2.1 安装pipenv2.2 创建虚拟环境2.3 激活环境2.4 虚拟环境中安装项目依赖包2.5 检查项目在虚拟环境中是否能正常运行2.6 打包项目2.7 删除虚拟环境 起因: 本地安装的模块太多,使用pyinstaller打包,会把许多无关模块打包进去&…
阅读更多...
“站立的山川——周扬波 中国山水画创作新表达系列画展”将亮相深圳东方美术馆

“站立的山川——周扬波 中国山水画创作新表达系列画展”将亮相深圳东方美术馆

展览信息 站立的山川——周扬波 中国山水画创作新表达系列画展 中国文学艺术界联合会青年文艺创作扶持计划项目 学术主持 陈明 学术顾问 何加林 主办单位 中国文化艺术发展促进会水墨画专业委员会 承办单位 深圳东方美术馆 协办单位 李可染画院 深圳东方银座酒店 …
阅读更多...
微信小程序pc端宽高：默认宽高为1024*812，全屏宽高为1920*1032

微信小程序pc端宽高：默认宽高为1024*812，全屏宽高为1920*1032

最近开发调试pc端小程序，想知道默认打开和全屏这两种情况下的小程序宽高，发现了一种方法： 真机运行pc端小程序，点击devTools 在控制台直接打印window对象，可以获取到pc端默认屏幕宽高为1024*812，全屏pc端小…
阅读更多...
微信小程序怎么做店铺

微信小程序怎么做店铺

随着移动互联网的快速发展，越来越多的企业和个人开始在微信小程序上开设店铺，以实现线上销售。那么微信小程序怎么做店铺呢？下面给大家分享下步骤指南。 首先需要明确你的店铺定位和目标用户群体。这一步骤非常关键，因为它将决定你…
阅读更多...
Qt + MySQL（简单的增删改查）

Qt + MySQL（简单的增删改查）

Qt编译MySql插件教程 QSqlDatabase 静态函数 1.drivers()，得到可以使用的数据库驱动名字的集合 [static] QStringList QSqlDatabase::drivers();2.addDatabase()，添加一个数据库实例 [static] QSqlDatabase QSqlDatabase::addDatabase(const QStrin…
阅读更多...
抖音商家电话采集如何用爬虫软件实现

抖音商家电话采集如何用爬虫软件实现

随着互联网的发展，越来越多的商家开始在抖音上开设店铺。本文将介绍如何用爬虫软件实现抖音商家电话采集。 第一步：安装Python爬虫框架 Python爬虫框架有很多，比如Scrapy、BeautifulSoup等。本文选择使用Scrapy框架，因为它具有强…
阅读更多...
用python测试网络上可达的网络设备

用python测试网络上可达的网络设备

用python测试网络上可达的网络设备 之前使用的os在python中执行ping测试网络中可达的目标，但是他在执行ping命令时脚本会将系统执行ping时的回显内容显示出来，有时这些回显并不是必要的。如果用脚本一次性ping成百上千台网络设备或者URL时会影响美观和阅…
阅读更多...
电商API接口开发和接入说明{包含淘宝/京东/拼多多/抖音}

电商API接口开发和接入说明{包含淘宝/京东/拼多多/抖音}

“为什么改了这个没告诉我” “实际功能和文档上说的不一样啊”。 这些话大家在进行电商API接口开发时，想必耳朵都听出老茧了。 真不是故意的，有时候任务比较急，就先改了代码，想着以后再同步文档，然后就给忘了。 项…
阅读更多...
【Vue】vue | npm run build打包缺少模块 | 打包缺少模块代码

【Vue】vue | npm run build打包缺少模块 | 打包缺少模块代码

一、说明 1、项目时间长了，vue的node_modules依赖竟然到了16个G 2、之前npm run build:prod都是可以的 3、最新一次竟然失败了，说缺少模块 二、解决 1、删除node_modules模块 2、强删缓存 npm cache clear --force 3、删除package-lock.json 4、重新…
阅读更多...
【C++】：set和map

【C++】：set和map

朋友们、伙计们，我们又见面了，本期来给大家解读一下有关多态的知识点，如果看完之后对你有一定的启发，那么请留下你的三连，祝大家心想事成！ C 语 言 专 栏：C语言：从入门到精通 数据结…
阅读更多...
HomeAssistant如何添加HACS插件实现公网控制米家与HomeKit等智能家居

HomeAssistant如何添加HACS插件实现公网控制米家与HomeKit等智能家居

HomeAssistant添加HACS插件并实现公网控制米家，HomeKit等智能家居 文章目录 HomeAssistant添加HACS插件并实现公网控制米家，HomeKit等智能家居基本条件一、下载HACS源码二、添加HACS集成三、绑定米家设备 ​ 上文介绍了如何实现群晖Docker部署HomeAssist…
阅读更多...
不是Typescript用不起，而是JSDoc更有性价比？

不是Typescript用不起，而是JSDoc更有性价比？

1. TS不香了？ 2023年，几条关于 Typescript 的新闻打破了沉寂，让没什么新活好整的前端开发圈子又热闹了一番。 先是 GitHub 的报告称：“TypeScript 取代 Java 成为第三受欢迎语言”。 在其当年度 Octoverse 开源状态报告中&#x…
阅读更多...
如何通过navicat连接SQL Server数据库

如何通过navicat连接SQL Server数据库

本文介绍如何通过Navicat 连接SQL Server数据库。如果想了解如何连接Oracle数据库，可以参考下边这篇文章。如何通过Navicat连接Oracle数据库https://sgknight.blog.csdn.net/article/details/132064235 1、新建SQL Server连接配置 打开Navicat软件，点击…
阅读更多...
【微信小程序开发】学习小程序的模块化开发(自定义组件和分包加载)

【微信小程序开发】学习小程序的模块化开发(自定义组件和分包加载)

前言 模块化开发是一种将复杂的应用程序分解为一系列独立的模块，每个模块负责完成特定的功能的开发方式。模块化开发可以提高代码的可维护性和可复用性，使开发过程更加高效和灵活。 文章目录 前言模块化开发的重要性和优势自定义组件自定义组件的概念和作…
阅读更多...
观测云实现日志存储与分析 10 倍性价比提升｜SelectDB 技术团队

观测云实现日志存储与分析 10 倍性价比提升｜SelectDB 技术团队

作者：观测云 CEO 蒋烁淼 & 飞轮科技技术团队 在云计算逐渐成熟的当下，越来越多的企业开始将业务迁移到云端，传统的监控和故障排查方法已经无法满足企业的需求。而观测云可提供整体数据的分析、洞察、可视化、自动化、监测告警、智能巡查…
阅读更多...
【EI征稿中#先投稿，先送审#】第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）

【EI征稿中#先投稿，先送审#】第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）

第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024） 2024 3rd International Conference on Cyber Security, Artificial Intelligence and Digital Economy 第二届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2023&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023