Linux随记（十一）(部署flink-1.16.3、jdk-11.0.19、zookeeper-3.4.13、kafka_2.12-2.2.2)

news2024/11/15 7:15:19

一、部署flink-1.16.3、jdk-11.0.19、zookeeper-3.4.13、kafka_2.12-2.2.2

#软件下载
https://archive.apache.org/dist/kafka/2.2.2/kafka_2.12-2.2.2.tgz
https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
https://archive.apache.org/dist/flink/flink-1.16.3/flink-1.16.3-bin-scala_2.12.tgz
https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html

#环境信息：
bcLinux For Euler 21.10 LTS
#4台机器部署flink
10.xx.xx.207、10.xx.xx.208、10.xx.xx.209、10.xx.xx.210
#3台机器部署zookeeper 、kafka
10.xx.xx.207、10.xx.xx.208、10.xx.xx.209
#使用普通用户nwom部署，及启动上述程序。

#部署路径：
都放在/data/software下
cd /data/software
[nwom@gx-087 software]$ ls
flink-1.16.3  jdk-11.0.19  kafka_2.12-2.2.2  kafka-logs    tmpflink  zookeeper-3.4.13

#配置hosts信息  
[nwom@gx085 software]$ cat /etc/hosts
10.xx.xx.207 gx-085
10.xx.xx.208 gx-086
10.xx.xx.209 gx-087
10.xx.xx.210 gx-088

#内存情况
[nwom@gx-085 conf]$ free -mh
              total        used        free      shared  buff/cache   available
Mem:          753Gi        33Gi       714Gi       686Mi       5.5Gi       716Gi
Swap:         4.0Gi          0B       4.0Gi




### 一、部署flink-1.16.3、jdk-11.0.19

#### 1.1 修改flink配置文件

```shell
#注意！ 4台机器的配置文件内容都是一样的即可。
cd /data/software
tar xf jdk-11.0.19_linux-x64_bin.tar.gz

tar xf flink-1.16.3-bin-scala_2.12.tgz
cd /data/software/flink-1.16.3/conf
#编辑文件 masters 、 workers 、  flink-conf.yaml

masters文件

[nwom@gx-085 conf]$ cat masters 
gx-085:8081

workers文件

[nwom@gx-085 conf]$ cat workers 
gx-085
gx-086
gx-087
gx-088

flink-conf.yaml

#全部内容：
[nwom@gx-085 conf]$ cat flink-conf.yaml | egrep -v "^$|^#"
jobmanager.rpc.address: gx-085 
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 16384m
taskmanager.bind-host: 0.0.0.0 
taskmanager.memory.process.size: 163840m
taskmanager.numberOfTaskSlots: 100
parallelism.default: 1
jobmanager.execution.failover-strategy: region
rest.port: 8081
rest.address: localhost
rest.bind-address: 0.0.0.0
web.cancel.enable: true
io.tmp.dirs: /data/software/tmpflink
classloader.resolve-order: parent-first
taskmanager.memory.network.fraction: 0.3

#添加jdk相关配置
env.java.home: /data/software/jdk-11.0.19
akka.ask.timeout: 120s
heartbeat.timeout: 300000
cluster.evenly-spread-out-slots: true
task.cancellation.timeout: 0
taskmanager.network.memory.buffer-debloat.enabled: true
1.2 启动flink
#nwom用户启动。 仅登录81.207操作即可。
cd /data/software/flink-1.16.3/bin
./start-cluster.sh
(过程需要输入其他3台服务器的nwom密码)
1.3 访问flink
http://10.xx.xx.207:8081/#/overview

在这里插入图片描述

1.4 部署自研的flink-lte.jar包

#将flink-lte-1.0.jar上传到/data/software/
#如果有新包，则点击上图的“Cancel Job”,然后替换新包启动。
cd /data/software/flink-1.16.3/bin
./flink run -c com.inspur.KafkaStreamingJob /data/software/flink-lte-1.0.jar

在这里插入图片描述
flink part end

二、部署zookeeper-3.4.13

#3台机器部署zookeeper 、kafka
10.xx.xx.207、10.xx.xx.208、10.xx.xx.209

cd /data/software
tar xf zookeeper-3.4.13.tar.gz
cd zookeeper-3.4.13/

2.1 修改zoo.cfg文件 （有区别项）

cd /data/software/zookeeper-3.4.13/conf

#10.xx.xx.207
[nwom@gx-085 conf]$ cat zoo.cfg  | grep -v "^#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/software/zookeeper-3.4.13/data
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=1

server.1=gx-085:2888:3888
server.2=gx-086:2888:3888
server.3=gx-087:2888:3888

#10.xx.xx.208
[nwom@gx-086 conf]$ cat zoo.cfg  | grep -v "^#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/software/zookeeper-3.4.13/data
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=1

server.1=gx-085:2888:3888
server.2=gx-086:2888:3888
server.3=gx-087:2888:3888

#10.xx.xx.209
[nwom@gx-087 conf]$ cat zoo.cfg  | grep -v "^#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/software/zookeeper-3.4.13/data
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=1

server.1=gx-085:2888:3888
server.2=gx-086:2888:3888
server.3=gx-087:2888:3888
2.2 有区别的地方 myid文件内容：
#10.xx.xx.207
[nwom@gx-085 data]$ cat /data/software/zookeeper-3.4.13/data/myid
1

#10.xx.xx.208
[nwom@gx-086 zookeeper-3.4.13]$ cat /data/software/zookeeper-3.4.13/data/myid
2

#10.xx.xx.209
[nwom@gx-087 software]$ cat /data/software/zookeeper-3.4.13/data/myid
3
2.3 启动zookeeper
#上述三台xx.207/208/209 都执行启动。
cd /data/software/zookeeper-3.4.13
./bin/zkServer.sh start

#检查状态
./bin/zkServer.sh status

三、部署kafka_2.12-2.2.2

#3台机器部署zookeeper 、kafka
10.xx.xx.207、10.xx.xx.208、10.xx.xx.209
cd /data/software
tar xf kafka_2.12-2.2.2.tgz
3.1 修改server.properties文件 （有区别：）
cd /data/software/kafka_2.12-2.2.2/config

#10.xx.xx.207
[nwom@gx-085 config]$ cat server.properties  | grep -v "^#"  | grep -v "^$"

#注意这里区别
broker.id=0
listeners=PLAINTEXT://gx-085:9092
advertised.listeners=PLAINTEXT://gx-085:9092

num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#注意这里区别
log.dirs=/data/software/kafka-logs

num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=6
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

#注意这里区别
zookeeper.connect=gx-085:2181,gx-086:2181,gx-087:2181/kafka
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

#10.xx.xx.208
[nwom@gx-086 config]$ cat server.properties  | grep -v "^#"  | grep -v "^$"

#注意这里区别
broker.id=1
listeners=PLAINTEXT://gx-086:9092
advertised.listeners=PLAINTEXT://gx-086:9092

num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#注意这里区别
log.dirs=/data/software/kafka-logs

num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=6
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

#注意这里区别
zookeeper.connect=gx-085:2181,gx-086:2181,gx-087:2181/kafka
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

#10.xx.xx.209
[nwom@gx-087 config]$ cat server.properties  | grep -v "^#"  | grep -v "^$"

#注意这里区别
broker.id=2
listeners=PLAINTEXT://gx-087:9092
advertised.listeners=PLAINTEXT://gx-087:9092

num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

#注意这里区别
log.dirs=/data/software/kafka-logs

num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=6
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

#注意这里区别
zookeeper.connect=gx-085:2181,gx-086:2181,gx-087:2181/kafka
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
3.2 启动kafka
#kafka启动: （3台服务器都启动）
cd /data/software/kafka_2.12-2.2.2
nohup sh ./bin/kafka-server-start.sh  ./config/server.properties  &  

#查看kafka日志状态
[nwom@gx-085 kafka_2.12-2.2.2]$ tail -f logs/server.log 

#创建测试topic data
[nwom@gx-085 kafka_2.12-2.2.2]$ bin/kafka-topics.sh --create --zookeeper gx-085:2181/kafka --replication-factor 1 --partitions 1 --topic data

Created topic data.

#创建测试topic city_cell
bin/kafka-topics.sh --create --zookeeper gx-085:2181/kafka --replication-factor 1 --partitions 1 --topic city_cell

#查看目前已有topic
[nwom@gx-085 bin]$ ./kafka-topics.sh --list --zookeeper  gx-085:2181/kafka

在这里插入图片描述

3.3 推送测试数据到kafka （具体jar还是要找开发要）
[nwom@gx-085 config]$ crontab -l
*/5 * * * *  bash /data/software/shellDir/pushDataKafka.sh

#测试脚本内容：
[nwom@gx-085 config]$ cat /data/software/shellDir/pushDataKafka.sh
#!/bin/bash

KAFKA_BROKER=gx-085:9092,gx-086:9092,gx-087:9092
TOPIC_NAME=data

local_path=/data/software/shellDir/data.csv
count=0
while IFS= read -r line; do  
      /data/software/kafka_2.12-2.2.2/bin/kafka-console-producer.sh --broker-list $KAFKA_BROKER --topic $TOPIC_NAME <<< "$line"  
      count=$((count+1))
done < "$local_path"
echo $count


#测试数据内容：
[nwom@gx-085 config]$ head -3 /data/software/shellDir/data.csv
8004,CEP_admin_20240530113917019,1719817881,13535300261,4.60005E+14,3.56714E+14,46000C2D9297,28074,782,,,,,,UE Triggered Service Request(4G),6,,,,,,,,,,,,,,xx家园12、14、16#楼室分-HLW-1,高铁-南广线,,,,,,,,,,,,,,274
8004,CEP_admin_20240530113917019,1719817856,18376062109,4.60026E+14,8.67939E+14,46000E01EE6F,0,771,,,,,,Create Session,6,,,,,,,,,,,,,,高铁3-1FDD18-HLH-5,高铁-南广线,,,,,,,,,,,,,,273

END

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2075362.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

油价波动加剧：需求忧虑与OPEC+增产决策成焦点

油价波动加剧：需求忧虑与OPEC+增产决策成焦点

周五油价反弹难掩周度跌势 尽管周五油价在美联储降息预期的提振下大幅上扬&#xff0c;但本周整体油价仍录得下跌。WTI原油和布伦特原油分别下跌2.4%和0.83%&#xff0c;显示出市场对全球经济前景及原油需求的担忧。 OPEC增产决策悬而未决 OPEC成员国正面临增产决策的关键时刻。…
阅读更多...
USB3.2 摘录（八）

USB3.2 摘录（八）

系列文章目录 USB3.2 摘录&#xff08;一&#xff09; USB3.2 摘录&#xff08;二&#xff09; USB3.2 摘录&#xff08;三&#xff09; USB3.2 摘录&#xff08;四&#xff09; USB3.2 摘录&#xff08;五&#xff09; USB3.2 摘录&#xff08;六&#xff09; USB3.2 摘录&…
阅读更多...
【Kotlin设计模式】Kotlin实现适配器模式

【Kotlin设计模式】Kotlin实现适配器模式

前言 适配器模式(Adapter Pattern)的核心将某个类的接口转换成客户端期望的另一个接口表示&#xff0c;使得客户端能够通过自己期望的接口与不兼容的类进行交互。适配器模式有三种实现方式&#xff0c;分别是类适配器模式、对象适配器模式、 接口适配器模式。 我们假设有个视频…
阅读更多...
单GPU高效训练笔记

单GPU高效训练笔记

文章目录 cuda kernelFlash Attention v1&#xff0c;v2数据预加载micro-batchMicro-batch 的概念Micro-batch 的作用总结 编译优化TorchDynamo 的工作原理主要步骤 TorchDynamo 的优势使用场景总结背景和概念dynamo.optimize("nvfuser") 的作用使用场景优势 本文主要…
阅读更多...
论素数的历史

论素数的历史

目录 01 &#xff08;1&#xff09;这个级数实际上是s的函数&#xff0c;后来被称为ζ函数。 &#xff08;2&#xff09;证明了上面的结果&#xff0c;也就间接证明了 “素数无限多”&#xff0c;因为有限的序列之和不可能发散。 &#xff08;3&#xff09;等式左边的符号是…
阅读更多...
应对技术风暴：开发团队的坚韧与智慧

应对技术风暴：开发团队的坚韧与智慧

目录 开发团队如何应对突发的技术故障和危机&#xff1f; 一、未雨绸缪&#xff1a;构建坚实的预防体系 1.1 强化监控系统 1.2 定期进行系统健康检查 1.3 制定应急响应计划 1.4 案例(一)&#xff1a;亚马逊的AWS云故障 二、迅速响应&#xff1a;以行动诠释坚韧 2.1 快…
阅读更多...
C++ 设计模式——状态模式

C++ 设计模式——状态模式

C 设计模式——状态模式 C 设计模式——状态模式1. 主要组成成分2. 逐步构建状态模式1. 状态接口定义2. 具体状态类实现3. 上下文类的实现4. 主函数 3. 状态模式 UML 图状态模式 UML 图解析 4. 状态模式的优点5. 状态模式的缺点6. 状态模式的适用场景完整代码1. Monster.h2. Mo…
阅读更多...
视频生成新突破：内容-运动潜在扩散模型（CMD）

视频生成新突破：内容-运动潜在扩散模型（CMD）

人工智能咨询培训老师叶梓 转载标明出处 当前的视频扩散模型虽然在生成质量上取得了巨大进步&#xff0c;但在处理高维视频数据时仍然面临内存和计算资源的高需求。这些模型通常直接处理高维视频数据&#xff0c;导致在生成视频时需要大量的计算资源和内存消耗。为了解决这一问…
阅读更多...
【嵌入式】总结参考——Linux下的裸机驱动开发

【嵌入式】总结参考——Linux下的裸机驱动开发

板型:正点原子 I.MX6UL MINI 屏幕&#xff1a;7寸 1024*600 立意&#xff1a;既是这一段学习的总结&#xff0c;也可作为入门指南的参考&#xff0c;不过并不能作为教程来看&#xff0c;实际学习还是要找相应的视频或文章教程。 一、历程 应该和使用这块板子的大部分人一样&a…
阅读更多...
基于ESP32驱动LAN8720以太网收发器

基于ESP32驱动LAN8720以太网收发器

文章目录 一、LAN8720A简介二、引脚说明芯片管脚配置示例演示 一、LAN8720A简介 LAN8720A是低功耗的10/100M以太网PHY芯片&#xff0c;支持通过RMII接口和MAC层通信。它包含一个全双工10-BASE-T/100BASE-TX收发器&#xff0c;支持10Mbps和100Mbps操作。可以自动协商以自动确定最…
阅读更多...
深度学习与OpenCV：解锁计算机视觉的无限可能

深度学习与OpenCV：解锁计算机视觉的无限可能

在科技日新月异的今天&#xff0c;计算机视觉作为人工智能领域的一颗璀璨明珠&#xff0c;正以前所未有的速度改变着我们的生活与工作方式。而《深度学习》与OpenCV&#xff0c;作为这一领域的两大重要工具&#xff0c;更是为计算机视觉的入门与深入探索铺设了坚实的基石。本文…
阅读更多...
Python集成学习和随机森林算法使用详解

Python集成学习和随机森林算法使用详解

概要 集成学习是一种通过组合多个模型来提高预测性能的机器学习方法。它通过将多个弱学习器的结果结合起来，形成一个强学习器，从而提升模型的准确性和稳健性。随机森林（Random Forest）是集成学习中一种非常流行且有效的算法，特别适用于分类和回归任务。本文将详细介绍Pyt…
阅读更多...
【图论】Tarjan算法（强连通分量）

【图论】Tarjan算法（强连通分量）

一、Tarjan算法简介 Tarjan算法是一种由美国计算机科学家罗伯特塔杨&#xff08;Robert Tarjan&#xff09;提出的求解有向图强连通分量的线性时间的算法。 二、强连通分量的概念 在有向图 G G G 中&#xff0c;如果任意两个不同的顶点相互可达&#xff0c;则称该有向图是强…
阅读更多...
平价电容笔排行榜：2024开学季五大高人气电容笔测评推荐 ！

平价电容笔排行榜：2024开学季五大高人气电容笔测评推荐 ！

随着开学季的到来&#xff0c;无纸化学习再次成为热议话题&#xff0c;而电容笔作为支持这一趋势的重要配件&#xff0c;自然也备受瞩目。面对市场上琳琅满目的品牌选择&#xff0c;找到最适合自己需求的那一款就成了一个不小的挑战。不用担心&#xff0c;作为一名资深的数码产…
阅读更多...
基于FPGA的SD NAND Flash数据读写实现

基于FPGA的SD NAND Flash数据读写实现

1、存储芯片分类 目前市面上的存储芯片&#xff0c;大致可以将其分为3大类&#xff1a; ① EEPROM EEPROM (Electrically Erasable Programmable read only memory)是指带电可擦可编程只读存储器&#xff0c;是一种掉电后数据不丢失的存储芯片。EEPROM 可以在电脑上或专用设备…
阅读更多...
【初阶数据结构】复杂度

【初阶数据结构】复杂度

b站复杂度链接 另一个复杂度链接 复杂度笔记
阅读更多...
利用大型语言模型协作提升甲状腺结节超声诊断的一致性和准确性| 文献速递-基于深度学习的癌症风险预测与疾病预后应用

利用大型语言模型协作提升甲状腺结节超声诊断的一致性和准确性| 文献速递-基于深度学习的癌症风险预测与疾病预后应用

Title 题目 Collaborative Enhancement of Consistency and Accuracy in US Diagnosis of Thyroid Nodules Using Large Language Models 利用大型语言模型协作提升甲状腺结节超声诊断的一致性和准确性 Background 背景 Large language models (LLMs) hold substantial …
阅读更多...
git仓库删除某个历史提交

git仓库删除某个历史提交

目录 问题情况1情况2 问题 如果我们在开发过程中&#xff0c;存在一些验证性的提交或者失误性的提交&#xff0c;那么这些提交我们不想要了&#xff0c;怎么办&#xff1f; 情况1 如果是想要删除某个commitid之后的所有提交 那么git reset 可以满足你 git reset --hard 你要…
阅读更多...
2001-2023年上市公司数字化转型年报词频统计（吴非、赵宸宇、甄红线等300+个关键词）

2001-2023年上市公司数字化转型年报词频统计（吴非、赵宸宇、甄红线等300+个关键词）

2001-2023年上市公司数字化转型年报词频统计&#xff08;吴非、赵宸宇、甄红线&#xff09; 1、时间&#xff1a;2001-2023年 2、来源&#xff1a;上市公司年报 3、参考文献&#xff1a;企业数字化转型与资本市场表现——来自股票流动性的经验证据&#xff08;吴非&#xff…
阅读更多...
电脑浏览器打不开部分网页

电脑浏览器打不开部分网页

电脑浏览器打不开部分网页 时间: 2024-08-25 问题描述: 电脑突然打不开部分网页 例如腾讯文档 夸克网盘 但其他网页能够正常打开 原因 可能为域名解析问题 更改DNS即可解决 解决办法 控制面板–> 网络和Internet—>网络连接—> WLAN----> 属性 —> Interne…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023