【Linux系统基础】（5）在Linux上集群化环境前置准备及部署Zookeeper、Kafka软件详细教程

news2024/9/28 7:19:37

在这里插入图片描述

集群化环境前置准备

介绍

在前面，我们所学习安装的软件，都是以单机模式运行的。

后续，我们将要学习大数据相关的软件部署，所以后续我们所安装的软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。

所以，在当前小节，我们需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。

部署

配置多台Linux虚拟机

安装集群化软件，首要条件就是要有多台Linux服务器可用。

我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。

  1. 首先，关机当前CentOS系统虚拟机（可以使用root用户执行init 0来快速关机）

  2. 新建文件夹

    image-20221025104157628

    文件夹起名为：虚拟机集群

  3. 克隆

    image-20221025104131303

    image-20221025104312091

    image-20221025104329109

    image-20221025104345484

    image-20221025104414576

    image-20221025104427160

    image-20221025104432927

    image-20221025104446044

  4. 同样的操作克隆出：node2和node3

    image-20221025104825204

  5. 开启node1，修改主机名为node1，并修改固定ip为：192.168.88.131

    # 修改主机名
hostnamectl set-hostname node1

# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"

# 重启网卡
systemctl stop network
systemctl start network
# 或者直接
systemctl restart network

  6. 同样的操作启动node2和node3,

    修改node2主机名为node2，设置ip为192.168.88.132

    修改node2主机名为node3，设置ip为192.168.88.133

  7. 配置FinalShell，配置连接到node1、node2、node3的连接

    为了简单起见，建议配置root用户登录

准备主机名映射

  1. 在Windows系统中修改hosts文件，填入如下内容：

    如果同学们使用MacOS系统，请：

    1. sudo su -，切换到root
    2. 修改/etc/hosts文件
    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

  2. 在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）

    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

配置SSH免密登录

简介

SSH服务是一种用于远程登录的安全认证协议。

我们通过FinalShell远程连接到Linux，就是使用的SSH服务。

SSH服务支持：

  1. 通过账户+密码的认证方式来做用户认证
  2. 通过账户+秘钥文件的方式做用户认证

SSH可以让我们通过SSH命令，远程的登陆到其它的主机上，比如：

在node1执行：ssh root@node2，将以root用户登录node2服务器，输入密码即可成功登陆

或者ssh node2，将以当前用户直接登陆到node2服务器。

SSH免密配置

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆

  1. 在每一台机器都执行：ssh-keygen -t rsa -b 4096，一路回车到底即可

  2. 在每一台机器都执行：

    ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

  3. 执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通

配置JDK环境

后续的大数据集群软件，多数是需要Java运行环境的，所以我们为每一台机器都配置JDK环境。

JDK配置参阅：Tomcat安装部署环节。

关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

在每一台机器都执行

systemctl stop firewalld
systemctl disable firewalld

Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。

SELinux的配置同防火墙一样，非常复杂，课程中不多涉及，后续视情况可以出一章SELinux的配置课程。

在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可，

在每一台机器都执行

vim /etc/sysconfig/selinux

# 将第七行，SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统

添加快照

为了避免后续出现问题，在完成上述设置后，为每一台虚拟机都制作快照，留待使用。

补充命令 - scp

后续的安装部署操作，我们将会频繁的在多台服务器之间相互传输数据。

为了更加方面的互相传输，我们补充一个命令：scp

scp命令是cp命令的升级版，即：ssh cp，通过SSH协议完成文件的复制。

其主要的功能就是：在不同的Linux服务器之间，通过SSH协议互相传输文件。

只要知晓服务器的账户和密码（或密钥），即可通过SCP互传文件。

语法：

scp [-r] 参数1 参数2
- -r选项用于复制文件夹使用，如果复制文件夹，必须使用-r
- 参数1：本机路径 或 远程目标路径
- 参数2：远程目标路径 或 本机路径

如：
scp -r /export/server/jdk root@node2:/export/server/
将本机上的jdk文件夹， 以root的身份复制到node2的/export/server/内
同SSH登陆一样，账户名可以省略（使用本机当前的同名账户登陆）

如：
scp -r node2:/export/server/jdk /export/server/
将远程node2的jdk文件夹，复制到本机的/export/server/内


# scp命令的高级用法
cd /export/server
scp -r jdk node2:`pwd`/    # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下
scp -r jdk node2:$PWD      # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下

Zookeeper集群安装部署

简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

除了为Hadoop和HBase提供协调服务外，Zookeeper也被其它许多软件采用作为其分布式状态一致性的依赖，比如Kafka，又或者一些软件项目中，也经常能见到Zookeeper作为一致性协调服务存在。

Zookeeper不论是大数据领域亦或是其它服务器开发领域，涉及到分布式状态一致性的场景，总有它的身影存在。

安装

Zookeeper是一款分布式的集群化软件，可以在多台服务器上部署，并协同组成分布式集群一起工作。

  1. 首先，要确保已经完成了集群化环境前置准备环节的全部内容

  2. 【node1上操作】下载Zookeeper安装包，并解压

    # 下载
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz

# 确保如下目录存在，不存在就创建
mkdir -p /export/server

# 解压
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /export/server

  3. 【node1上操作】创建软链接

    ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

  4. 【node1上操作】修改配置文件

    vim /export/server/zookeeper/conf/zoo.cfg

tickTime=2000
# zookeeper数据存储目录
dataDir=/export/server/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

  5. 【node1上操作】配置myid

    # 1. 创建Zookeeper的数据目录
mkdir /export/server/zookeeper/data

# 2. 创建文件，并填入1
vim /export/server/zookeeper/data/myid
# 在文件内填入1即可

  6. 【在node2和node3上操作】，创建文件夹

    mkdir -p /export/server

  7. 【node1上操作】将Zookeeper 复制到node2和node3

    cd /export/server

scp -r apache-zookeeper-3.5.9 node2:`pwd`/
scp -r apache-zookeeper-3.5.9 node3:`pwd`/

  8. 【在node2上操作】

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为2

  9. 【在node3上操作】

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为3

  10. 【在node1、node2、node3上分别执行】启动Zookeeper

    # 启动命令
/export/server/zookeeper/bin/zkServer.sh start		# 启动Zookeeper

  11. 【在node1、node2、node3上分别执行】检查Zookeeper进程是否启动

    jps

# 结果中找到有：QuorumPeerMain 进程即可

  12. 【node1上操作】验证Zookeeper

    /export/server/zookeeper/zkCli.sh

# 进入到Zookeeper控制台中后，执行
ls /

# 如无报错即配置成功

至此Zookeeper安装完成

Kafka集群安装部署

简介

Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。

同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。

Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。

Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。

安装

  1. 确保已经跟随前面的视频，安装并部署了JDK和Zookeeper服务

    Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

  2. 【在node1操作】下载并上传Kafka的安装包

    # 下载安装包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

  3. 【在node1操作】解压

    mkdir -p /export/server			# 此文件夹如果不存在需先创建

# 解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

  4. 【在node1操作】修改Kafka目录内的config目录内的server.properties文件

    cd /export/server/kafka/config
# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  5. 【在node1操作】将node1的kafka复制到node2和node3

    cd /export/server

# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD

  6. 【在node2操作】

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  7. 【在node3操作】

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  8. 启动kafka

    # 请先确保Zookeeper已经启动了

# 方式1：【前台启动】分别在node1、2、3上执行如下语句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2：【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

  9. 验证Kafka启动

    # 在每一台服务器执行
jps

    image-20221025174522487

测试Kafka能否正常使用

  1. 创建测试主题
# 在node1执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
  1. 运行测试，请在FinalShell中打开2个node1的终端页面
# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1334101.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

小天使的小难题：新生儿疝气的关注与温馨呵护

小天使的小难题：新生儿疝气的关注与温馨呵护

引言： 新生儿疝气是一种在出生后可能出现的常见情况，虽然通常不会造成长期影响，但对于家长而言，了解如何正确应对新生儿疝气是至关重要的。本文将深入探讨新生儿疝气的原因、症状，以及家长在面对这一问题时应该采取的…
阅读更多...
(Matlab)基于CNN-LSTM的多维回归预测(卷积神经网络-长短期记忆网络)

(Matlab)基于CNN-LSTM的多维回归预测(卷积神经网络-长短期记忆网络)

目录 一、程序及算法内容介绍： 基本内容： 亮点与优势： 二、代码实际运行效果： 三、部分代码展示： 四、本文完整代码数据分享： 一、程序及算法内容介绍： 基本内容： 本代码基于…
阅读更多...
怎么录音频？掌握这些技巧是关键

怎么录音频？掌握这些技巧是关键

“有什么好用的录音频方法吗？参加了学校社团组织的歌手大赛，需要录制一段个人演唱的歌曲，用来参加初赛，可是我不会录制音频，眼看提交作品的时间快要截止了，想来求助一下大家。” 录制音频已经成为人们日常…
阅读更多...
Mendelson AS2 介绍下载和配置

Mendelson AS2 介绍下载和配置

最近与一家国外公司做EDI对接，并且EDI通讯工具是基于AS2协议的。目前开源的as2的开源项目有openas2,Mendelson AS2，和国人写的freeas2但是，现在freeas2已经被从开源中国不能下载了，变为收费的版本了。 如果你需要使用基于AS2协议…
阅读更多...
【LeetCode:1276. 不浪费原料的汉堡制作方案 | 数学】

【LeetCode:1276. 不浪费原料的汉堡制作方案 | 数学】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨ 🌲 作者简介：硕风和炜，…
阅读更多...
网络编程--网络基础

网络编程--网络基础

这里写目录标题 协议的概念什么是协议典型协议 分层模型OSI七层模型与TCP/TP四层模型 通信过程协议格式以太网帧协议（主要作用与mac地址，也就是网卡）mac地址格式ARP协议总结 IP协议（主要作用于IP）UDP与TCP协议&#xf…
阅读更多...
(Matlab)基于CNN-LSTM的多维时序回归预测(卷积神经网络-长短期记忆网络)

(Matlab)基于CNN-LSTM的多维时序回归预测(卷积神经网络-长短期记忆网络)

目录 一、程序及算法内容介绍： 基本内容： 亮点与优势： 二、代码实际运行结果展示： 三、部分代码展示： 四、本文完整代码数据下载： 一、程序及算法内容介绍： 基本内容： 本代码…
阅读更多...
ros2 基础学习11-参数的定义及示例

ros2 基础学习11-参数的定义及示例

话题、服务、动作，不知道这三种通信机制大家是否已经了解清楚，本节我们再来介绍一种ROS系统中常用的数据传输方式——参数。 类似C编程中的全局变量，可以便于在多个程序中共享某些数据，参数是ROS机器人系统中的全局字典&#xff…
阅读更多...
Unity 人物方向旋转详细讲解

Unity 人物方向旋转详细讲解

Unity 人物方向旋转详细讲解 人物的旋转有很多种一、在介绍之前我们需要理解Unity的向量也就是Vector3二、下面我们创建两个小球f1,f2左边的为f2 右边的为f1 三、我们将小球坐标用白色直线画出来，两个小球之间用黑色线画出来，两个小球的向量用黄线表示接…
阅读更多...
软信天成：选择和部署主数据管理（MDM）的十大关键要求（下）

软信天成：选择和部署主数据管理（MDM）的十大关键要求（下）

上期我们分享了软信天成：选择和部署主数据管理（MDM）的十大关键要求（上），这期将继续为大家分享余下五大关键要求。 上期关键内容回顾（前五大关键要求） 在单一MDM系统内为多个业务数据…
阅读更多...
哪个超声波清洗机好？适合洗眼镜超声波清洗机有哪些？

哪个超声波清洗机好？适合洗眼镜超声波清洗机有哪些？

随着科技的进步，超声波清洗机已经成为了家居清洁的必备神器。尤其是对于眼镜、珠宝、饰品等需要深度清洁的小物件，超声波清洗机更是不可或缺。眼镜店最经常看见超声波清洗机的身影，可以很好帮我们清洗眼镜同时有些比较好的超声波清洗机还会带…
阅读更多...
java实现广度优先搜索算法

java实现广度优先搜索算法

广度优先搜索算法（BFS）是一种用于图遍历的算法。它从图的某个节点开始，依次访问其所有邻接节点，再依次访问邻接节点的邻接节点，以此类推，直到遍历完所有节点。 BFS使用队列数据结构来实现遍历过程。具体步…
阅读更多...
Odoo16 实用功能之在Form视图的各个部位加入按钮

Odoo16 实用功能之在Form视图的各个部位加入按钮

目录 1、 如何在form视图中的头部加上按钮 2、如何在form视图中的身体加上按钮 3、如何在notebook标签中加入按钮 1、 如何在form视图中的头部加上按钮 以CRM中的渠道form视图为例子介绍&#xff08;实现红框中的效果&#xff09; 直接在<header>标签里加入按钮即可 …
阅读更多...
042、序列模型

042、序列模型

之——从时序中获取信息 目录 之——从时序中获取信息 杂谈 正文 1.建模 2.方案A-马尔科夫假设 3.方案B-潜变量模型 4.简单实现 杂谈 很多连续的数据都是有前后的时间相关性的&#xff0c;并不是每一个单独的数据是随机出现的。在时序中会蕴含一些空间结构的变化信息、…
阅读更多...
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 代码纯享版)

简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 代码纯享版)

简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 Pytorch 版 概述NLP 的不同任务Bert 概述MLM 任务 (Masked Language Modeling)TokenizeMLM 的工作原理为什么使用 MLM NSP 任务 (Next Sentence Prediction)NSP 任务的工作原理NSP 任务栗子NSP 任务的调整和局限性 安装和环…
阅读更多...
赛宁综合安全验证评估，筑牢关基网络安全屏障

赛宁综合安全验证评估，筑牢关基网络安全屏障

在国际复杂态势和数字经济发展的驱动下&#xff0c;关键信息基础设施&#xff08;以下简称&#xff1a;关基&#xff09;的安全运营逐步走向实战化、体系化和常态化。验证评估作为安全运营的试金石&#xff0c;已成为实现动态防御、主动防御的有力手段。如何通过体系化验证评估…
阅读更多...
Ps2022版DR5插件扩展窗口不展示及未正确签署等问题修复

Ps2022版DR5插件扩展窗口不展示及未正确签署等问题修复

前言 最近在安装DR5的时候遇到了一些报错问题&#xff0c;翻看了几篇文章找了一些实质性的方案&#xff0c;亲测有效&#xff0c;有同样问题的小伙伴自己对号入座哈。 窗口扩展不显示问题 问题 很多人第一次安装DR5时会发现这个【窗口-扩展】是灰色的&#xff0c;且没有DR5…
阅读更多...
VR全景对普通人的生活有哪些好处？

VR全景对普通人的生活有哪些好处？

许多普通人对VR全景还全然没有概念&#xff0c;这是因为VR全景虽然一直在快速发展&#xff0c;但目前为止也不过几年而已&#xff0c;但这发展的几年同样为我们普通人的生活带来了切实的改变和便利。VR全景技术为人们带来了沉浸感和真实感的体验&#xff0c;让我们感受到迥异于…
阅读更多...
由浅入深，一文掌握NGINX知识文集

由浅入深，一文掌握NGINX知识文集

&#x1f3c6;作者简介&#xff0c;普修罗双战士&#xff0c;一直追求不断学习和成长&#xff0c;在技术的道路上持续探索和实践。 &#x1f3c6;多年互联网行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &#x1f389;欢迎 &#x1f44d;点赞✍评论…
阅读更多...
17.仿简道云公式函数实战-数学函数-ABS

17.仿简道云公式函数实战-数学函数-ABS

1. ABS函数 ABS 函数可用于返回数字的绝对值 2. 函数用法 ABS(number) 3. 函数示例 如&#xff0c;ABS(-12)和ABS(12)的返回结果均为 12。 4. 代码实战 首先我们在function包下创建math包&#xff0c;在math包下创建AbsFunction类&#xff0c;代码如下&#xff1a; pac…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023