集群软件在linux上的安装

news2024/12/24 18:44:39

前置准备

为了保证各个服务器之间的正常通信，要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。

配置多个虚拟机

配置多台Linux虚拟机

安装集群化软件，首要条件就是要有多台Linux服务器可用。

我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。

  1. 首先，关机当前CentOS系统虚拟机（可以使用root用户执行init 0来快速关机）

  2. 新建文件夹

    image-20221025104157628

    文件夹起名为：虚拟机集群

  3. 克隆

    image-20221025104131303

    image-20221025104312091

    image-20221025104329109

    image-20221025104345484

    image-20221025104414576

    image-20221025104427160

    image-20221025104432927

    image-20221025104446044

  4. 同样的操作克隆出：node2和node3

    image-20221025104825204

  5. 开启node1，修改主机名为node1，并修改固定ip为：192.168.88.131

    # 修改主机名
hostnamectl set-hostname node1

# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"

# 重启网卡
systemctl stop network
systemctl start network
# 或者直接
systemctl restart network

  6. 同样的操作启动node2和node3,

    修改node2主机名为node2，设置ip为192.168.88.132

    修改node2主机名为node3，设置ip为192.168.88.133

  7. 配置FinalShell，配置连接到node1、node2、node3的连接

    为了简单起见，建议配置root用户登录

准备主机名映射

  1. 在Windows系统中修改hosts文件，填入如下内容：

    如果同学们使用MacOS系统，请：

    1. sudo su -，切换到root
    2. 修改/etc/hosts文件
    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

  2. 在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）

    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

配置SSH免密登录

简介

SSH服务是一种用于远程登录的安全认证协议。

我们通过FinalShell远程连接到Linux，就是使用的SSH服务。

SSH服务支持：

  1. 通过账户+密码的认证方式来做用户认证
  2. 通过账户+秘钥文件的方式做用户认证

SSH可以让我们通过SSH命令，远程的登陆到其它的主机上，比如：

在node1执行：ssh root@node2，将以root用户登录node2服务器，输入密码即可成功登陆

或者ssh node2，将以当前用户直接登陆到node2服务器。

SSH免密配置

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆

  1. 在每一台机器都执行：ssh-keygen -t rsa -b 4096，一路回车到底即可

  2. 在每一台机器都执行：

    ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

  3. 执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通

安装一下jdk

如果你是克隆复制好的，就不用安装，如果没有安装的，安装一下

关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

在每一台机器都执行

systemctl stop firewalld
systemctl disable firewalld

Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。

SELinux的配置同防火墙一样，非常复杂，课程中不多涉及，后续视情况可以出一章SELinux的配置课程。

在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可，

在每一台机器都执行

vim /etc/sysconfig/selinux

# 将第七行，SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统

添加快照

为了避免后续出现问题，在完成上述设置后，为每一台虚拟机都制作快照，留待使用。

补充命令 - scp

  • 后续的安装部署操作，我们将会频繁的在多台服务器之间相互传输数据。

  • 为了更加方面的互相传输，我们补充一个命令：scp

  • scp命令是cp命令的升级版，即：ssh cp，通过SSH协议完成文件的复制。

  • 其主要的功能就是：在不同的Linux服务器之间，通过SSH协议互相传输文件。

  • 只要知晓服务器的账户和密码（或密钥），即可通过SCP互传文件。

语法：

scp [-r] 参数1 参数2
- -r选项用于复制文件夹使用，如果复制文件夹，必须使用-r
- 参数1：本机路径 或 远程目标路径
- 参数2：远程目标路径 或 本机路径

如：
scp -r /export/server/jdk root@node2:/export/server/
将本机上的jdk文件夹， 以root的身份复制到node2的/export/server/内
同SSH登陆一样，账户名可以省略（使用本机当前的同名账户登陆）

如：
scp -r node2:/export/server/jdk /export/server/
将远程node2的jdk文件夹，复制到本机的/export/server/内


# scp命令的高级用法
cd /export/server
scp -r jdk node2:`pwd`/    # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下
scp -r jdk node2:$PWD      # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下

Zookeeper集群安装部署

简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

除了为Hadoop和HBase提供协调服务外，Zookeeper也被其它许多软件采用作为其分布式状态一致性的依赖，比如Kafka，又或者一些软件项目中，也经常能见到Zookeeper作为一致性协调服务存在。

Zookeeper不论是大数据领域亦或是其它服务器开发领域，涉及到分布式状态一致性的场景，总有它的身影存在。

安装

Zookeeper是一款分布式的集群化软件，可以在多台服务器上部署，并协同组成分布式集群一起工作。

  1. 首先，要确保已经完成了集群化环境前置准备环节的全部内容

  2. 【node1上操作】下载Zookeeper安装包，并解压

    # 下载
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz

# 确保如下目录存在，不存在就创建
mkdir -p /export/server

# 解压
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /export/server

  3. 【node1上操作】创建软链接

    ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

  4. 【node1上操作】修改配置文件

    vim /export/server/zookeeper/conf/zoo.cfg

tickTime=2000
# zookeeper数据存储目录
dataDir=/export/server/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

  5. 【node1上操作】配置myid

    # 1. 创建Zookeeper的数据目录
mkdir /export/server/zookeeper/data

# 2. 创建文件，并填入1
vim /export/server/zookeeper/data/myid
# 在文件内填入1即可

  6. 【在node2和node3上操作】，创建文件夹

    mkdir -p /export/server

  7. 【node1上操作】将Zookeeper 复制到node2和node3

    cd /export/server

scp -r apache-zookeeper-3.5.9 node2:`pwd`/
scp -r apache-zookeeper-3.5.9 node3:`pwd`/

  8. 【在node2上操作】

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为2

  9. 【在node3上操作】

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为3

  10. 【在node1、node2、node3上分别执行】启动Zookeeper

    # 启动命令
/export/server/zookeeper/bin/zkServer.sh start		# 启动Zookeeper

  11. 【在node1、node2、node3上分别执行】检查Zookeeper进程是否启动

    jps

# 结果中找到有：QuorumPeerMain 进程即可

  12. 【node1上操作】验证Zookeeper

    /export/server/zookeeper/bin/zkCli.sh

# 进入到Zookeeper控制台中后，执行
ls /

# 如无报错即配置成功

在这里插入图片描述

Kafka集群安装部署

简介

  • Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。

  • 同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。

  • Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。

  • Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。

安装

  1. 确保已经跟随前面的视频，安装并部署了JDK和Zookeeper服务

    Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

  2. 【在node1操作】下载并上传Kafka的安装包

    # 下载安装包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

  3. 【在node1操作】解压

    mkdir -p /export/server			# 此文件夹如果不存在需先创建

# 解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

  4. 【在node1操作】修改Kafka目录内的config目录内的server.properties文件

    cd /export/server/kafka/config
vim server.properties 

# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  5. 【在node1操作】将node1的kafka复制到node2和node3

    cd /export/server

# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD

  6. 【在node2操作】

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
vim server.properties 
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  7. 【在node3操作】

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
vim server.properties 
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  8. 启动kafka

    # 请先确保Zookeeper已经启动了

# 方式1：【前台启动】分别在node1、2、3上执行如下语句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2：【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

    在这里插入图片描述

    • 后台启动方式的日志输出在日志文件中，我们可以看一下

    • cd kafka
tail kafka-server.log

      在这里插入图片描述

  9. 验证Kafka启动

    # 在每一台服务器执行
jps

    image-20221025174522487

测试Kafka能否正常使用

  1. 创建测试主题
# 在node1执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
  1. 运行测试，请在FinalShell中打开2个node1的终端页面
# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2143771.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

web基础—dvwa靶场（四）​File Inclusion

web基础—dvwa靶场（四）​File Inclusion

File Inclusion(文件包含) 有些 web 应用程序允许用户指定直接文件流的输入，或允许用户将文件上载到服务器。稍后 web 应用程序访问 web 应用程序上下文中用户提供的输入。通过这样种操作，web 应用程序允许恶意文件执行。 如果选择要包含的文件是目标计…
阅读更多...
【系统方案】智慧园区数字园区整体解决全套方案（PPT，Word原件等）

【系统方案】智慧园区数字园区整体解决全套方案（PPT，Word原件等）

智慧园区建设要点可归纳为以下几点： 基础设施建设：构建高速、稳定的网络基础设施，部署物联网设备，实现园区内设备的互联互通，为智慧化应用提供基础支撑。 数据平台建设：建立统一的数据中心，整合…
阅读更多...
Linux中安装maven

Linux中安装maven

Linux中安装maven 1.下载2.安装3.配置环境变量4.maven相关配置 1.下载 下载地址：https://maven.apache.org/download.cgi 2.安装 指定位置上传压缩包： 解压： tar -zxvf apache-maven-3.9.5-bin.tar.gz修改解压缩后的文件名: mv apac…
阅读更多...
c++刷题

c++刷题

17.电话号码的组合 来源于题解思路&#xff1a; 继承 CC14 KiKi设计类继承 #include <iostream> #include <memory> using namespace std; class Shape{ private:int x;int y; };class Rectangle:public Shape { public:Rectangle(int length,int width):Shape…
阅读更多...
从AI应用排行榜选择AI产品（9月）

从AI应用排行榜选择AI产品（9月）

2024年9月13日&#xff0c;OpenAI公司宣布推出其全新的AI模型&#xff1a;o1&#xff0c;在数学、编程和科学问题的解决处理能力上取得了显著进步。该模型通过自我对弈强化学习&#xff08;Self-play RL&#xff09;和思维链&#xff08;Chain of Thought, CoT&#xff09;技术…
阅读更多...
[C语言]连子棋游戏

[C语言]连子棋游戏

文章目录 一、前言二、游戏思路三、游戏方法1、初始化2、判断胜利3、交互4、电脑下棋 四、核心方法说明1、初始化游戏2、销毁棋盘3、显示游戏4、电脑下棋5、用户下棋6、判断游戏状态7、游戏交互 五、游戏效果展示与源码分享1、游戏效果2、源代码 一、前言 对于指针和数组理解尚…
阅读更多...
Qt：智能指针QScopedPointer 的使用(以及如何写一个QScopedPointer )

Qt：智能指针QScopedPointer 的使用(以及如何写一个QScopedPointer )

前言 本文讲述QScopedPointer 的使用&#xff0c;以及自己如何写一个QScopedPointer . 正文 QScopedPointer 的常用方法 以下是 QScopedPointer 的一些常用方法及其详细说明&#xff1a; 构造函数&#xff1a; QScopedPointer<T> ptr(new T);用于创建一个 QScopedPoi…
阅读更多...
【C/C++】涉及string类的经典OJ编程题

【C/C++】涉及string类的经典OJ编程题

【C/C】涉及string类的经典OJ编程题 一. 把字符串转化成整数&#xff08;atoi&#xff09;解法一&#xff1a;&#xff08;不用long&#xff09;完整代码&#xff1a;解法二&#xff1a;&#xff08;用long&#xff09; 二.字符串相加代码实现&#xff08;含注释&#xff09;&a…
阅读更多...
【RabbitMQ】RabbitMQ 概述

【RabbitMQ】RabbitMQ 概述

RabbitMQ 概述 前⾔什么是MQMQ的作⽤为什么选择RabbitMQ1. Kafka2. RocketMQ3. RabbitMQ 前⾔ Rabbit 也是⼀个公司名. MQ ( message queue ) 消息队列 的意思 , RabbitMQ 是 Rabbit 企业下的⼀个消息队列产品. RabbitMQ 是⼀个实现了 AMQP 的 消息队列 服务,是当前主流的消息…
阅读更多...
IBM中国研发部裁员：全球化背景下的中国IT产业挑战与机遇

IBM中国研发部裁员：全球化背景下的中国IT产业挑战与机遇

文章目录 每日一句正能量前言整体分析人才发展裁员对中国IT人才市场的影响&#xff1a;IT从业者提升竞争力的策略&#xff1a; 产业未来后记 每日一句正能量 一切美好的事物都是曲折地接近自己的目标&#xff0c;一切笔直都是骗人的&#xff0c;所有真理都是弯曲的&#xff0c;…
阅读更多...
如何写出军工级的代码？

如何写出军工级的代码？

编写军工级代码意味着要达到极高的可靠性、安全性、可维护性和效率&#xff0c;这通常涉及到严格的标准和流程。以下是一些关键点&#xff0c;帮助你编写军工级的代码&#xff1a; 1. 遵循严格的开发流程 军工项目通常需要遵循特定的软件开发标准&#xff0c;例如&#xff1a;…
阅读更多...
iptables限制网速

iptables限制网速

1、使用hashlimit来限速 #从eth0网卡进入INPUT链数据&#xff0c;使用模块hashlimit 限制网速为100kb/s或2mb/s,超过限制的数据包会被DROP。OUTPUT链同理&#xff0c;mode为srcip&#xff0c;有4个mode选项: srcip&#xff08;默认匹配每个源地址IP&#xff0c;配置指定源地址…
阅读更多...
VisionPro - 基础 - 00 模板匹配技术和在VP中的使用 - PMAlign - PatMax - （1）

VisionPro - 基础 - 00 模板匹配技术和在VP中的使用 - PMAlign - PatMax - （1）

前言 模板匹配是机器视觉领域&#xff0c;尤其是工业视觉领域内&#xff0c;自动化经常要使用的一个视觉算法应用模式。在VP里面&#xff0c;有几种简单的模版匹配的算子&#xff0c;这里大致介绍一下VP的PatMax。 在视觉应用领域&#xff0c;搜索匹配的特征是经常要用到的方…
阅读更多...
面试突击-多线程和IO专题(至尊典藏版)

面试突击-多线程和IO专题(至尊典藏版)

多线程和IO专题 一、多线程专题 1.介绍下进程和线程的关系 进程：一个独立的正在执行的程序 线程：一个进程的最基本的执行单位，执行路径 多进程：在操作系统中，同时运行多个程序 多进程的好处：可以充分利用CPU，提高CPU的使用率 多线程：在同一个进程(应用程序)中同时…
阅读更多...
【微服务】Eureka的自我保护机制

【微服务】Eureka的自我保护机制

Eureka的自我保护模式正是一种针对网络异常波动的安全保护措施&#xff0c;使用自我保护模式能使Eureka集群更加的健壮&#xff0c;稳定的运行。 在正常情况下&#xff0c;Eureka客户端会定期向Eureka服务器发送心跳&#xff0c;以表明它仍然存活和可用。如果Eureka服务器在配…
阅读更多...
你认为嵌入式软件开发的尽头是什么？

你认为嵌入式软件开发的尽头是什么？

嵌入式软件开发的“尽头”是一个富有哲理且多维度的概念&#xff0c;因为它不仅关乎技术发展的极限&#xff0c;还涉及到行业应用、市场需求、技术融合与创新等多个方面。从几个不同的视角来看&#xff1a; 技术极限&#xff1a;从纯技术的角度来看&#xff0c;嵌入式软件开发…
阅读更多...
C++ List （带你一篇文章搞定C++中的List类）

C++ List （带你一篇文章搞定C++中的List类）

感谢大佬的光临各位&#xff0c;希望和大家一起进步&#xff0c;望得到你的三连&#xff0c;互三支持&#xff0c;一起进步 数据结构习题_LaNzikinh篮子的博客-CSDN博客 初阶数据结构_LaNzikinh篮子的博客-CSDN博客 收入专栏&#xff1a;C_LaNzikinh篮子的博客-CSDN博客 其他专…
阅读更多...
0基础带你入门Linux之使用

0基础带你入门Linux之使用

1.Ubuntu软件管理 回顾一下&#xff0c;我们之前使用su root切换到root模式&#xff0c;使用who 发现为什么显示的还是bd用户呢&#xff1f;为什么呢&#xff1f; 这个who是主要来查看的是我们登录的时候是以什么用户登录的 所以即使我们使用who进行查看的时候显示的还是bd用…
阅读更多...
如何扫描试卷去除笔迹？4种方法还原整洁试卷

如何扫描试卷去除笔迹？4种方法还原整洁试卷

如何扫描试卷去除笔迹&#xff1f;扫描试卷去除笔迹&#xff0c;作为现代学习管理与评估的革新手段&#xff0c;不仅显著提升了试卷的整洁美观度&#xff0c;更在环保和资源再利用层面发挥了积极作用。它使得试卷的保存、分享与复习变得更加便捷高效&#xff0c;减少了纸质资源…
阅读更多...
2024年9月12日美国Embarcadero公司正式发布RAD Studio Delphi/C++ Builder 12.2 雅典

2024年9月12日美国Embarcadero公司正式发布RAD Studio Delphi/C++ Builder 12.2 雅典

Embarcadero 非常高兴地宣布&#xff0c;从今天开始&#xff0c;RAD Studio 12.2 Athens 以及 Delphi 12.2 和 CBuilder 12.2 可供客户使用。RAD Studio 12.2 Athens 版本提供了我们在 IDE 中的第一次生成式 AI 集成、用于 Web 开发的新模板库、基于 C Win64 Clang 的新编译器和…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023