大数据平台搭建2024（一）

news2024/11/24 7:32:52

一：基础配置

创建虚拟机并查出ip地址进行连接

ip a

请添加图片描述

在这里插入图片描述

1.配置node01静态ip地址与主机名

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改或添加如下内容：

BOOTPROTO="static"
ONBOOT=yes
#根据虚拟机网卡信息配置
IPADDR=192.168.200.141
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=114.114.114.114

保存退出
请添加图片描述

vi /etc/hostname

修改成node01
在这里插入图片描述

2.配置域名解析

vi /etc/hosts

192.168.200.141 node01
192.168.200.142 node02
192.168.200.143 node03

在这里插入图片描述

3.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

4.重启虚拟机查看主机名是否修改成功

reboot

通过设置的ip进行远程登录
在这里插入图片描述

5.卸载自带的JDK（可能最小化安装，没有默认配置java环境）

1)先查看自带的jdk版本

rpm -qa|grep jdk

请添加图片描述

  1. 卸载自带的jdk
yum -y remove java-1.*

3)再使用rpm -qa|grep jdk检查是否卸载完成

6.安装JDK

上传对应的JDK到虚拟机系统
在这里插入图片描述

cd切换到压缩包的路径的文件夹

mkdir /usr/java
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/java

配置java的环境变量

vi /etc/profile

在文件末尾添加

export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

保存退出
在这里插入图片描述

使配置立即生效

source /etc/profile

检查是否Java配置成功

java -version

在这里插入图片描述

7.安装hadoop

上传hadoop,并创建hadoop的安装目录
在这里插入图片描述

mkdir /hadoop

解压hadoop

tar -zxvf hadoop-2.7.7.tar.gz -C /hadoop/

修改hadoop的环境变量

vi /etc/profile

修改内容如下(直接末尾修改):

export JAVA_HOME=/usr/java/jdk1.8.0_161 
export HADOOP_HOME=/hadoop/hadoop-2.7.7 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出
在这里插入图片描述

使用 source /etc/profile 生效配置

8.安装zookerper

上传zookerper安装包
在这里插入图片描述

tar -zxvf zookeeper-3.4.13.tar.gz -C /hadoop/

配置zoo.cfg

cd cd /hadoop/zookeeper-3.4.13/conf/
cp zoo_sample.cfg zoo.cfg

修改zoo.cfg文件

vi zoo.cfg

在这里插入图片描述

修改以下内容：

dataDir=/hadoop/zookeeper-3.4.13/tmp
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

保存退出
在这里插入图片描述

9.修改hadoop配置文件

修改/hadoop/hadoop-2.7.7/etc/hadoop里的配置文件
在这里插入图片描述
如果之前的配置和我一样的话，就直接拉进去覆盖
这里就可以打个快照1
在这里插入图片描述

10.克隆出其他节点

适当调整内存（我内存小）
在这里插入图片描述

修改node02，03的ip地址与主机名
1改2，3
能远程连接上就行
在这里插入图片描述

11.配置Zookeeper的id

在zookeeper里创建tmp文件夹，01、02、03都要创建

mkdir /hadoop/zookeeper-3.4.13/tmp

在node01的/hadoop/zookeeper-3.4.13/tmp/myid写入数字1

echo 1 >/hadoop/zookeeper-3.4.13/tmp/myid

02、03节点各自分别执行

echo 2 >/hadoop/zookeeper-3.4.13/tmp/myid
echo 3 >/hadoop/zookeeper-3.4.13/tmp/myid

在这里插入图片描述

12.配置主机间免密登录（所以节点）

在所以节点执行 (名称、密码不用输入，直接回车到结束)

ssh-keygen -t rsa

在这里插入图片描述

复制公钥到其他节点（包括自己）

ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

3个节点重复此操作
在这里插入图片描述

测试连接(3个节点重复此操作)

ping -c 4 node01
ping -c 4 node02
ping -c 4 node03

在这里插入图片描述

13.第一次启动Hadoop

1)启动3台节点的zookeeper，在3台节点分别执行

/hadoop/zookeeper-3.4.13/bin/zkServer.sh start

在这里插入图片描述

查看状态 /hadoop/zookeeper-3.4.13/bin/zkServer.sh status
停止运行/hadoop/zookeeper-3.4.13/bin/zkServer.sh stop
配置成功，Mode会有1个leader，2个follower（3台的zk启动后再查看状态）

2）启动journalnode，在3台节点分别执行

/hadoop/hadoop-2.7.7/sbin/hadoop-daemon.sh start journalnode

在这里插入图片描述

使用jps命令，检查是否有journalnode的进程
在这里插入图片描述

3）格式化HDFS，在01节点上执行

hdfs namenode -format

会根据配置的hadoop的tmp文件夹生成文件，3个节点的tmp的数据是一致的
将生成的tmp文件夹复制到02、03上的相同位置
可以使用ftp工具，或者远程复制

scp -r /hadoop/hadoop-2.7.7/tmp/ root@node02:/hadoop/hadoop-2.7.7
scp -r /hadoop/hadoop-2.7.7/tmp/ root@node03:/hadoop/hadoop-2.7.7

在这里插入图片描述

4）格式化ZK，在01上执行

hdfs zkfc -formatZK

5)启动hdfs和yarn

cd /hadoop/hadoop-2.7.7

启动hdfs

sbin/start-dfs.sh

启动资源管理器


sbin/start-yarn.sh

在这里插入图片描述

浏览器上访问
192.168.200.141:50070
192.168.200.142:50070
192.168.200.141:8088
在这里插入图片描述

6）关闭服务

cd /hadoop/hadoop-2.7.7

关闭hdfs

sbin/stop-dfs.sh

关闭资源管理器

sbin/stop-yarn.sh

停止运行zookeeper，3台节点都执行

/hadoop/zookeeper-3.4.13/bin/zkServer.sh stop

14.成功后再次启动Hdaoop

1)启动3台节点的zookeeper，在3台节点分别执行

/hadoop/zookeeper-3.4.13/bin/zkServer.sh start

2)在node01上，启动hdfs和yarn

/hadoop/hadoop-2.7.7/sbin/start-dfs.sh
/hadoop/hadoop-2.7.7/sbin/start-yarn.sh

15.编写启动脚本

1）修改zookeeper的配置，将java环境直接配置给zk（3个节点都修改）
修改zookeeper的bin/zkEnv.sh文件，添加上java程序的路径，如下：
具体的实现

vi /hadoop/zookeeper-3.4.13/bin/zkEnv.sh

修改内容如下：

if [ "$JAVA_HOME" != "" ]; then
JAVA="$JAVA_HOME/bin/java"
else
JAVA=/usr/java/jdk1.8.0_161/bin/java
fi

保存退出
在这里插入图片描述

在/root下创建文件start-all.sh，启动3台的zk级hadoop服务(仅在node01上创建脚本)

vi start-all.sh

修改内容如下：

#!/bin/bash
echo "====== 启动node01的zookeeper ======"
ssh node01 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh start"
echo "====== 启动node02的zookeeper ======"
ssh node02 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh start"
echo "====== 启动node03的zookeeper ======"
ssh node03 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh start"
echo "====== 启动HDFS ======"
/hadoop/hadoop-2.7.7/sbin/start-dfs.sh
echo "====== 启动资源管理器YARN ======"
/hadoop/hadoop-2.7.7/sbin/start-yarn.sh

在/root下创建文件transNodeState.sh，设置01为主节点，02为备选主节点

vi transNodeState.sh

修改内容如下：

#!/bin/bash
hdfs haadmin -transitionToStandby --forcemanual nn2
hdfs haadmin -transitionToActive --forcemanual nn1

实现停止集群服务的脚本（先启动的后关，后启动的先关）

vi stop-all.sh

修改内容如下：

#!/bin/bash
echo "====== 关闭资源管理器YARN ======"
/hadoop/hadoop-2.7.7/sbin/stop-yarn.sh
echo "====== 关闭HDFS ======"
/hadoop/hadoop-2.7.7/sbin/stop-dfs.sh
echo "====== 关闭node03的zookeeper ======"
ssh node03 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh stop"
echo "====== 关闭node02的zookeeper ======"
ssh node02 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh stop"
echo "====== 关闭node01的zookeeper ======"
ssh node01 "/hadoop/zookeeper-3.4.13/bin/zkServer.sh stop"

在这里插入图片描述

16.测试脚本是否可用

1)检查启动脚本是否可用（可以多启几次）

sh start-all.sh

在这里插入图片描述
浏览器访问
在这里插入图片描述
2）可以看到node01为备用节点，手动调整node01为主节点

sh transNodeState.sh

在这里插入图片描述
再次浏览器查看
在这里插入图片描述

3）关闭所有服务

sh stop-all.sh

在这里插入图片描述
把所有的脚本都移动到/root下
在这里插入图片描述

17.打快照2

请添加图片描述

内容：hadoop基础环境配置成功（3个节点都打快照）
据说关机，再打快照，更省空间
请添加图片描述
感谢大家的支持，关注，评论，点赞！
再见！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1600841.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SQL-Post注入

SQL-Post注入

Post注入 在登录过程中，输入用户名和密码，用户名和密码以表单的形式提交， 提交到服务器后服务器再进行验证。这就是一次post的过程的。 在输入正确的用户名和密码后显示 尝试会不会回显报错信息，输入admin--,回显报错了。 尝试…
阅读更多...
一个文生视频MoneyPrinterTurbo项目解析

一个文生视频MoneyPrinterTurbo项目解析

最近抖音剪映发布了图文生成视频功能，同时百家号也有这个功能，这个可以看做是一个开源的实现，一起看看它的原理吧~ 一句话提示词 大模型生成文案 百家号生成视频效果 MoneyPrinterTurbo生成视频效果 天空为什么是蓝色的？ 天空之所以呈现蓝色，是因为大气中的分子和小粒子会…
阅读更多...
Cisco ACI使用Postman配置交换机-未完待续

Cisco ACI使用Postman配置交换机-未完待续

先看下不使用脚本的情况下是怎么配置交换机端口的？ 例： 有10个交换机接口要开trunk，透传50个vlan， 使用GUI的操作方式为 1 进入EPG -->Static port 2 右键，绑定接口 3 选中node -->指定接口—>指定vlan —>…
阅读更多...
Python赋能AI数据分析开启人工智能新时代

Python赋能AI数据分析开启人工智能新时代

文章目录 一、Python是办公自动化的重要工具二、Python是提升职场竞争力的利器三、Python是企业数字化的重要平台四、Python是AI发展的重要通道之一《编程菜鸟学Python数据分析》编辑推荐内容简介作者简介目录前言为什么要写这本书读者对象如何阅读本书 随着我国企业数字化和信…
阅读更多...
每日一题(PTAL2-006)：树的遍历--树的构建，队列

每日一题(PTAL2-006)：树的遍历--树的构建，队列

因为要层序遍历&#xff0c;所以我们可以考虑构建一颗二叉树。构建完只有利用队列就可以就行层序遍历。 #include <bits/stdc.h> using namespace std; int p1[35]; int p2[35]; typedef struct Tree {int val;struct Tree* left;struct Tree* right; }TT; typedef TT* …
阅读更多...
基于逐笔数据合成高频订单簿：DolphinDB 订单簿引擎

基于逐笔数据合成高频订单簿：DolphinDB 订单簿引擎

订单簿是交易市场上买卖双方正在报价的不同价格的列表。订单簿快照反应了特定时刻市场上的交易意图&#xff0c;比如交易活跃的证券标的往往有着密集的订单簿。订单簿快照对量化金融的交易策略、风险管理和市场分析等方面都具有重要意义。 通常交易所可以提供实时和历史的行情…
阅读更多...
【ROS2笔记六】ROS2中自定义接口

【ROS2笔记六】ROS2中自定义接口

6.ROS2中自定义接口 文章目录 6.ROS2中自定义接口6.1接口常用的CLI6.2标准的接口形式6.3接口的数据类型6.4自定义接口Reference 在ROS2中接口interface是一种定义消息、服务或动作的规范&#xff0c;用于描述数据结构、字段和数据类型。ROS2中的接口可以分为以下的几种消息类型…
阅读更多...
鸿蒙南向开发：【编译和烧录】指导

鸿蒙南向开发：【编译和烧录】指导

编译 #进入源码目录 #rm -rf ohos_config.json #hb set #. #如下图所示,按↑↓键&#xff0c;选择需要编译的工程名&#xff0c;然后回车 #hb build -f #然后回车&#xff0c;等待屏幕出现&#xff1a;BUILD SUCCESS字样&#xff0c;说明编译成功。如下图 #编译生成的固件在…
阅读更多...
WPS的JS宏如何实现全文件路径字符串中截取文件名（excel）

WPS的JS宏如何实现全文件路径字符串中截取文件名（excel）

从全文件路径的字符串中&#xff0c;截取文件名称&#xff0c;例如&#xff1a; 全文件路径字符串为&#xff1a;C:\Windows\System32\drivers\acpi1.sys 需要截取文件名&#xff1a;acpi1.sys 方法如下&#xff1a; 1、简单的方式&#xff1a;把全文件路径字符串拷贝&…
阅读更多...
优斯特：防静电包装解决方案的巧妙运用

优斯特：防静电包装解决方案的巧妙运用

在现代电子产品生产与运输领域&#xff0c;防静电包装已成为保障产品安全的必备环节。优斯特凭借其创新的防静电包装解决方案&#xff0c;为客户提供了一种巧妙的方式来确保产品在存储和运输过程中不受静电影响&#xff0c;并且不会被刮花或损坏。 静电对产品的影响 静电对电子…
阅读更多...
淘系电商课程，0基础实战教学，实操性系统性实时性

淘系电商课程，0基础实战教学，实操性系统性实时性

课程下载&#xff1a;https://download.csdn.net/download/m0_66047725/89064789 更多资源下载&#xff1a;关注我。 课程内容&#xff1a; 00.前言一做好电商的基本认知 .mp4 01.电商卖货的底层逻辑和权重解析,mp4 02.做好产品的前期准备工作.mp4 03.店铺如何布局产品,m…
阅读更多...
开源全方位运维监控工具：HertzBeat

开源全方位运维监控工具：HertzBeat

HertzBeat&#xff1a;实时监控系统性能&#xff0c;精准预警保障业务稳定- 精选真开源&#xff0c;释放新价值。 概览 HertzBeat是一款深受广大开发者喜爱的开源实时监控解决方案。它以其简洁直观的设计理念和免安装Agent的特性&#xff0c;实现了对各类服务器、数据库及应用…
阅读更多...
毕设论文的分类号与UDC查询

毕设论文的分类号与UDC查询

对于毕业论文分类号与UDC&#xff0c;可以根据个人研究领域查询。 中图分类号查询链接&#xff1a; 中图分类号查询 | 中国图书馆分类法 | 中图法 | 中图分类号 (clcindex.com)https://www.clcindex.com/category/ UDC查询链接: UDC Summaryhttps://udcsummary.info/php/ind…
阅读更多...
8thWall vs. AR.js

8thWall vs. AR.js

对于熟悉 JavaScript、WebGL 和 HTML5 等 Web 技术的数字创作者来说&#xff0c;8th Wall 提供了功能丰富且强大的 AR 开发平台&#xff0c;尽管价格较高。 然而&#xff0c;新手开发人员和专注于基于标记的 AR 的开发人员可能会发现 AR.js 更易于使用且更经济实惠。 1、8th Wa…
阅读更多...
【央国企专场】——军工研究所

【央国企专场】——军工研究所

研究所目录 一、企业概述1.1 中国航天1.2 中国电科1.3 中国船舶1.4 中国兵器 二、招聘信息2.1 中国航天2.2 中国电科2.3 中国船舶2.4 中国兵器 一、企业概述 在校招中会有很多企业来学校开宣讲会&#xff0c;其中就有许多广为人知的军工研究所&#xff0c;比如&#xff1a;中国…
阅读更多...
外面收费的彩虹自助下单系统模板

外面收费的彩虹自助下单系统模板

搭建教程 下载之后上传到template文件夹里面 注意带上里面的文件夹 然后去后台替换就行 源码免费下载地址抄笔记 (chaobiji.cn)
阅读更多...
Kafka、RabbitMQ、Pulsar、RocketMQ基本原理和选型

Kafka、RabbitMQ、Pulsar、RocketMQ基本原理和选型

Kafka、RabbitMQ、Pulsar、RocketMQ基本原理和选型 1. 消息队列1.1 消息队列使用场景1.2. 消息队列模式1.2.1 点对点模式&#xff0c;不可重复消费1.2.2 发布/订阅模式 2. 选型参考2.1. Kafka2.1.1 基本术语2.1.2. 系统框架2.1.3. Consumer Group2.1.4. 存储结构2.1.5. Rebalan…
阅读更多...
目标检测算法——YOLOV9——算法详解

目标检测算法——YOLOV9——算法详解

一、主要贡献 深度网络输入数据在逐层进行特征提取和空间变换时&#xff0c;会丢失大量的信息。针对 信息丢失问题&#xff0c;研究问题如下&#xff1a; 1&#xff09;从可逆功能的角度对现有深度神经网络架构进行了理论分析&#xff0c;解释了许多过去难以解释的现象&#xf…
阅读更多...
AppleScript初体验，让你的mac实现自动化UI操作

AppleScript初体验，让你的mac实现自动化UI操作

AppleScript 简介 AppleScript是苹果公司开发的一种脚本语言&#xff0c;用于操作MacOS及其应用程序&#xff0c;在实现MacOS自动化工作方面非常给力。 我们可以使用AppleScript用来完成一些重复琐碎的工作&#xff0c;AppleScript具有简单自然的语法&#xff0c;另外系统也提…
阅读更多...
【Java】@RequestMapping注解在类上使用

【Java】@RequestMapping注解在类上使用

RequestMapping 是 Spring Web 应用程序中最常被用到的注解之一。这个注解会将 HTTP 请求映射到控制器&#xff08;controller类&#xff09;的处理方法上。 Request Mapping 基础用法 在 Spring MVC 应用程序中&#xff0c;RequestDispatcher (在 Front Controller 之下) 这…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023