大数据技术学习笔记（二）—— Hadoop运行环境的搭建

news2024/11/17 16:38:49

目录

  • 1 模版虚拟机准备
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功
      • 启动HDFS
      • 启动Yarn

笔者使用镜像为：CentOS-7.5-x86_64-DVD-1804.iso

1 模版虚拟机准备


以 CentOS-7.5-x86-1804为例，安装成功后：

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

1.2 修改hosts文件


  1. 修改linux的主机映射文件（hosts文件）

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件（hosts文件）

进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后，按键盘esc ，然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙，并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc，键入:set nu显示行号，找到91行，在 root 下面添加一行

在这里插入图片描述

esc，对该只读文件保存强制退出:wq!

1.6 创建所需目录


在 /opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103

然后修改克隆机IP，以下以 hadoop101 举例说明。

修改IP地址，只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启！

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果，则代表 Java 安装成功！

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
  • etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  • lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  • sbin目录：存放启动或停止Hadoop相关服务的脚本
  • share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果，则代表 Hadoop 安装成功！

在这里插入图片描述

启动HDFS

（1）集群单点启动

在hadoop101上启动NameNode、DataNode

[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop101 hadoop-2.7.2]$ jps
3426 Jps
3222 NameNode
3339 DataNode

在hadoop102上启动DataNode

[huwei@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop102 hadoop-2.7.2]$ jps
3233 DataNode
3319 Jps

在hadoop103上启动DataNode

[huwei@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop103 hadoop-2.7.2]$ jps
3344 Jps
3259 DataNode

（2）群起集群

在hadoop101上启动集群

[huwei@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh
[huwei@hadoop101 hadoop-2.7.2]$ jps
3473 DataNode
3720 Jps
3324 NameNode

在hadoop102查看

[huwei@hadoop102 hadoop-2.7.2]$ jps
3380 Jps
3215 DataNode

在hadoop103查看

[huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3464 Jps

web端查看HDFS文件系统

http://hadoop101:50070/dfshealth.html#tab-overview

在这里插入图片描述

启动Yarn

（1）集群单点启动

（2）群起集群

NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

在hadoop102上启动Yarn

[huwei@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh 
[huwei@hadoop102 hadoop-2.7.2]$ jps
3608 NodeManager
3481 ResourceManager
3935 Jps
3215 DataNode

在hadoop101上查看

[huwei@hadoop101 hadoop-2.7.2]$ jps
3824 NodeManager
3473 DataNode
3324 NameNode
3982 Jps

在hadoop103上查看

huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3751 Jps
3579 NodeManage

YARN的浏览器页面查看

http://hadoop102:8088/cluster

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1118634.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

最详细STM32,cubeMX外部中断

最详细STM32,cubeMX外部中断

这篇文章将详细介绍 cubeMX外部中断的配置，实现过程。 文章目录 前言一、外部中断的基础知识。二、cubeMX 配置外部中断三、自动生成的代码解析四、代码实现。总结 前言 实验开发板：STM32F103C8T6。所需软件：keil5 ， cubeMX 。实…
阅读更多...
16 Transformer 的编码器（Encodes）——我在做更优秀的词向量

16 Transformer 的编码器（Encodes）——我在做更优秀的词向量

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html Transformer 框架 seq…
阅读更多...
解决osg绘制场景时因Z冲突导致重影或闪烁等不正常情况

解决osg绘制场景时因Z冲突导致重影或闪烁等不正常情况

目录 1. 问题的提出 2. Z冲突（z-fighting）简介 2.1. Z冲突（z-fighting）产生的原因 2.2. 如何消除Z冲突（z-fighting） 3. 代码实现 1. 问题的提出 今天绘制了一个棋盘格，鼠标在棋盘格上单击…
阅读更多...
基于springboot实现学生综合测评系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现学生综合测评系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现学生综合测评系统演示 摘要 随着信息化时代的到来，管理系统都趋向于智能化、系统化，学生综合测评系统也不例外，但目前国内仍都使用人工管理，学校规模越来越大，同时信息量也越来越庞大，人…
阅读更多...
基于Android系统PJSIP库植入g729编码

基于Android系统PJSIP库植入g729编码

基于Android系统PJSIP库植入g729编码 前言操作步骤1.从仓库下载最新的 PJSIP。3.将你的PJSIP项目中的所有文件作为给定补丁中的目录。4.按照 pjproject-2.5.diff 的说明应用更改。5.构建。 前言 有时候由于工作的需求，我们需要基于Android系统的PJSIP库支持G.729编…
阅读更多...
微信小程序三种授权登录以及授权登录流程讲解

微信小程序三种授权登录以及授权登录流程讲解

🎉🎉欢迎来到我的CSDN主页！🎉🎉 🏅我是Java方文山，一个在CSDN分享笔记的博主。📚📚 🌟推荐给大家我的专栏《微信小程序开发实战》。🎯&#x1f3a…
阅读更多...
链表专题回顾

链表专题回顾

移除链表元素 给你一个链表的头节点 head 和一个整数 val ，请你删除链表中所有满足 Node.val val 的节点，并返回 新的头节点 。 /*** Definition for singly-linked list.//注意基本的链表定义方法* public class ListNode {* int val;* List…
阅读更多...
【C++】stackqueue

【C++】stackqueue

适配器是一种设计模式 ， 该种模式是将一个类的接口转换成客户希望的另外一个接口 。 虽然 stack 和 queue 中也可以存放元素，但在 STL 中并没有将其划分在容器的行列，而是将其称为 容器适配 器 ，这是因为 stack 和队列只是对其他容…
阅读更多...
系统架构之微服务架构

系统架构之微服务架构

微服务架构 一.传统的单体架构与微服务架构的区别1.1 单体架构1.1.1 优点1.1.2 缺点 1.2 微服务架构1.2.1 优点1.2.2 面临的问题与挑战 二. 微服务架构模式方案2.1 聚合器微服务2.2 链式微服务2.3 数据共享微服务2.4 异步消息传递微服务 三. SOA与微服务的区别 微服务&#xff…
阅读更多...
【数据分享】2022年我国30米分辨率的山体阴影数据（免费获取）

【数据分享】2022年我国30米分辨率的山体阴影数据（免费获取）

地形数据，也叫DEM数据，是我们在各项研究中最常使用的数据之一。之前我们分享过2022年哥白尼30米分辨率的DEM数据，该数据被公认为是全球最佳的开源DEM数据之一，甚至没有之一！基于该数据我们处理得到2022年30米分辨率的坡…
阅读更多...
flask入门（四）前后端数据传输

flask入门（四）前后端数据传输

文章目录 1、flask后端接收来自前端的数据1）如果前端提交的方法为POST2）如果前段提交的方法是GET 2、flask后端向前端传数据3、案例参考文献 1、flask后端接收来自前端的数据 1）如果前端提交的方法为POST 后端接收时的代码： xx…
阅读更多...
移动端游戏软件开发：从创意到发布的全过程

移动端游戏软件开发：从创意到发布的全过程

移动游戏开发是一个充满激情和创造力的领域，它为数十亿的移动设备用户提供了娱乐和乐趣。本文将介绍从游戏概念到发布的整个移动端游戏软件开发过程。 1. 游戏概念和设计： 在任何游戏开发项目的起点，都是一个创新的游戏概念。这是决定游戏类…
阅读更多...
【力扣刷题】数组实现栈、后缀表达式（逆波兰表达式）求值、中缀表达式转换为后缀表达式（无括号有括号）

【力扣刷题】数组实现栈、后缀表达式（逆波兰表达式）求值、中缀表达式转换为后缀表达式（无括号有括号）

🐌个人主页： 🐌 叶落闲庭 💨我的专栏：💨 c语言 数据结构 javaEE 操作系统 Redis 石可破也，而不可夺坚；丹可磨也，而不可夺赤。 刷题篇 一、数组实现栈1.1 题目描述1.2 思路…
阅读更多...
[补题记录] Atcoder Beginner Contest 293（E）

[补题记录] Atcoder Beginner Contest 293（E）

URL：https://atcoder.jp/contests/abc293 目录 E Problem/题意 Thought/思路 Code/代码 E Problem/题意 给出 A、X、M，求 。 Thought/思路 一开始想等比数列求和，但是 m 不保证是质数，所以不能用。 假设 dp[x] 表示&…
阅读更多...
SpringMVC（第一个项目HelloWorld））

SpringMVC（第一个项目HelloWorld））

文章目录 1.在maven引入依赖2.配置web.xml3.创建请求控制器4.创建springMVC的配置文件5.测试HelloWorld总结 1.在maven引入依赖 <dependencies><!-- SpringMVC --><dependency><groupId>org.springframework</groupId><artifactId>spring…
阅读更多...
linux minicom 调试串口

linux minicom 调试串口

1、使用方法 1. 打开终端 2. 输入命令&#xff1a;minicom -D /dev/ttyS0 3. 按下回车键&#xff0c;进入minicom终端界面 4. 在终端界面中发送指令或数据&#xff0c;查看设备返回的数据 5. 按下CtrlA&#xff0c;松开释放&#xff0c;再按下X&#xff0c;退出minicom2、一些…
阅读更多...
教你如何打造一款流行的服装定制小程序

教你如何打造一款流行的服装定制小程序

随着移动互联网时代的到来&#xff0c;线上商务发展迅猛&#xff0c;服装店也开始积极探索线上销售渠道。其中&#xff0c;小程序成为了服装店主们的首选之一。小程序以其便捷、快速的特点&#xff0c;为服装店的线上经营带来了全新的机遇。接下来&#xff0c;我们将介绍如何通…
阅读更多...
TCP和UDP的原理及其区别(三次握手、四次挥手)

TCP和UDP的原理及其区别(三次握手、四次挥手)

TCP和UDP都是在传输层上工作的协议&#xff0c;用于在网络中传输数据。 1、TCP和UDP之间的区别 TCP和UDP的主要区别在于它们提供的服务和特性。TCP提供可靠的、有序的、基于连接的数据传输&#xff0c;适用于对数据完整性和可靠性要求较高的应用&#xff08;邮件、短信&#xf…
阅读更多...
CPU飙高问题排查命令

CPU飙高问题排查命令

1. 远程客户端连接服务器,top命令查看cpu占用最高的进程id 2. (top -H -p 进程pid) 命令: 找出进程里面线程占用CPU高的线程有哪些 ? 3. (printf 0x%x\n 线程id) 线程id转16进制 4. (./jstack PID | grep TID(十六进制) -A 30)
阅读更多...
小县城蔬菜配送小程序制作全攻略

小县城蔬菜配送小程序制作全攻略

随着互联网的普及和人们对生活品质要求的提高&#xff0c;越来越多的小县城开始开发蔬菜配送小程序&#xff0c;以满足当地居民对新鲜蔬菜的需求。制作一个小县城蔬菜配送小程序&#xff0c;需要经过以下步骤&#xff1a; 步骤一&#xff1a;登录乔拓云平台 首先&#xff0c;打…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023