一
.
案例信息
Hadoop
的安装部署的模式一共有三种:
本地模式,默认的模式,无需运行任何守护进程(
daemon
),所有程序都在单个
JVM
上执行。由
于在本机模式下测试和调试
MapReduce
程序较为方便,因此,这种模式适宜用在开发阶段。使用
本地文件系统,而不是分布式文件系统。
伪分布模式,在一台主机模拟多主机。即,
Hadoop
的守护程序在本地计算机上运行,模拟集群环
境,并且是相互独立的
Java
进程。在这种模式下,
Hadoop
使用的是分布式文件系统,各个作业也
是由
JobTraker
服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使
用情况,
HDFS
输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常
用来开发测试
Hadoop
程序的执行是否正确。
全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所
有的主机上安装
JDK
和
Hadoop
,组成相互连通的网络。
本案例采用伪分布模式搭建
Hadopp
,在一台主机模拟多主机,用于后续的程序开发。
2.
实验目的
掌握
Hadoop
单机版的搭建及配置方法
掌握
HDFS
文件系统的开启及关闭方法
掌握
Yarn
的开启及关闭方法
掌握
Hadoop
平台的基本使用
3.
实验环境
hadoop == 3.1.0
CentOS == 7.3
jdk == 1.8
二
.
实验指导
关联技术:
- 环境准备
- 文件解包解压
- JDK安装配置
- VIM文本编辑命令
- 文件上传
- 系统环境配置
- 配置Hadoop
- XML配置
- 防火墙配置
- 关注B站刘老师教编程jps命令
- 使用内置程序计算PI值
- jar包执行
2. 实验步骤
- 环境准备
- 配置Hadoop
- 初始化并启动Hadoop
- Hadoop(YARN)环境搭建
- 使用内置程序计算PI值
三
.
实验操作
01.
步骤一:环境准备
步骤操作说明
1.
配置
JDK
下载
JDK
,登录官方
https://www.oracle.com/java/technologies/downloads/#java8
下载所需版
本的
JDK
,版本为
JDK 1.8
以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答