本地模式,即运行在单台机器上。没有分布式的思想,使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试,确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适合用在开发阶段。
平台软件说明
平台&软件 | 说明 |
---|---|
宿主机操作系统 | Windows / MacOS |
虚拟机操作系统 | CentOS 7 |
虚拟机软件 | Windows: VMWare MacOS: Parallels Desktop |
SSH工具 | Windows: MobaXterm / FinalShell MacOS: FinalShell / iTerm2 |
软件包上传路径 | /root/softwares |
软件安装路径 | /usr/local |
JDK | X64: jdk-8u321-linux-x64.tar.gz ARM: jdk-8u321-linux-aarch64.tar.gz |
Hadoop | X64: hadoop-3.3.1.tar.gz ARM: hadoop-3.3.1-aarch64.tar.gz |
用户 | root |
安装JDK
-
卸载之前的JDK
# 卸载之前的原因,主要是需要保证安装的JDK版本的正确性。 [root@qianfeng01 ~]# rpm -qa | grep jdk # 如果有,请卸载 [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps # 将查询到的内置jdk强制卸载
复制代码 -
上传JDK安装包到指定的路径
使用MobaXterm或者FinalShell直接上传即可,上传到 /root/softwares 下
复制代码 -
解压JDK到指定安装路径
[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local
复制代码 -
配置环境变量
[root@qianfeng01 local]# vim /etc/profile ...上述内容省略,在末尾添加即可... # Java Environment export JAVA_HOME=/usr/local/jdk1.8.0_321 export PATH=$PATH:$JAVA_HOME/bin
复制代码 -
重新引导,使得环境变量生效
[root@qianfeng01 local]# source /etc/profile
复制代码 -
验证JDK是否配置完成
[root@qianfeng01 local]# java -version
复制代码
安装Hadoop
-
上传Hadoop到指定的路径
使用MobaXterm或者FinalShell上传到 /root/softwares 下即可
复制代码 -
解压安装
[root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local
复制代码 -
配置环境变量
[root@qianfeng01 ~]# vim /etc/profile ...上述内容省略,在最下方添加即可... # Hadoop Environment export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
复制代码 -
重新引导,使得环境变量生效
[root@qianfeng01 ~]# source /etc/profile
复制代码 -
验证是否配置成功
[root@qianfeng01 ~]# hadoop version
复制代码
Hadoop的目录说明Hadoop的目录说明
iShot2022-01-28 12.22.58
案例演示
-
新建一个目录,存放文本文件
# 将若干个存储单词的文件放入这个目录下 [root@qianfeng01 ~]# mkdir ~/input
复制代码 -
执行wordcount
[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output
复制代码 -
查看结果
[root@qianfeng01 ~]# cat ~/output/*
复制代码
案例演示: pi
直接计算pi的结果
[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10
也可以观看视频:
大数据简介-什么是大数据