文章目录
- 1. 将安装包hadoop-3.1.3.tar.gz上次至linux中
- 2. 进行解压操作
- 3. 修改目录名称
- 4. 配置环境变量
- 5. 使用官方提供的jar包实现wordcount案例
1. 将安装包hadoop-3.1.3.tar.gz上次至linux中
2. 进行解压操作
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/
##tar: 解压打包的命令
##z: 当前压缩类型为.tar. gz
##x: 代表是解压命令
##v: 代表在解压过程中显示执行过程
##f: 代表指定打包后的文件名
##C: 指定解压后的目录
3. 修改目录名称
--替换目录
cd /opt/softs
--修改目录名称
mv hadoop-3.1.3/ hadoop3.1.3/
4. 配置环境变量
--编辑环境变量配置文件
vim /etc/profile
--在文件添加如下配置项
##JAVA_HOME
export JAVA_HOME=/opt/softs/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin
##HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
--保存退出后需要使环境变量配置文件的改动生效
source /etc/profile
输出hadoop环境变量 :
echo $HADOOP_HOME
5. 使用官方提供的jar包实现wordcount案例
5.1 准备计算文件
-- 在/opt目录下新建文件存放目录
mkdir /opt/file
-- 切换目录
cd /opt/file
-- 在此目录下新建文件并插入数据
vi wordcount.txt
单词间用逗号分隔
hello java bigdata
hello mysql hadoop
hadoop hello
5.2 使用官方jar包进行单词计算
-- 切换目录
cd /opt/softs/hadoop3.1.3/share/hadoop/mapreduce
-- 语法：hadoop jar 官方jar所在路径 wordcount 计算文件所在路径 输出结果所在路径
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/file/wordcount.txt /opt/softs/hadoop3.1.3/output
注意：输出路径对应的文件夹需不存在，执行命令时让它自己创建
5.3 查看计算结果
-- 切换目录
cd /opt/softs/hadoop3.1.3/output/
ll
-- 查看计算结果
cat part-r-00000
