任务描述
知识点:
- 掌握Hadoop集群的启动
重 点:
- Hadoop集群的格式化流程
- Hadoop集群的启动流程
内 容:
- 格式化Hadoop集群
- 启动测试Hadoop集群
任务指导
启动Hadoop集群并测试,过程如下:
- 初始化HDFS;
- 在master服务器启动Hadoop集群;
- 使用jps命令查看相应的守护进程是否正常启动;
- 打开浏览器,测试8088端口和50070端口对应的管理页面是否正常;
- 停止Hadoop集群。
最后可以通过jps命令查看到相应的守护进程如下:
主机名 | 守护进程 |
master | NameNode、SecondaryNameNode、ResourceManager |
slave1 | DataNode、NodeManager |
slave2 | DataNode、NodeManager |
任务实现
1. 在master服务器启动Hadoop集群
- 在master服务器节点上,进入Hadoop安装目录 /home/hadoop/hadoop-2.9.2
[ root@master ~] cd /home/hadoop/hadoop-2.9.2
- 输入【# bin/hdfs namenode -format】命令进行初始化hdfs
[ root@master hadoop-2.9.2 ]# bin/hdfs namenode -format
- 输入【# sbin/start-all.sh】命令启动全部守护进程,也可以分开启动各个进程【# sbin/start-dfs.sh】、【# sbin/start-yarn.sh】
[ root@master hadoop-2.9.2 ]# sbin/start-all.sh
- 如果要停止Hadoop集群,可以输入【# sbin/stop-all.sh】命令,停止Hadoop集群
[ root@master hadoop-2.9.2 ]# sbin/stop-all.sh
2. 查看Hadoop5个守护进程
- 在master机器输入【jps】命令,可以查看到3个守护进程,分别为NameNode、SecondaryNameNode、ResourceManager。
- 在slave机器输入【jps】命令,可以查看到2个守护进程,分别为NodeManager、DataNode。
3. 使用浏览器Web访问,测试8088端口和50070端口(要先要确保开放了端口或者直接关闭防火墙)
- 在master中打开浏览器访问:http://localhost:8088/
- 在master中打开浏览器访问:http://localhost:50070/
- 安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥HDFS、MapReduce的作用。