在学习黑马2023大数据教程过程中,首先依照视频完成了如下配置:【必须】
【黑马2023大数据实战教程】大数据集群环境准备过程记录(3台虚拟机)
黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程
最后node1的hadoop用户下输入start-dfs.sh
一键启动hdfs集群成功,三台虚拟机使用`jps’命令查看结果如下:
说明集群部署基本是成功的,但是在网页输入"node1:9870"时无法打开网页,
显示配置端口
最后通过在hdfs-site.xml文件中显示配置通过浏览器访问hdfs的端口:
先进到hdfs-site.xml对应目录,我是依照教程部署的,所以
cd /export/server/hadoop/etc/hadoop
vim hdfs-site.xml
<configuration></configuration>
之中加入:
<property>
<name>dfs.namenode.http-address</name>
<value>node1:9870</value>
</property>
最后成功打开网页:
其他原因
本地hosts
注意我这里使用node1,是因为在本地电脑的hosts中对三台虚拟机节点进行了配置,如下:
【这也是可能无法打开网页的原因之一】
C:\Windows\System32\drivers\etc的hosts文件
防火墙
另一个网页无法打开原因可能是防火墙未关闭,先查看防火墙状态:
systemctl status firewalld
如果不是dead,进行如下设置:
systemctl stop firewalld (关闭防火墙)
systemctl disable firewalld(设置为开机关闭防火墙)
node是否成功打开
自己相应的NAMENODE、DATANODE节点是否启动
可输入命令 jps查询
出现图1的情况就是成功打开了3个节点
我是使用一键启动hdfs集群:start-dfs.sh
如果遇到命令未找到的错误,表明环境变量未配置好,可以以绝对路径执行
export/server/hadoop/sbin/start-dfs.sh
export/server/hadoop/sbin/stop-dfs.sh
以上其他原因如果时按照视频一步步配置的应该是不会出现的,主要还是用显示配置端口来解决了问题。