首先完成本地部署大数据集群前置准备，可参考：

本地部署大数据集群前置准备https://blog.csdn.net/m0_73641796/article/details/145994787?spm=1001.2014.3001.5501

1.下载hadoop

下载Hadoop安装包，本文用的是hadoop-3.3.4.tar.gz

2. 集群规划

节点	服务
Node1	NameNode、DataNode、SecondaryNameNode
Node2	DataNode
Node3	DataNode

 3. 上传解压

以下操作在Node1节点执行，以root身份登录

上传hadoop安装包到node1节点

tar -zxf hadoop-3.3.4.tar.gz -C /export/server/

cd /export/server/
ln -s /export/server/hadoop-3.3.4 hadoop

 4. 修改配置文件

 1) 配置works

cd hadoop/etc/hadoop

vim workers
--把localhost换为
node1
node2
node3

2) 配置hadoop-env.sh

vim hadoop-env.sh
--填入以下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

 3) 配置core-site.xml

vim core-site.xml
--填入以下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

4) 配置hdfs-site.xml

vim hdfs-site.xml
--添加以下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

 5. 准备数据目录

--在node1节点:
mkdir -p /data/nn
mkdir -p /data/dn

--在node2和node3节点:
mkdir -p /data/dn

 6. 分发Hadoop文件夹

--在node1执行如下命令:
cd /export/server

scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

--在node2执行:
ln -s /export/server/hadoop-3.3.4/ hadoop

--在node3执行:
ln -s /export/server/hadoop-3.3.4/ hadoop

 7. 配置环境变量

--在node1,node2,node3均执行以下操作:

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

 8. 授权hadoop用户

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

 9. 格式化HDFS文件系统

su - hadoop
hadoop namenode -format

10. 启动集群

--启动hdfs集群
start-dfs.sh

--关闭hdfs集群
stop-dfs.sh

 通过jps可查看正在运行的java进程

11. 查看HDFS WEBUI

在浏览器输入 node1:9870，即可查看