win10 下搭建hadoop（成功截图）

news2025/1/11 23:50:22

背景：

搭建hadoop是大数据的启蒙第一步，对初学者有很好的信心建设，建议安装版本和作者一样。话不多说，开始正文。

1. 下载hadoop

本文版本为3.0.0

可以Apache.org官网下载，也可以本人csdn资源处下载https://download.csdn.net/download/qq_32927563/87943953

2.下载hadoop的win10版本需要的bin文件夹，下载链接hadoop-3.0.0/bin · master · mirrors / steveloughran / winutils · GitCode

刚才下载的hadoop3.0.0.tar.gz管理员解压，下载的bin.zip替换hadoop3.0.0中的bin文件夹，这是因为win10系统和linux系统有差异，适配需要处理。

3.配置环境变量

path中添加

d:/hadoop-3.0.0/bin(路径看自己路径)

4. 确认配置过JAVA_HOME

无配置自行配置，已配置忽略

5.配置hadoop中的配置文件，

（1）、修改D:/hadoop-3.0.0/etc/hadoop/
core-site.xml配置:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

-------------------------------------------------------此处选看，可不看-------------------------------------------------------

备注:此处localhost可以改为hadoop1等自定的hostname主机名，配置是C:\Windows\System32\drivers\etc\hosts

添加：127.0.0.1 hadoop1

--------------------------------------------------------------------------------------------------------------

（2）、修改D:/hadoop-3.0.0/etc/hadoop/
mapred-site.xml配置:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(3）、在D:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

在D:/hadoop-3.0.0/data目录下创建datanode目录；
在D:/hadoop-3.0.0/data目录下创建namenode目录；

(4）、修改D:/hadoop-3.0.0/etc/hadoop/
hdfs-site.xml配置:

<configuration>
   
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
   <property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.0.0/data/namenode</value>
</property>
<property>
       <name>fs.checkpoint.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
       <name>fs.checkpoint.edits.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>

(5)、修改D:/hadoop-3.0.0/etc/hadoop/
yarn-site.xml配置:

<configuration>

   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

6.启动

(1) 终端管理员执行：

D:\hadoop-3.0.0\bin> hdfs namenode -format