目录
0. 安装Java
1. 安装Hadoop
1.1 下载Hadoop
1.2 下载winutils
2. 配置Hadoop
1. hadoop-env.cmd
2. 创建数据目录
3. core-site.xml
4. hdfs-site.xml
3. 启动测试
3.1 namenode格式化
3.2 启动Hadoop
3.3 查看webui
3.4 测试hdfs
3.5. 测试MapReduce
4. 还没结束
4.1 YARN的webui没看到任务
4.2 hadoop-streaming的小坑
我记得10年前Windows上装Hadoop得借助cygwin，现在不用了。现在装起来更容易了，今天试了一下并记录一下过程免得忘了。当然win上玩Hadoop多半为了学习，和之前Windows上安装HBASE作一个呼应。
百度一下还是很多的，我参考的主要是两篇：
Windows环境下hadoop安装和配置详细步骤（图文）_windows安装hadoop及配置_yujkss的博客-CSDN博客
Windows安装Hadoop3.x及在Windows环境下本地开发_hadoop3.x带snappy(可用于windows本地开发)_CodeDevMaster的博客-CSDN博客
这两篇的过程居然还有一些不一样，经过尝试，发现各有一些没考虑到的，分享一下我的踩坑过程
0. 安装Java
这一步没什么好说的，我安装的是jdk1.8u202， 可以在华为这下载到。
安装完了配置一下环境变量的JAVA_HOME， 并且把 %JAVA_HOME%\bin 添加到Path里。
1. 安装Hadoop
1.1 下载Hadoop
从官方渠道 https://archive.apache.org/dist/hadoop/common/ 下载，速度较慢可以先用百度网盘离线下载
然后配置一下这个目录到环境变量的 HADOOP_HOME 。并且把 %HADOOP_HOME%\bin 添加到Path里。
1.2 下载winutils
下载Windows专用的winutils.exe和hadoop.dll 放到 /bin 目录下和 C:\Windows\System32 目录下（只放bin里，不放system32，哪怕配置过Path环境变量也不够，后面测试MapReduce就报错了）。这里需要对应winutils和Hadoop的版本。看winutils的github这里，GitHub - vhma/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows . 如果上不去，直接看这里：Hadoop 之 winutils_电光闪烁的博客-CSDN博客。
这就是为啥我选的Hadoop版本是3.1.2。
2. 配置Hadoop
1. hadoop-env.cmd
因为环境变量配了JAVA_HOME， 所以这个文件不用改
2. 创建数据目录
在%HADOOP_HOME%下创建tmp和 data目录，在data下创建namenode和datanode目录。其实目录在哪无所谓，后面路径写对就行。
3. core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>D:/bigdata/hadoop-3.1.2/tmp</value>
</property>
</configuration>
这里路径分隔符可以写“\”，建议还是用“/” ,因为下面的hdfs-site就不能用 “\”。
4. hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/bigdata/hadoop-3.1.2/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/bigdata/hadoop-3.1.2/data/datanode</value>
</property>
</configuration>
这里连盘符前都要加 “/”
3. 启动测试
到这里其实就可以用了。准备开始，建议用管理员权限打开CMD。
3.1 namenode格式化
hdfs namenode -format执行下去如果没问题，会有一个Y or N 的选择，y就行
3.2 启动Hadoop
执行start-all.cmd
%HADOOP_HOME%\sbin\start-all.cmd它会启动4个进程：
如果需要关闭，用stop-all.cmd就行，它会关掉4个打开的进程。
3.3 查看webui
hdfs的地址是：http://localhost:9870/
yarn的地址是：http://localhost:8088/cluster
3.4 测试hdfs
3.5. 测试MapReduce
通过自带的example的运行wordcount，
hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-examples-3.1.2.jar wordcount /usr/words.txt /output然后很快就会看到运行日志，包括结果也出来了
你以为这就OK了，其实没结束
4. 还没结束
4.1 YARN的webui没看到任务
运行了wordcount的MapReduce任务，怎么会看不到job，包括有些人也提到这个。找到一个解决方案：Yarn UI 不显示任务 - 工克己 - 博客园 (cnblogs.com)
配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
估计是开启由YARN管理MapReduce计算程序，这样才能在YARN的任务队列里看到。
那么yarn-site.xml是不是也要配，顺便一起吧
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
关了重启动Hadoop（重启Hadoop会遇到各种各样的问题，其中一个hdfs不能操作了：Name node is in safe mode. 遇到这个就粗暴删了数据目录重新格式化....还包括4个进程可能不能正常stop掉等等。）
删掉/output目录，再次运行wordcount，报错了，长篇大论意思是yarn管理的container启动不起来，主要信息是 Exception message: CreateSymbolicLink error (1314): ???????????
于是根据这篇博客的方法解决：Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????_lhyxcxy的博客-CSDN博客
里面两个方法，我也没搞清楚是哪个起作用，所以前面说的建议用管理员权限打开CMD。
最后解决的结果是wordcount花费大量时间在job的启动上， 然后webui看到任务历史了。
感觉并不需要这么用YARN来跑任务。
4.2 hadoop-streaming的小坑
跑hadoop-streaming时候， -files这种通用参数必须放在其他参数的前面，否则会报"Streaming command failed"的错误
如下：
hadoop jar share/hadoop/tools/lib/hadoop-streaming-3.1.2.jar -files "map1.py,red1.py" -input /usr -output /output -mapper "python map1.py" -reducer "python red1.py"
