目录
MapReduce & YARN 初体验
集群启停命令
一键启动脚本：
单进程启停
提交MapReduce任务到YARN执行
提交MapReduce程序至YARN运行
提交wordcount示例程序
提交求圆周率示例程序
拓展：蒙特卡罗算法求PI的基础原理
onte Carlo蒙特卡罗算法（统计模拟法）
示例代码
MapReduce & YARN 初体验
集群启停命令
一键启动脚本：
启动：
$HADOOP_HOME/sbin/start-yarn.sh从yarn-site.xml中读取配置，确定ResourceManager所在机器，并启动它
读取workers文件，确定机器，启动全部的NodeManager
在当前机器启动ProxyServer（代理服务器）
关闭 ：
$HADOOP_HOME/sbin/stop-yarn.sh单进程启停
$HADOOP_HOME/bin/yarn，
此程序也可以用以单独控制所在机器的进程的启停
用法：
yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)$HADOOP_HOME/bin/mapred，
此程序也可以用以单独控制所在机器的历史服务器的启停
用法：
mapred --daemon (start|stop) historyserver提交MapReduce任务到YARN执行
提交MapReduce程序至YARN运行
在部署并成功启动YARN集群后，我们就可以在YARN上运行各类应用程序了。
YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：
1.MapReduce程序
2.Spark程序
3.Flink程序
Spark和Flink是大数据后续的学习内容，我们目前先来体验一下在YARN上执行MapReduce程序的过程。
Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。
常用的有2个MapReduce内置程序：
1.wordcount：单词计数程序。
统计指定文件内各个单词出现的次数
2.pi：求圆周率
通过蒙特卡罗算法（统计模拟法）求圆周率
这些内置的示例MapReduce程序代码，都在：
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。
可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。
语法： hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]
提交wordcount示例程序
单词计数示例程序的功能很简单：
给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
将输入路径内的数据中的单词进行计数，将结果写到输出路径
我们可以准备一份数据文件，并上传到HDFS中。
itheima itcast itheima itcast hadoop hdfs hadoop hdfs hadoop mapreduce hadoop yarn itheima hadoop itcast hadoop itheima itcast hadoop yarn mapreduce
将内容保存到Linux中为words.txt文件，并上传到HDFS
hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/执行如下命令，提交示例MapReduce程序WordCount到YARN中执行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1
注意：
参数wordcount，表示运行jar包中的单词计数程序（Java Class）
参数1是数据输入路径（hdfs://node1:8020/input/wordcount/)
参数2是结果输出路径(hdfs://node1:8020/output/wc1)， 需要确保输出的文件夹不存在
提交程序后，可以在YARN的WEB UI页面看到运行中的程序（http://node1:8088/cluster/apps)
执行完成后，可以查看HDFS上的输出结果
_SUCCESS文件是标记文件，表示运行成功，本身是空文件
part-r-00000，是结果文件，结果存储在以part开头的文件中
执行完成后，可以借助历史服务器查看到程序的历史运行信息
ps：如果没有启动历史服务器和代理服务器，此操作无法完成（页面信息由历史服务器提供，鼠标点击跳转到新网页功能由代理服务器提供）
点击logs链接，可以查看到详细的运行日志信息。
此功能基于：
1. 配置文件中配置了日志聚合功能，并设置了历史服务器
2. 启动了代理服务器和历史服务器
3. 历史服务器进程会将日志收集整理，形成可以查看的网页内容供我们查看。
所以，如果发现无法查看程序运行历史以及无法查看程序运行日志信息，请检查上述1、2、3是否都正确设置。
提交求圆周率示例程序
可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 3 1000参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
参数3，表示设置几个map任务
参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）
如图，运行完成，求得PI值（样本1000太小，不够精准，仅演示）
拓展：蒙特卡罗算法求PI的基础原理
onte Carlo蒙特卡罗算法（统计模拟法）
Monte Carlo算法的基本思想是： 以模拟的”实验”形式、以大量随机样本的统计形式，来得到问题的求解。
比如，求圆周率，以数学的方式是非常复杂的，但是我们可以以简单的形式去求解：
如图，我们在正方形内，随机落点 统计落在1/4圆内的点和总点数量的比例即可得到1/4的PI 最终乘以4即可得到PI
比如，红色点的数量比全部点的数量，结果是0.765 那么乘以四可以得到3.06.
3.06就是求得的PI
所以，此方法，需要大量的样本（落点），样本越多越精准
示例代码
如下图，以Python语言实现的蒙特卡罗求PI
import random
sample_num=int(input("请输入样本数："))
inner_point = 0
pi=0
for i in range(sample_num):
a = random.uniform(0,1)
b = random.uniform(0,1)
if a*a + b*b ≤ 1:
inner_point = inner_point + 1
pi=(inner_point / sample_num) * 4
print(f'样本数：{sample_num},pi近似等于：{pi}')
目录
MapReduce & YARN 初体验
集群启停命令
一键启动脚本：
单进程启停
提交MapReduce任务到YARN执行
提交MapReduce程序至YARN运行
提交wordcount示例程序
提交求圆周率示例程序
拓展：蒙特卡罗算法求PI的基础原理
onte Carlo蒙特卡罗算法（统计模拟法）
示例代码
![[C++][opencv]基于opencv实现photoshop算法高反差保留](https://i-blog.csdnimg.cn/direct/532e661ae98c4fb28f20fdb2cc19b406.gif)
