MapReduce YARN 的部署

news2024/12/29 10:07:29

1、部署说明

Hadoop HDFS分布式文件系统，我们会启动：

  • NameNode进程作为管理节点
  • DataNode进程作为工作节点
  • SecondaryNamenode作为辅助
    在这里插入图片描述
    同理，Hadoop YARN分布式资源调度，会启动：
  • ResourceManager进程作为管理节点
  • NodeManager进程作为工作节点
  • ProxyServer、JobHistoryServer这两个辅助节点
    在这里插入图片描述

MapReduce运行在YARN容器内，无需启动独立进程。

所以关于MapReduce和YARN的部署，其实就是2件事情：

  • 关于MapReduce： 修改相关配置文件，但是没有进程可以启动。
  • 关于YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）。

在这里插入图片描述

2、部署

2.1、MapReduce配置文件

2.1.1、配置mapred-env.sh文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改mapred-env.sh文件

vim mapred-env.sh

在这里插入图片描述

添加如下环境变量

## 设置jdk路径
export JAVA_HOME=/export/server/jdk
## 设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
## 设置日志级别为INF
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

2.1.2、配置mapred-site.xml文件

mapred-site.xml文件，添加如下配置信息

vim mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>bigdatanode1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bigdatanode1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
	<property>
	  <name>yarn.app.mapreduce.am.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
	  <name>mapreduce.map.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
</configuration>

2.2、YARN配置文件

2.2.1、配置yarn-env.sh文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：
yarn-env.sh文件

vim yarn-env.sh

yarn-env.sh文件，添加如下4行环境变量内容：

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

2.2.2、配置yarn-site.xml文件

yarn-site.xml文件，配置如下

<property>
    <name>yarn.log.server.url</name>
    <value>http://bigdatanode1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>bigdatanode1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdatanode1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>



  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

2.3、分发到node2，node3节点

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode2:`pwd`/

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode3:`pwd`/

在这里插入图片描述

查看其他节点是否分发成功
在这里插入图片描述

2.4、集群启动命令介绍

2.4.1、介绍

常用的进程启动命令如下：

  • 一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh

    • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
    • 会基于workers文件配置的主机启动NodeManager

  • 一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh

  • 在当前机器，单独启动或停止进程

    • $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
    • start和stop决定启动和停止
    • 可控制resourcemanager、nodemanager、proxyserver三种进程

  • 历史服务器启动和停止

    • $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

2.4.2、启动

在node1服务器，以hadoop用户执行

  • 首先执行
start-yarn.sh

在这里插入图片描述

  • 其次执行
mapred --daemon start historyserver

在这里插入图片描述

  • 一键停止
stop-yarn.sh

2.4.3、查看YARN的WEB UI页面

打开 http://bigdatanode1:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）
在这里插入图片描述

3、提交MapReduce任务到YARN执行

3.1、提交MapReduce程序至YARN运行

在部署并成功启动YARN集群后，我们就可以在YARN上运行各类应用程序了。

YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

  • MapReduce程序
  • Spark程序
  • Flink程序

Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。

常用的有2个MapReduce内置程序：

  • wordcount：单词计数程序。
    统计指定文件内各个单词出现的次数。
  • pi：求圆周率
    通过蒙特卡罗算法（统计模拟法）求圆周率。

这些内置的示例MapReduce程序代码，都在：
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。

可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

语法： hadoop jar 程序文件 java类名 [程序参数] … [程序参数]

3.2、提交wordcount示例程序

3.2.1、单词计数示例程序

单词计数示例程序的功能很简单：

  • 给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
  • 将输入路径内的数据中的单词进行计数，将结果写到输出路径

我们可以准备一份数据文件，并上传到HDFS中。

  • 创建两个文件夹
 hdfs dfs -mkdir -p /input/wordcount

hdfs dfs -mkdir -p /output

在这里插入图片描述

  • 创建一个文件，输入一些内容
vim words.txt

在这里插入图片描述

  • 上传到/input/wordcount/
hdfs dfs -put words.txt /input/wordcount/

在这里插入图片描述

  • 执行如下命令，提交示例MapReduce程序WordCount到YARN中执行
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://bigdatanode1:8020/input/wordcount/ hdfs://bigdatanode1:8020/output/wc

在这里插入图片描述

  • 执行完成后，可以查看HDFS上的输出结果
    在这里插入图片描述
hdfs dfs -cat /output/wc/part-r-00000

在这里插入图片描述

  • _SUCCESS文件是标记文件，表示运行成功，本身是空文件
  • part-r-00000，是结果文件，结果存储在以part开头的文件中

3.2.2、查看运行日志

此功能基于：

  1. 配置文件中配置了日志聚合功能，并设置了历史服务器
    在这里插入图片描述
  2. 启动了代理服务器和历史服务器
  3. 历史服务器进程会将日志收集整理，形成可以查看的网页内容供我们查看。

在这里插入图片描述
在这里插入图片描述

3.2.3、提交求圆周率示例程序

可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000
  • 参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
  • 参数3，表示设置几个map任务
  • 参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3、蒙特卡罗算法求PI的基础原理

Monte Carlo蒙特卡罗算法（统计模拟法）

Monte Carlo算法的基本思想是： 以模拟的”实验”形式、以大量随机样本的统计形式，来得到问题的求解。
比如，求圆周率，以数学的方式是非常复杂的，但是我们可以以简单的形式去求解：
在这里插入图片描述

示例代码

import java.util.Random;  
  
public class MonteCarloPi {  
    public static void main(String[] args) {  
        int totalPoints = 1000000; // 总共投点次数  
        int insidePoints = 0; // 落在圆内的点数  
  
        Random rand = new Random();  
  
        for (int i = 0; i < totalPoints; i++) {  
            // 在-1到1之间随机生成x, y值  
            double x = 2.0 * rand.nextDouble() - 1.0;  
            double y = 2.0 * rand.nextDouble() - 1.0;  
              
            // 判断该点是否在单位圆内（圆心在(0, 0)，半径为1）  
            if (x * x + y * y <= 1.0) {  
                insidePoints++;  
            }  
        }  
  
        // 使用蒙特卡罗方法估算π的值，公式来源于圆的面积公式πr^2，这里r=1，所以π=4*(圆内点数/总点数)  
        double piEstimate = 4.0 * insidePoints / totalPoints;  
        System.out.println("π的估计值为: " + piEstimate);  
    }  
}

结束！！！！！！！
hy:37

						人最大的痛苦，就是无法跨越“知道”和“做到”的鸿沟。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1017789.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

蓝桥杯2023年第十四届省赛真题-更小的数--题解

蓝桥杯2023年第十四届省赛真题-更小的数--题解

目录 蓝桥杯2023年第十四届省赛真题-更小的数 题目描述 输入格式 输出格式 样例输入 样例输出 提示 【思路解析】 【代码实现】 蓝桥杯2023年第十四届省赛真题-更小的数 时间限制: 3s 内存限制: 320MB 提交: 895 解决: 303 题目描述 小蓝有一个长度均为 n 且仅由数字…
阅读更多...
【Qt-17】Qt调用matlab生成的dll库

【Qt-17】Qt调用matlab生成的dll库

matlab生成dll库 1、matlab示例代码 function BDCube(x,y)[x,y,z] cylinder(x,y);t1 hgtransform;s1 surf(3*x,3*y,4*z,Parent,t1);grid onview(3)shading interp end 2、matlab环境配置 首先检查自己的mcc编译器是否可用&#xff0c;输出以下命令&#xff1a; &#x…
阅读更多...
无头单向非循环链表(详解)

无头单向非循环链表(详解)

无头单向非循环链表 链表的种类的简单介绍链表的定义typedef的运用 节点的创建遍历头插尾插头删尾删查找节点位置任意位置插入任意位置删除 链表的种类的简单介绍 链表的种类有很多 1.分有头链表和无头链表 2.分循环链表和非循环链表 3.分单向链表和双向链表 这里的话&#xff…
阅读更多...
RecyclerView源码解析（四）：RecyclerView对ViewHolder的回收

RecyclerView源码解析（四）：RecyclerView对ViewHolder的回收

RecyclerView源码解析&#xff08;四&#xff09;&#xff1a;RecyclerView对ViewHolder的回收 导言 前面几篇文章我们已经介绍了RecyclerView绘图的三大流程和其四层缓存机制&#xff0c;不过对于我来说还有一个疑问&#xff0c;那就是RecyclerView是如何将分离的ViewHolder进…
阅读更多...
MATLAB：电机控制（Motor Control）

MATLAB：电机控制（Motor Control）

目录 前言1、Overview1.1、Specific objectives1.2、Resources1.3 、Industrial context1.4 、Architecture of the system1.5 、Approach/Steps 2、MODELLING THE MOTOR AND THE LOAD2.1Simulate a DC motor by its physical model2.2、Modelling the motor / load by its mat…
阅读更多...
堆内存与栈内存

堆内存与栈内存

文章目录 1. 栈内存2. 堆内存3. 区别和联系参考资料 1. 栈内存 栈内存是为线程留出的临时空间 每个线程都有一个固定大小的栈空间&#xff0c;而且栈空间存储的数据只能由当前线程访问&#xff0c;所以它是线程安全的。栈空间的分配和回收是由系统来做的&#xff0c;我们不需…
阅读更多...
《C++ primer plus》精炼（OOP部分）——对象和类（5）

《C++ primer plus》精炼（OOP部分）——对象和类（5）

“学习是照亮心灵的火炬&#xff0c;它永不熄灭&#xff0c;永不止息。” 文章目录 类的自动和强制类型转换原始类型转换为自定义类型将自定义类型转换为原始类型 类的自动和强制类型转换 原始类型转换为自定义类型 可以用一个参数的构造函数来实现&#xff0c;例如&#xff…
阅读更多...
【Linux操作系统】信号的产生捕获

【Linux操作系统】信号的产生捕获

&#x1f525;&#x1f525; 欢迎来到小林的博客&#xff01;&#xff01;       &#x1f6f0;️博客主页&#xff1a;✈️林 子       &#x1f6f0;️博客专栏&#xff1a;✈️ Linux       &#x1f6f0;️社区 :✈️ 进步学堂       &#x1f6f0…
阅读更多...
destoon关于archiver归档的性能优化

destoon关于archiver归档的性能优化

今天在处理一个项目时候发现archiver单个模块归档超过百万数据&#xff0c;打开速度就特慢&#xff0c;所以打开archiver下index.php文件进行分析&#xff0c;发现有句sql作怪&#xff0c;查询需要三四分钟&#xff0c;所以要修改这个。 $result $db->query("SELECT …
阅读更多...
login (mobile email usercode)

login (mobile email usercode)

手机、邮箱、用户编码登录 package login;/*** 常量类(改造拉到你自己项目里面)** author ZengWenFeng* date 2023.09.17* email 117791303qq.com* mobile 13805029595*/ public class Constant {// 登录界面的登录方式&#xff1a;手机、邮箱、用户名public static final Str…
阅读更多...
YOLOv8学习

YOLOv8学习

1 YOLOv8训练自己的数据集 1.1 部署和运行 1.1.1 第一步&#xff0c;下载代码 源码地址 1.1.2 第二步&#xff0c;创建环境 默认已经安装好conda conda create -n yolopy38 python3.8conda activate yolopy38安装所需要的包&#xff0c;先cd到代码目录下 pip install -r…
阅读更多...
深眸科技自研工业AI视觉检测设备，检测精度99.9%加速智造进程

深眸科技自研工业AI视觉检测设备，检测精度99.9%加速智造进程

随着机器视觉技术的持续升级&#xff0c;国内制造行业不断发展&#xff0c;工艺水平持续优化&#xff0c;产品的数量和种类与日俱增。当前社会将产品质量标准提高&#xff0c;在满足正常的性能使用外&#xff0c;还需要具有良好的表面外观质量。但在工业制造过程中&#xff0c;…
阅读更多...
【C语言】【数据存储】用%d打印char类型数据，猜结果是啥

【C语言】【数据存储】用%d打印char类型数据，猜结果是啥

题目代码如下&#xff1a; #include <stdio.h> int main() {char a -1;signed char b-1;unsigned char c-1;printf("a%d,b%d,c%d",a,b,c);return 0; }解题关键&#xff1a; 1.二进制存储&#xff1a;原码&#xff0c;反码&#xff0c;补码 互换 2.截断 3.整型…
阅读更多...
密码学入门——Feistel网络

密码学入门——Feistel网络

文章目录 参考书一、引入二、Feistel网络计算流程三、Feistel网络的解密四、Feistel网络的性质 参考书 图解密码技术&#xff0c;第三版 一、引入 DES的基本结构是由Horst Feistel设计的&#xff0c;因此也被成为Feistel网络&#xff08;Feistel结构&#xff0c;Feistel密码…
阅读更多...
《动手学深度学习 Pytorch版》 6.6 卷积神经网络

《动手学深度学习 Pytorch版》 6.6 卷积神经网络

import torch from torch import nn from d2l import torch as d2l6.6.1 LeNet LetNet-5 由两个部分组成&#xff1a; - 卷积编码器&#xff1a;由两个卷积核组成。 - 全连接层稠密块&#xff1a;由三个全连接层组成。模型结构如下流程图&#xff08;每个卷积块由一个卷积层、…
阅读更多...
分布式电源接入对配电网影响分析（Matlab代码实现）

分布式电源接入对配电网影响分析（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
汽车电子——产品标准规范汇总和梳理（电磁兼容）

汽车电子——产品标准规范汇总和梳理（电磁兼容）

文章目录 前言 一、辐射发射 二、传导发射 三、沿电源线瞬态传导发射 四、辐射抗扰 五、大电流注入抗扰 六、磁场抗扰 七、便携式发射机抗扰 八、沿电源线瞬态抗扰 九、非电源线瞬态抗扰 十、电快速脉冲群抗扰 十一、静电抗扰 总结 前言 见《汽车电子——产品标准规…
阅读更多...
Oracle数据库安装卸载

Oracle数据库安装卸载

文章目录 一、数据库版本说明二、软件的下载和安装1.下载软件2.安装数据3.创建数据库4.PLSQL 三、数据库的卸载1.关闭相关服务3.卸载软件3.删除注册信息 四、用户和权限 一、数据库版本说明 1998年Oracle8i&#xff1a;i指internet&#xff0c;表示oracle向互联网发展&#xf…
阅读更多...
bootstrap柵格

bootstrap柵格

.col-xs- 超小屏幕 手机 (<768px) .col-sm- 小屏幕 平板 (≥768px) .col-md- 中等屏幕 桌面显示器 (≥992px) .col-lg- 大屏幕 大桌面显示器 (≥1200px) 分为12个格子 -后面的1代表占12分子1也就是一份 1.中等屏幕 <div class"container-fluid a">&l…
阅读更多...
ARM Linux DIY（十二）NES 游戏

ARM Linux DIY（十二）NES 游戏

文章目录 前言交叉编译工具链使能 Cnes 游戏模拟器移植游戏手柄调试 前言 很多小伙伴为了不让自己的 V3s 吃灰&#xff0c;进而将其打造成游戏机。 我们 DIY 的板子具备屏幕、扬声器、USB Host&#xff08;可以接游戏手柄&#xff09;&#xff0c;当然也要凑一凑热闹。 交叉编…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023