Hadoop学习笔记（HDP）-Part.14 安装YARN+MR

news2024/11/28 2:49:09

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十四、安装YARN+MR

1.MR中间结果存储权限

使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当MR执行结束之后，中间结果会被删除，目录保留。因此需要在Ranger中对/user的权限做策略。
在这里插入图片描述

2.安装服务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
YARN的部分存储路径调整：
Node Manager
YARN NodeManager Local directories：/data01/hadoop/yarn/local
YARN NodeManager Log directories：/data01/hadoop/yarn/log
Application Timeline Server
yarn.timeline-service.leveldb-state-store.path：/data01/hadoop/yarn/timeline
yarn.timeline-service.leveldb-timeline-store.path：/data01/hadoop/yarn/timeline
Advanced yarn-hbase-env
is_hbase_system_service_launch：true
use_external_hbase：false
YARN可使用内置的HBase数据库，也可以使用外部；使用内置时，需要is_hbase_system_service_launch设置为true
Advanced ranger-yarn-security
Add YARN Authorization：取消勾选
该选项是禁用YARN本身的ACL权限控制，YARN队列的权限控制由RANGER统一管理
注：需要先对NameNode页面的认证取消了，否则ResourceManager修改后也不生效
MAPREDUCE2的部分存储路径调整：
Advanced mapred-site
mapreduce.jobhistory.recovery.store.leveldb.path：/data01/hadoop/mapreduce/jhs
Custom mapred-site
mapred.local.dir：/data01/hadoop/mapred
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.ResourceManager HA

(1)启用HA

在ACTIONS->Enable ResourceManager HA中配置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

(2)确认配置文件

启用HA后，会在/etc/hadoop/conf/yarn-site.xml中出现如下关于HA的配置项
在这里插入图片描述
指定zk下对应的文件目录为/yarn-leader-election，对应的rm节点为hdp01.hdp.com和hdp02.hdp.com
在zookeeper中查看也同样生成了对应的文件目录
在这里插入图片描述

(3)确认YARN、MR2配置

①CPU资源调度
目前的CPU被划分为虚拟CPU，这里的虚拟CPU是yarn自己引入的概念，因为每个服务器的CPU计算能力不一样，有的机器可能是其他机器计算能力的两倍，然后可以通过多配置几个虚拟CPU弥补差异。在yarn中，CPU的相关配置如下：
yarn.nodemanager.resource.cpu-vcores
表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设置为与物理CPU核数数目相同。如果节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。
yarn.scheduler.minimum-allocation-vcores
单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。
yarn.scheduler.maximum-allocation-vcores
单个任务可申请的最多虚拟CPU个数，默认是4。这里说的cpu个数都是说的虚拟cpu，默认的是1个物理cpu=2个虚拟cpu。
②Memory资源调度
yarn一般允许用户配置每个节点上可用的物理资源，注意，这里是"可用的"，不是物理内存多少，就设置多少，因为一个服务器节点上会有若干的内存，一部分给yarn，一部分给hdfs，一部分给hbase。在yarn中，Memory相关的配置如下：
yarn.nodemanager.resource.memory-mb
设置该节点上yarn可使用的内存，默认为8G，如果节点内存资源不足8G，要减少这个值，yarn不会智能的去检测内存资源，一般这个设置yarn的可用内存资源
yarn.scheduler.minimum-allocation-mb
单个任务可申请的最小的内存大小，默认是1G，当内存不够时，会自动按照一定大小累加内存。
yarn.scheduler.maximum-allocation-mb
单个任务最大申请物理内存量，默认为8291MB
③示例
以hdp03-05（8C、8G）为例，
yarn.nodemanager.resource.cpu-vcores 虚拟core
这个参数根据自己生产服务器决定，比如服务器很富裕，那就直接1:1，设置成8，如果服务器不是很富裕，那就直接成1:2,设置成8，本次设置为16
yarn.nodemanager.resource.memory-mb 总内存
生产上一般要预留15-20%的内存，那么可用内存就是8*0.8=6.4G，本次设置为6G
yarn.scheduler.minimum-allocation-mb 单任务最小内存
如果设置成500M，那6/0.5 = 12，就是最多可以跑12个container
如果设置成1G，那6/1 = 6，就是最多可以跑6个container
本次设置为1G
yarn.scheduler.minimum-allocation-vcores 单任务最少vcore
如果设置vcore = 1，那么16/1 = 16，就是最多可以跑16个container，如果设置成这个，根据上面内存分配的情况，最多只能跑6个container，vcore有点浪费
如果设置vcore = 2，那么16/2 = 8，就是最多可以跑8个container
yarn.scheduler.maximum-allocation-vcores 单任务最多vcore
一般就设置成4个，cloudera公司做过性能测试，如果cpu大于等于5之后，cpu利用率反而不是很好（固定经验值）
yarn.scheduler.maximum-allocation-mb 单任务最大内存
这个要根据实际业务设定，如果有大任务

4.测试

(1)创建租户并分配对应的资源队列

在这里插入图片描述
跳转至YARN Queue Manager页面，针对之前的租户tenant1和tenant2，新建资源队列，注意所有队列总和要为100%，否则会报错
在这里插入图片描述
在这里插入图片描述
租户与队列资源关系绑定
[u | g] [username : groupname] [yarn队列的名字]
本次绑定为
u:tenant1:tenant1,u:tenant2:tenant2
在这里插入图片描述
保存本次操作内容
在这里插入图片描述
查看resourcemanager页面，可以看到已经更新出新的资源队列
在这里插入图片描述

(2)队列使用权限

可使用官方提供的测试jar包
https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-examples
在OpenLDAP中创建账号ranger_yarn，重启UserSync服务后将账号同步至Ranger中，然后在kerberos中创建同样的账号（注：该测试jar包只能用账号ranger_yarn，队列offline）

kadmin.local
addprinc -randkey ranger_yarn
ktadd -kt /root/keytab/ranger_yarn.keytab ranger_yarn

在Yarn中创建队列及账号与队列的映射关系
在这里插入图片描述
队列offline、账号ranger_yarn都准备好后，在Ranger上创建授权关系
在这里插入图片描述
① 计算圆周率
使用ranger_yarn登录，运行计算圆周率任务

kinit -kt /root/keytab/ranger_yarn.keytab ranger_yarn
hadoop jar /root/hadoop-mapreduce-examples-3.1.1.3.0.1.4-1.jar pi -Dmapred.job.queue.name=offline 10 50

hadoop jar是hadoop运行jar包命令
第一个参数pi：表示MapReduce程序执行圆周率计算
第二个参数：用于指定map阶段运行的任务次数，并发度，这是是10
第三个参数：用于指定每个map任务取样的个数，这里是50
在这里插入图片描述
在Yarn中可查看Application的信息
在这里插入图片描述
此时在运行jar包时指定队列为tenant1，执行报错，说明权限

② 单词词频统计
首先创建要统计词频的文件，并上传到hdfs上，提前做好对ranger_yarn的hdfs授权

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
hdfs dfs -mkdir /testhdfs/ranger_yarn
kinit -kt /root/keytab/ranger_yarn.keytab ranger_yarn
hdfs dfs -put /root/wordcount_input /testhdfs/ranger_yarn
hdfs dfs -ls /testhdfs/ranger_yarn

运行词频统计jar包

kinit -kt /root/keytab/ranger_yarn.keytab ranger_yarn
hadoop jar /root/hadoop-mapreduce-examples-3.1.1.3.0.1.4-1.jar wordcount -Dmapred.job.queue.name=offline /testhdfs/ranger_yarn/wordcount_input /testhdfs/ranger_yarn/wordcount_output

第一个参数：wordcount表示执行单词统计
第二个参数：指定输入文件的路径
第三个参数：指定输出结果的路径（该路径不能已存在）
统计完成会在输出目录生成结果

hdfs dfs -cat /testhdfs/ranger_yarn/wordcount_output/part-r-00000

在这里插入图片描述

5.常用指令

（1）查看命令

yarn application -list
yarn application -list -appStates <ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED>

（2）Kill命令
根据id杀死任务

yarn application -kill <application_id>

（3）查看日志
查询Application日志

yarn logs -applicationId <ApplicationId>

查询Container日志

yarn logs -applicationId -containerId <ApplicationId> -containerId <ContainerId>

（4）查看尝试运行的任务
查看尝试运行的任务

yarn applicationattempt -list<ApplicationId>

查看尝试运行任务的状态

yarn applicationattempt -status <ApplicationAttemptId>

（5）查看容器
列出所有Container

yarn container -list <ApplicationAttemptId>

打印Container状态

yarn container -status <ContainerId>

6.常见报错

(1)Timeline Service启动报错

启动时报错：

java.util.concurrent.ExecutionException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /atsv2-hbase-secure/hbaseid

在这里插入图片描述
在Yarn中的CONFIGS->ADVANCED->Advanced yarn-hbase-env中，将is_hbase_system_service_launch启用
在这里插入图片描述

(2)History Server启动一会后报错

启动时无报错，等几分钟后报错并停止，在hdp02上查看日志，/var/log/hadoop-mapreduce/mapred/hadoop-mapred-historyserver-hdp02.log
报错信息为：

Error creating intermediate done directory: [hdfs://hdp315:8020/mr-history/tmp]
Permission denied: user=mapred, access=WRITE, inode="/mr-history"

在这里插入图片描述
查看hdfs上的目录权限，确认权限归属无问题
在这里插入图片描述
原因是Ranger上取消了联合授权功能，在Ranger上没有对应的策略开放该目录，导致mapred用户无法访问对应的目录，开启联合授权功能后恢复。

(3)告警：ATS embedded HBase is NOT running on hdp01.hdp.com

告警信息：ATS embedded HBase is NOT running on hdp01.hdp.com
在这里插入图片描述
resourceMananger的JVM内存是1G，内存太小导致的，将ResourceManager中的Java heap size的JVM内存增加到了2048MB
在这里插入图片描述
重启Yarn服务后告警消失

(4)提交任务后状态一直为ACCEPTED

主要可能的原因是分配给容器的内存过小导致，正常情况下需要适当调整分配内存，本次是因为总体内存量不大，而在分配queue:offline的时候，设置的资源大小为5%，导致无法正常运行，而是一直停留在分配资源阶段，重新分配队列资源大小后恢复。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1286705.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PRCD-1229 : An attempt to access configuration of database

PRCD-1229 : An attempt to access configuration of database

今天维护oda一体机时&#xff0c;发现无法在grid用户下面关闭数据库实例&#xff0c;如下 ASM1:/home/gridoda0>srvctl stop database -d orcl -o immeidate PRCD-1229 : An attempt to access configuration of database orcl was rejected because its version 11.2.0.4.…
阅读更多...
Lombok的踩坑系列之@Builder

Lombok的踩坑系列之@Builder

背景&#xff1a; Lombok 这个插件大家日常工作中几乎是必备的&#xff0c;几个简单的注解就可以帮助我们减少一大坨get/set方法等&#xff1b;其中Builder注解使用的也很广泛&#xff0c;使用了建造者模式帮助我们构建出个性化的对象&#xff0c;本次踩坑点就在这个地方。 先…
阅读更多...
智能优化算法应用：基于混沌博弈算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于混沌博弈算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于混沌博弈算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于混沌博弈算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.混沌博弈算法4.实验参数设定5.算法结果6.参考…
阅读更多...
Learning Memory-guided Normality for Anomaly Detection 论文阅读

Learning Memory-guided Normality for Anomaly Detection 论文阅读

Learning Memory-guided Normality for Anomaly Detection 摘要1.介绍2.相关工作3.方法3.1网络架构3.1.1 Encoder and decoder3.1.2 Memory 3.2. Training loss3.3. Abnormality score 4.实验5.总结总结&代码复现&#xff1a; 文章信息&#xff1a; 发表于&#xff1a;cvpr…
阅读更多...
我最喜欢的白版应用，AI加持的新功能开源！强烈推荐

我最喜欢的白版应用，AI加持的新功能开源！强烈推荐

Excalidraw 把他们的文本到图表的功能开源了 Excalidraw是一个虚拟白板应用&#xff0c;专门用于绘制类似手绘的图表。它提供了一个无限的、基于画布的白板&#xff0c;具有手绘风格&#xff0c;支持多种功能。 之前我分享的&#xff1a;72张PNG&#xff0c;图解机器学习 里面…
阅读更多...
Linux的IO模型——非阻塞IO

Linux的IO模型——非阻塞IO

非阻塞IO就是当用户recvfrom时&#xff0c;如果内核数据没有准备好&#xff0c;那么就直接返回结果&#xff0c;而不是阻塞用户进程&#xff0c;让其一直等待。 我们可以发现&#xff0c;非阻塞IO模型中&#xff0c;用户进程在第一个阶段是非阻塞&#xff0c;第二个阶段是阻塞状…
阅读更多...
Oracle（2-11）RMAN Backups

Oracle（2-11）RMAN Backups

文章目录 一、基础知识1、RMAN Backup Concepts RMAN备份概念2、RMAN Backup Modes RMAN备份的类型3、Backup File Types 备份文件类型4、RMAN Backup Destinations RMAN备份目标5、Backup Constraints 备份约束6、Recovery Manager Backups 恢复管理器备份7、Characteristics …
阅读更多...
黑苹果配置清单

黑苹果配置清单

手里的MacBookPro已经快沦为电子垃圾了&#xff0c;平时用MacOS比较多&#xff0c;Window用的比较少&#xff0c;而苹果电脑的价格不管是MacBookPro还是MacMini丐版的便宜但是面对现在Window动不动就64g内存的情况就显得微不足道了&#xff0c;高配的价格直接把我劝退&#xff…
阅读更多...
iphone/安卓手机如何使用burp抓包

iphone/安卓手机如何使用burp抓包

iphone 1. 电脑 ipconfig /all 获取电脑网卡ip&#xff1a; 192.168.31.10 2. 电脑burp上面打开设置&#xff0c;proxy&#xff0c;增加一条 192.168.31.10:8080 3. 4. 手机进入设置 -> Wi-Fi -> 找到HTTP代理选项&#xff0c;选择手动&#xff0c;192.168.31.10:8080 …
阅读更多...
[Redis]基础入门

[Redis]基础入门

Redis入门 一、初识Redis Redis是一种键值型的NoSql数据库。 其中键值型&#xff0c;是指Redis中存储的数据都是以key、value对的形式存储&#xff0c;而value的形式多种多样&#xff0c;可以是字符串、数值&#xff0c;甚至是json。 NoSql则是相对于传统关系型数据库而言&a…
阅读更多...
pthread学习遇到的问题

pthread学习遇到的问题

1.pthread_t 是个类型&#xff0c;指的是线程ID。pthread_create&#xff08;&#xff09;的时候穿地址进去&#xff0c;线程创建好后就会成为线程ID&#xff08;即输出型参数&#xff09; 2.pthread_self() pthread_self()获得是调用这个函数的线程ID &#xff08;我以为是…
阅读更多...
Java异步编程之利器：Guava异步编程实践

Java异步编程之利器：Guava异步编程实践

第1章&#xff1a;引言 - 为什么要用Guava进行异步编程&#xff1f; 大家好&#xff0c;我是小黑&#xff01;今天咱们要聊的是Guava在异步编程中的应用。首先&#xff0c;让我们搞清楚为什么要用Guava来处理异步任务。在Java的世界里&#xff0c;异步编程是个老话题了&#x…
阅读更多...
信号是怎么搞到电磁波上面去的呢？

信号是怎么搞到电磁波上面去的呢？

在之前的文章中&#xff0c;我们曾多次讲到电磁波的美妙&#xff0c;但是有了电磁波就可以通信了吗&#xff1f; No&#xff0c;我们要把信息加载到电磁波上&#xff0c;这个电磁波就可以作为信息的载体来工作了。可是信号是怎么加载到电磁波上的呢&#xff1f; 今天我们一起…
阅读更多...
宝塔上安装mysql遇到的问题

宝塔上安装mysql遇到的问题

宝塔上安装mysql遇到的问题 文章目录 宝塔上安装mysql遇到的问题一、下载mysql二、启动报错三、设置密码四、解决报错bash未找到命令mysql五、继续修改root密码五、宝塔中设置端口六、使用连接工具连接数据库 一、下载mysql 宝塔软件商店里下载mysql&#xff0c;然后点击启动。…
阅读更多...
SpringSecurity6 | 默认用户生成

SpringSecurity6 | 默认用户生成

SpringSecurity6 | 默认用户生成 ✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a; Java…
阅读更多...
(四) python门面模式

(四) python门面模式

文章目录 4.1 结构型设计模式4.1.1 简介4.1.2 常见的几种结构型设计模式 4.2 理解门面设计模式4.2.1 门面设计模式概述4.2.2 门面设计模式的作用 4.3 UML类图4.3.1 门面4.3.2 系统4.3.3 客户端 4.4 门面模式的代码实现4.4.1 场景&#xff1a;4.4.2 python实现 4.5 原理&#xf…
阅读更多...
【C++】动态内存管理——new和delete

【C++】动态内存管理——new和delete

这篇文章我们讲一下C的动态内存管理&#xff0c;从一个比较陌生的知识说起&#xff0c;我们知道&#xff0c;一个工程可以创建很多.c文件&#xff0c;我们如果定义一个全局变量&#xff0c;只要用extern声明一下&#xff0c;在每个文件都可以用。而用static修饰的全局变量只能在…
阅读更多...
Vue Computed

Vue Computed

小满&#xff0c;我的神&#xff01; 视频链接 // 只读 const plusOne computed(() > count.value 1) // 可读可写 const plusOne computed({get: () > count.value 1,set: (val) > {count.value val - 1} }, { // 用于调试onTrack(e) {debugger},onTrigger(e) …
阅读更多...
软件测试基础知识总结

软件测试基础知识总结

之前有将基础的软件测试知识做了一个总结&#xff0c;但比较潦草&#xff0c;很多内容只是一笔带过&#xff0c;快到年底了&#xff0c;自己也有个写年终知识总结文档的计划&#xff0c;就将基础的理论知识重新整理一番。 有人问我&#xff0c;这些都是能搜索到的知识&#xf…
阅读更多...
微信视频无法播放，快速进行格式转换方法

微信视频无法播放，快速进行格式转换方法

你是否遇到过这样的事情呢&#xff0c;朋友或者家人在电脑上用微信给你发的视频&#xff0c;在自己的微信上点开却无法播放。这种是什么原因造成的呢&#xff1f;是不是需要将这些无法播放的视频转换为微信支持的格式才行&#xff0c;那应该如何转换呢&#xff1f; 不要着急&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023