前言
我们知道,Hadoop常见的三种调度器:FIFO调度器(几乎不用,因为它是先来先服务)、容量调度器(Apache Hadoop 默认的调度器)、公平调度器(CDH默认调度器)。
其中,容量调度器和公平调度器都是支持多任务队列的,但是我们如果不去指定,它默认把任务都放到一个默认的队列(‘default’队列)当中去,如果提交的任务比较多,那么并发度肯定很低,毕竟每个队列都是一个FIFO队列。这就需要我们创建多个队列。
怎么创建队列
- 默认:调度器默认就 1 个 default 队列,不能满足生产要求(所有任务都在一个队列中,相当于在一个FIFO队列,并发度极低)。
- 按照框架:mr / hive /spark/ flink 每个框架的任务放入指定的队列(但是企业用的不是特别多,毕竟假如大公司,一次上万个任务,除以4之后每个队列的压力仍然很大
- 按照业务模块:登录注册、购物车、下单、业务部门 1、业务部门 2 ...(主流创建队列的方式)
创建多队列的好处
- 不用担心因为一个队列的原因,导致实习生直接一手递归死循环把整个集群资源耗尽干瘫痪。
- 降级使用,特殊时期保证重要的任务队列资源充足(双11、618)。
实际案例
需求
default 队列占总内存的
40%
,最大资源容量占总资源
60%(也就是说当自己资源不足的时候,可以去抢占别人的资源,但是不能超过60%)
,
hive
队列占总内存的 60%
,最大资源容量占总资源
80%
。
配置capacity-scheduler.xml
我们可以看到,目前default队列的总容量占总资源的100%,最大容量同样占100%。
我们需要配置的是 hadoop3.1.3etc/hadoop/capacity-scheduler.xml
替换修改后的调度器配置文件
分发脚本
刷新队列
语法: yarn rmadmin -refreshQueues
指定执行队列案例测试
使用wordcount案例进行测试,要求指定使用 hive 队列来提交任务。(不指定的话默认使用的是default队列)
命令:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount -D mapreduce.job.queuename=hive /wcinput /wcoutput2
此外,如果是我们自己编写的MapReduce程序,我们可以在Driver类中来指定提交任务的队列:
public static void main(String[] args) throws IOException,
ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
conf.set("mapreduce.job.queuename","hive");
//1. 获取一个 Job 实例
Job job = Job.getInstance(conf);
//....
//6. 提交 Job
boolean b = job.waitForCompletion(true);
System.exit(b ? 0 : 1);
}
容量调度器下的任务优先级
容量调度器,支持任务优先级的配置,在资源紧张时,优先级高的任务将优先获取资源。
默认情况,
Yarn
将所有任务的优先级限制为
0(也就是说,默认每个队列都是一个FIFO队列,按照先来先服务的原则)
,若想使用任务的优先级功能,须开放该限制。
1、修改yarn-site.xml
设置5个优先级等级
<property>
<name>yarn.cluster.max-application-priority</name>
<value>5</value>
</property>
2、分发配置、重启Yarn
更新了yarn-site.xml需要重启yarn才能生效
3、提交任务时指定任务优先级
hadoop jar /opt/module/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi -D mapreduce.job.priority=5 5 2000000
4、提交任务后指定任务优先级
yarn application -appID application_1611133087930_0009 -updatePriority 5