一、概述
目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
 CDH框架默认调度器是Fair Scheduler。
配置:yarn-default.xml
<property><description>The class to use as the resource scheduler.</description><name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
二、先进先出调度器(FIFO)
算法逻辑:单队列,根据提交作业的先后顺序,先来先服务。
 
 生产环境中基本不用
三、容量调度器(Capacity Scheduler)[重点]
Capacity Scheduler是Yahoo开发的多用户调度器。
 
案例说明

四、公平调度器(Fair Schedulere)
Fair Schedulere是Facebook开发的多用户调度器。
 
缺额

 比如,一个任务,应获得的资源是10G内存,但是,实际分配到的只有6G内存,所以,缺额为4G。
DRF策略

Fair策略

案例说明

