问答1 问答5 问答50 问答500 问答1000
网友互助专业问答平台

hadoop集群中,fifo调度算法具有哪些特点

提问网友 发布时间:2022-04-20 07:57
声明:本网页内容为用户发布,旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
E-MAIL:1656858193@qq.com
1个回答
热心网友 回答时间:2023-07-18 06:13
Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法
先来先服务(FIFO)
FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现,同时也减轻了jobtracker的负担。但是它的缺点也是显然的,它对所有的作业都一视同仁,没有考虑到作业的紧迫程度,另外对小作业的运行不利。
公平调度策略
这种策略在系统中配置了任务槽,一个任务槽可以运行一个task任务,这些任务就是一个大的作业被切分后的小作业。当一个用户提交多个作业时,每个作业可以分配到一定的任务槽以执行task任务(这里的任务槽可以理解为可以运行一个map任务或rece任务)。如果把整个hadoop集群作业调度跟操作系统的作业调度相比,第一种FIFO就相当于操作系统中早期的单道批处理系统,系统中每个时刻只有一道作业在运行,而公平调度相当于多道批处理系统,它实现了同一个时刻多道作业同时运行。由于linux是多用户的,若有多个用户同时提交多个作业会怎样?在这种策略中给每个用户分配一个作业池,然后给每个作业池设置一个最小共享槽个数,什么是最小共享槽个数呢?先要理解一个最小什么意思,最小是指只要这个作业池需要,调度器应该确保能够满足这个作业池的最小任务槽数的需求,但是如何才能确保在它需要的时候就有空的任务槽,一种方法是固定分配一定数量的槽给作业池不动,这个数量至少是最小任务槽值,这样只要在作业池需要的时候就分配给它就行了,但是这样在这个作业池没有用到这么多任务槽的时候会造成浪费,这种策略实际上是这样做的,当作业池的需求没有达到最小任务槽数时,名义上是自己的剩余的任务槽会被分给其他有需要的作业池,当一个作业池需要申请任务槽的时候若系统中没有了,这时候不会去抢占别人的(也不知道抢谁的啊),只要当前一个空的任务槽释放会被立即分配给这个作业池。
在一个用户的作业池内,多个作业如何分配槽这个可以自行选择了如FIFO。所以这种调度策略分为两级:
第一级,在池间分配槽,在多用户的情况下,每个用户分配一个作业池。
第二级,在作业池内,每个用户可以使用不同的调度策略。
计算能力调度
计算能力调度和公平调度有点类似,公平调度策略是以作业池为单位分配任务槽,而计算能力调度是以队列为单位分配tasktracker(集群中一个节点),这种调度策略配置了多个队列,每个队列配置了最小额度的tasktracker数量,同公平调度策略类似,当一个队列有空闲的tasktracker时,调度器会将空闲的分配给其他的队列,当有空闲的tasktracker时,由于这时候可能有多个队列没有得到最小额度的tasktracker而又在申请新的,空闲的tasktracker会被优先分配到最饥饿的队列中去,如何衡量饥饿程度呢?可以通过计算队列中正在运行的任务数与其分得的计算资源之间的比值是否最低来判断的,越低说明饥饿程度越高。
计算能力调度策略是以队列的方式组织作业的,所以一个用户的作业可能在多个队列中,如果不对用户做一定的*,很可能出现在多个用户之间出现严重不公平的现象。所以在选中新作业运行时候,还需要考虑作业所属的用户是否超过了资源的*,如果超过,作业不会被选中。
对于在同一个队列中,这种策略使用的是基于优先级的FIFO策略,但是不会抢占。

本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。

简述负载均衡集群中常见的调度算法及原理?(5种以... 搭建一个进行作业调度的集群 AppCenter 2.0应用集群调度系统有什么作用? 有谁了解融合集群调度?请介绍下相关的知识。 集群调度系统的集群方式 集群调度只可以在同地域使用吗,异地可以实现吗? 三星Galaxy Note10真的会取消耳机孔吗? 三星note10+5g耳机孔在哪里 白鹭为什么会,低飞? 白鹭主要内容 《白鹭》说明文 白鹭有什么生活习惯? 白鹭介绍300字。 关于白鹭的资料 白鹭的生活习性? 白鹭怎么捕鱼不满意,我问的是白鹭捕鱼是什么样的? 白鹭的资料100字? 介绍白鹭的本领? 白鹭对捕鱼的讲究? 动物白鹭能抓多少条鱼一分钟? 公网集群调度系统哪家公司做得专业? 集群网关在调度指挥中有什么作用? 求集群管理的相关知识! hadoop调度算法中怎么判断哪个是快节点,哪个是慢... 集群的关系 GT800集群系统采用了什么关键技术 集群的发展未来 中文在线股票为什么跌 三星note10麦克风在哪里 常州鼻部微整形多少钱? 常州整容一般多少钱? 整容磨骨大概需要多少钱? 整容全脸一般要多少钱 现在整容要多少钱? 整容大概需要多少钱? 16岁开始整容,十几年整容200次,整容费需要多少钱? 韩国整容要多少钱? 男人整容成女生脸大概要多少钱? 三星note10+的网易云音乐无法经蓝牙耳机播放歌曲,完全处于外放状态。优酷、爱奇艺正常,可以经蓝牙播放 如何将Outlook msg格式邮件转换为标准的eml格式邮...
Top