作業(yè)調(diào)度器是分布式文件系統(tǒng)的核心模塊之一,它的性能好壞會極大程度影響到分布式集群的資源利用效率以及整體性能。Hadoop分布式系統(tǒng)中現(xiàn)有的作業(yè)調(diào)度器都只側(cè)重單一的技術(shù)指標,使得系統(tǒng)不能及時有效地為多樣的客戶需求分配計算資源（如CPU資源和內(nèi)存資源等）。對此,本文提出了Hadoop資源感知調(diào)度器,特別以資源合理調(diào)度分配為目的,對Hadoop分布式系統(tǒng)的隊列管理和作業(yè)管理進行優(yōu)化設(shè)計,并設(shè)計和實現(xiàn)了具有資源感知能力的Hadoop作業(yè)調(diào)度器。Hadoop資源感知調(diào)度器一方面針對當前Hadoop分布式系統(tǒng)以隊列的方式管理作業(yè)時所存在的缺點,對用戶的需求進行考慮,將隊列分為三種類型:大資源需求量的作業(yè)隊列,正常資源需求量的作業(yè)隊列,以及較少資源需求量的作業(yè)隊列。通過比較作業(yè)的資源請求和節(jié)點列表的平均可用資源量,將作業(yè)劃入相應(yīng)的作業(yè)隊列中,從而完成隊列的合理劃分以及作業(yè)的科學(xué)管理。另一方面Hadoop資源感知調(diào)度器考慮集群資源的供應(yīng),選擇針對集群各個節(jié)點的CPU資源量,提出一種以CPU資源量為主要比較標準的節(jié)點劃分算法,采用三種類型列表管理擁有不同CPU資源量的節(jié)點,即擁有較大CPU資源量的節(jié)點列... 

【文章來源】：華僑大學(xué)福建省

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

Hadoop資源感知調(diào)度器架構(gòu)圖

圖 2.1 MRv1 架構(gòu)圖端為用戶提供了與作業(yè)跟蹤器通信的通道，以及查看作業(yè)運戶將 MapReduce 程序通過客戶端提交給作業(yè)跟蹤器。跟蹤器主要監(jiān)控系統(tǒng)資源和調(diào)度作業(yè)。它還監(jiān)管任務(wù)跟蹤器作業(yè)的容錯機制。當一個節(jié)點上發(fā)現(xiàn)異常作業(yè)時，作業(yè)跟蹤正常節(jié)點以重新執(zhí)行。另外，作業(yè)跟蹤器會收集集群計算資情況等信息，調(diào)度器通過作業(yè)跟蹤器提供的信息能夠合理地跟蹤器是作業(yè)的實際執(zhí)行者。它定期把節(jié)點的作業(yè)執(zhí)行狀態(tài)量以心跳方式發(fā)送給作業(yè)跟蹤器，并處理作業(yè)跟蹤器的命令educe 框架中，任務(wù)跟蹤器以槽（slot）的方式劃分節(jié)點計算資得了槽之后，它才有機會運行。槽還分為 Map slot 和 Reduce Map 階段使用，Reduce 槽供 Reduce 階段使用。任務(wù)跟蹤器進行任務(wù)的并發(fā)度限定。

二代 MapReduce 架構(gòu) MRv1 存在諸多缺點，Apache 升級了 MapReduce，即第二代 M（MRv2），也稱作 YARN[47]。因 MRv2 的資源管理模塊獨立構(gòu)成核心轉(zhuǎn)變成 YARN。在 YARN 框架中，MRv1 的作業(yè)跟蹤器進程：資源管理器（ResourceManager）管理集群計算資源，pplicationMaster）只負責(zé)一個作業(yè)，這樣使 Hadoop 能夠支持 。 實 際 上 ， YARN 還 是 主 從 結(jié) 構(gòu) ， 組 件 包 括 作 業(yè) 控icationMaster ）、 資 源 管 理 器 （ ResourceManager ）、 節(jié) 點anager）和資源抽象（Container）。其中資源管理器是主節(jié)點節(jié)點，資源管理器負責(zé)管理節(jié)點管理器上的資源并進行調(diào)度示，各個組件功能描述如下。

【參考文獻】：
期刊論文
[1]云計算資源納什均衡優(yōu)化分配方法改進[J]. 王巖,汪晉寬,宋欣.  計算機工程. 2017(12)
[2]基于任務(wù)進度感知的異構(gòu)Hadoop云平臺任務(wù)調(diào)度方案[J]. 劉瑩,羅興宇,王寧,羅強.  計算機應(yīng)用研究. 2017(10)
[3]異構(gòu)Hadoop集群中數(shù)據(jù)副本放置策略優(yōu)化[J]. 劉艷,蔡燕冬,謝曉東,張慶磊.  華中科技大學(xué)學(xué)報(自然科學(xué)版). 2016(07)
[4]一種Hadoop Yarn的資源調(diào)度方法研究[J]. 李媛禎,楊群,賴尚琦,李博涵.  電子學(xué)報. 2016(05)
[5]基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法[J]. 王磊,張永堅,賈繼鵬,牛曉光,聶昌龍.  計算機系統(tǒng)應(yīng)用. 2016(03)
[6]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅,周樂樂.  計算機工程. 2016(01)
[7]SQL-DFS:一種基于HDFS的海量小文件存儲系統(tǒng)[J]. 馬志強,楊雙濤,閆瑞,張澤廣.  北京工業(yè)大學(xué)學(xué)報. 2016(01)
[8]Hadoop云平臺下基于資源預(yù)估的作業(yè)調(diào)度算法[J]. 盧慧,高弘博,張豐滿,王梅,肖震.  計算機應(yīng)用研究. 2016(08)
[9]Hadoop平臺下基于截止時間限制的動態(tài)調(diào)度算法的研究[J]. 張永,賀言君.  計算機應(yīng)用研究. 2016(02)
[10]一種優(yōu)化的Hadoop副本放置策略[J]. 蔡燕冬,劉艷,張慶磊.  微型機與應(yīng)用. 2015(16)



本文編號：3414063