Hadoop作為開源的分布式計算和存儲軟件,已經(jīng)成為當前最為流行的大數(shù)據(jù)處理平臺。隨著云計算技術趨于成熟,越來越多的云服務提供商開始利用Hadoop平臺來提供云服務。為了保證云服務提供商和客戶雙方的利益,需要簽訂服務等級協(xié)議（Service Level Agreement,SLA）,云服務提供商必須遵循SLA,否則會受到違約處罰。同時由于云應用的不斷擴展以及網(wǎng)絡數(shù)據(jù)量的快速增加,使得性能各異的機器加入集群作為計算節(jié)點,形成異構集群。Hadoop內(nèi)置的調度算法沒有考慮到異構性,導致在實際應用中作業(yè)執(zhí)行效率較低,無法在SLA的截止時間內(nèi)完成。因此,如何提高異構集群中的資源利用率、減少作業(yè)執(zhí)行時間、避免SLA違反,成為目前亟待研究和解決的問題。針對以上問題,本文基于異構Hadoop 2.0集群,從作業(yè)性能預測、作業(yè)調度和資源分配等幾個方面對異構Hadoop集群中基于SLA的自適應作業(yè)調度展開研究。其主要研究內(nèi)容包括:1.針對提交的作業(yè)可能會出現(xiàn)不能滿足SLA的問題,提出了基于SLA感知的自適應調度機制與作業(yè)性能預測模型。該機制通過作業(yè)性能預測模型對作業(yè)進行預處理。提出的適應于Hadoop2.... 

【文章來源】：河南科技大學河南省

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【部分圖文】：

Hadooplo和Hadoop20的架構

括 copy 和 sort 過程，它可以廣義地定義為從 Map 輸出到 Reduce 輸入的全部過程。當 MapReduce 作業(yè)提交后，這時程序會將輸入的數(shù)據(jù)集分解為很多獨立的數(shù)據(jù)塊，稱為“分片”，并把這些“分片”分到不同的節(jié)點上進行執(zhí)行，每個“分片”由 map 任務（task）獨立地進行處理，并以完全并行的方式處理所有“分片”，最后再將這些節(jié)點上分片的處理結果輸出到 reduce 任務進行匯總。其運行原理如圖 2-2 所示。

圖 2-3 MapReduce 工作流程Fig. 2-3 MapReduce execution process8. AM 為該作業(yè)的 Map 任務和 Reduce 任務以輪詢的方式向 RM 申請源 container。9. AM 獲取到分配的資源 container 后，與 container 所屬的 NM 進行ntainer。10. Container 收到啟動命令后，首先從 HDFS 中下載任務所需要的 j和緩存文件等，將任務需要的資源本地化。11. 最后 container 啟動任務并運行。

【參考文獻】：
期刊論文
[1]異構資源環(huán)境下Hadoop節(jié)點能力自適應調度算法[J]. 沈學利,盛方嚴.  計算機應用研究. 2020(02)
[2]基于優(yōu)先級權重的Hadoop YARN調度算法[J]. 王榮麗,侯秀萍.  吉林大學學報(信息科學版). 2017(04)
[3]基于節(jié)點性能的Hadoop作業(yè)調度算法改進[J]. 馮興杰,賀陽.  計算機應用與軟件. 2017(05)
[4]一種Hadoop中基于作業(yè)類別和截止時間的調度算法[J]. 李曌,滕飛,李天瑞,楊浩.  計算機科學. 2015(06)
[5]集群資源統(tǒng)一管理和調度技術綜述[J]. 李永峰,周敏奇,胡華梁.  華東師范大學學報(自然科學版). 2014(05)
[6]基于節(jié)點能力的Hadoop集群任務自適應調度方法[J]. 鄭曉薇,項明,張大為,劉青昆.  計算機研究與發(fā)展. 2014(03)
[7]Hadoop平臺下改進的LATE調度算法[J]. 胡丹,于炯,英昌甜,鄒偉明.  計算機工程與應用. 2014(04)
[8]Hadoop平臺中空閑時間調度器的設計與實現(xiàn)[J]. 楊浩,滕飛,李天瑞,李曌.  計算機工程與科學. 2013(10)
[9]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴林,黃義雙.  電子學報. 2011(11)

碩士論文
[1]異構環(huán)境下Hadoop作業(yè)調度算法的研究與實現(xiàn)[D]. 田野.北京郵電大學 2018
[2]異構環(huán)境中MapReduce資源調度機制的負載優(yōu)化方法研究[D]. 蔡衛(wèi)東.南京信息工程大學 2017
[3]基于SLA感知的Hadoop YARN節(jié)能調度策略研究[D]. 李萍.山東大學 2016
[4]基于YARN的高響應性Hadoop計算資源調度器的研究與實現(xiàn)[D]. 劉陽.哈爾濱工業(yè)大學 2016
[5]面向異構集群的基于節(jié)點資源動態(tài)調整的Hadoop調度優(yōu)化研究[D]. 尹承忱.華中科技大學 2015
[6]Hadoop YARN資源分配與調度的研究[D]. 李媛禎.南京航空航天大學 2015
[7]基于SLA的MapReduce調度機制研究[D]. 王捷.山東大學 2014
[8]IaaS云計算環(huán)境中基于SLA的資源動態(tài)管理研究[D]. 吳海雙.復旦大學 2013



本文編號：3505553