本文關鍵詞：基于Yarn的負載均衡研究

  更多相關文章： 負載均衡 Hadoop Yarn Fair Scheduler算法 動態(tài)反饋

【摘要】：近年來,計算機行業(yè)的數(shù)據量以每年翻倍的速度增加,對計算機的計算能力和存儲容量提出更高要求,分布式存儲和計算技術迅速發(fā)展。Hadoop平臺的應用最為廣泛,Yarn是Hadoop2.0之后的調度機制,其中的調度算法在設計時沒有考慮節(jié)點的性能差異。但是,現(xiàn)實數(shù)據中心的計算設備由于購置時間、硬件與軟件配置等方面的原因,計算節(jié)點之間一般都存在性能上的差異,容易導致節(jié)點間出現(xiàn)“忙閑不均”的現(xiàn)象,影響作業(yè)的執(zhí)行效率。因此在調度模塊Yarn上,通過優(yōu)化調度算法、采用新的調度策略,可以有效緩解Hadoop中負載不均衡的問題,具有重要研究價值。本文首先描述了Hadoop平臺的設計與實現(xiàn)過程;在深入研究Hadoop的開源代碼的基礎上,整理出Hadoop中HDFS、MapReduce、Yarn及Yarn內部的各個調度算法的執(zhí)行原理,繪制出各部分的運行流程。然后,針對節(jié)點性能提出節(jié)點的評價指標,綜合考慮了節(jié)點的硬件配置參數(shù)和運行過程中的動態(tài)性能指標;將動態(tài)性能指標和硬件配置參數(shù)加入到Fair Scheduler算法中,實現(xiàn)了根據節(jié)點權重分配任務的算法。在Hadoop集群上的實驗表明,所提出的節(jié)點性能評價指標和對Fair Scheduler調度算法的改進,有效解決了節(jié)點的負載均衡問題,整體上提高了作業(yè)執(zhí)行效率。最后,在Fair Scheduler調度算法基礎上進一步增加動態(tài)反饋機制,形成了動態(tài)反饋調度算法。算法的基本過程是:從Map階段反饋的心跳得到任務的執(zhí)行情況,將性能差異反饋給資源調度系統(tǒng),由資源調度系統(tǒng)來調整之后的任務分配。經實驗證明,加入了動態(tài)反饋后的調度算法對負載均衡問題有了很大的改善。
【學位授予單位】：中國民航大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13;TP301.6

【參考文獻】

中國期刊全文數(shù)據庫 前7條

1 唐瑋峰;趙振戟;;Hadoop的負載均衡調度算法研究[J];軟件導刊;2016年05期

2 劉朵;曾鋒;陳志剛;姚亦韜;;Hadoop平臺中一種Reduce負載均衡貪心算法[J];計算機應用研究;2016年09期

3 陶永才;李文潔;石磊;劉磊;衛(wèi)琳;曹仰杰;;基于負載均衡的Hadoop動態(tài)延遲調度機制[J];小型微型計算機系統(tǒng);2015年03期

4 林常航;郭文忠;陳煌寧;;針對Hadoop異構集群節(jié)點性能的數(shù)據分配策略[J];小型微型計算機系統(tǒng);2015年01期

5 儲雅;馬廷淮;趙立成;;云計算資源調度:策略與算法[J];計算機科學;2013年11期

6 饒磊;湯小春;侯增江;;服務器集群負載均衡策略的研究[J];計算機與現(xiàn)代化;2013年01期

7 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據負載均衡算法的研究及優(yōu)化[J];微電子學與計算機;2012年09期

中國碩士學位論文全文數(shù)據庫 前7條

1 王少娟;基于Hadoop的作業(yè)調度負載均衡算法研究[D];安徽理工大學;2016年

2 劉黨朋;不均衡環(huán)境下面向Hadoop的負載均衡算法研究[D];北京郵電大學;2015年

3 趙靜;云計算平臺Hadoop負載均衡研究[D];河北工程大學;2014年

4 張麗梅;基于負載均衡的云資源調度策略研究[D];寧夏大學;2014年

5 孟蒙;基于云計算的負載均衡技術的研究[D];南京郵電大學;2014年

6 李元洪;基于反饋的動態(tài)負載平衡調度算法在Hadoop異構環(huán)境中的設計與實現(xiàn)[D];南京理工大學;2012年

7 劉小帥;PC制造商轉型與HaaS商業(yè)模式創(chuàng)新的研究[D];北京郵電大學;2010年

，

本文編號：1294426