本文關(guān)鍵詞：基于Hama并行計(jì)算框架的多層級(jí)作業(yè)調(diào)度算法的研究及實(shí)現(xiàn)

  更多相關(guān)文章： Apache Hama BSP模型 分布式計(jì)算 作業(yè)調(diào)度算法

【摘要】：隨著大數(shù)據(jù)技術(shù)在業(yè)界和學(xué)術(shù)界的發(fā)展,大量的分布式計(jì)算平臺(tái)投入運(yùn)行,其中以Apache Hadoop平臺(tái)應(yīng)用最為廣泛。Hadoop屏蔽了分布式系統(tǒng)的底層實(shí)現(xiàn)細(xì)節(jié),使得應(yīng)用程序開(kāi)發(fā)人員可以更加專(zhuān)注于算法邏輯的實(shí)現(xiàn)。但是,Hadoop也有其局限性,在處理如圖計(jì)算以及機(jī)器學(xué)習(xí)等問(wèn)題時(shí),其效率并不高�；贐SP(Bulk Synchronous Parallel)模型的Apache Hama并行計(jì)算框架的出現(xiàn),彌補(bǔ)了Hadoop的這一缺點(diǎn)。但是,由于Hama創(chuàng)建時(shí)間不長(zhǎng),發(fā)展時(shí)間較短,在很多地方仍需繼續(xù)改進(jìn),尤其是其核心模塊—作業(yè)調(diào)度器。Hama目前使用的先來(lái)先服務(wù)作業(yè)調(diào)度算法,不僅無(wú)法高效的實(shí)現(xiàn)多用戶共享集群,而且還會(huì)對(duì)集群的資源利用率造成很大的影響。本文的目的就是實(shí)現(xiàn)一種新的基于Hama并行計(jì)算框架的作業(yè)調(diào)度算法,彌補(bǔ)Hama先來(lái)先服務(wù)作業(yè)調(diào)度算法的缺點(diǎn),提高其資源利用水平,并為Hama的作業(yè)調(diào)度提供更大的靈活性,以滿足其未來(lái)一段時(shí)間內(nèi)的發(fā)展需求。為了達(dá)成這一目的,本文的主要工作和貢獻(xiàn)包括:首先,通過(guò)研讀Hama并行計(jì)算框架的源代碼,剖析了Hama的系統(tǒng)架構(gòu),介紹了BSP模型在Hama中的實(shí)現(xiàn),總結(jié)了Hama作業(yè)的運(yùn)行流程,研究了Hama的調(diào)度框架以及其先來(lái)先服務(wù)作業(yè)調(diào)度算法。與此同時(shí),還對(duì)Hama中涉及到的HDFS及MapReduce的相關(guān)技術(shù)進(jìn)行了總結(jié),并分析總結(jié)了MapReduce與Hama在調(diào)度模式上的不同之處。隨后,以上述研究的成果為基礎(chǔ),再結(jié)合BSP模型的自身特點(diǎn),設(shè)計(jì)并實(shí)現(xiàn)了基于Hama并行計(jì)算框架的多層級(jí)作業(yè)調(diào)度算法,并對(duì)該算法的設(shè)計(jì)思想以及實(shí)現(xiàn)過(guò)程進(jìn)行了詳細(xì)的介紹。最后,對(duì)多層級(jí)作業(yè)調(diào)度算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證及性能測(cè)試。實(shí)驗(yàn)結(jié)果表明多層級(jí)作業(yè)調(diào)度算法成功的實(shí)現(xiàn)了預(yù)期的設(shè)計(jì)目標(biāo),解決了Hama先來(lái)先服務(wù)作業(yè)調(diào)度算法的不足之處,提高了Hama集群的資源利用能力,并在與Hama先來(lái)先服務(wù)作業(yè)調(diào)度器的性能對(duì)比測(cè)試中表現(xiàn)較為出色。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP338.6

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 于戈;谷峪;鮑玉斌;王志剛;;云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J];計(jì)算機(jī)學(xué)報(bào);2011年10期

，

本文編號(hào)：1160241