隨著大數(shù)據(jù)時(shí)代的到來,越來越多的人意識(shí)到數(shù)據(jù)的重要性,隨之涌現(xiàn)出許多圍繞數(shù)據(jù)進(jìn)行分析和處理再應(yīng)用的企業(yè)和研究機(jī)構(gòu),傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)不足以應(yīng)對(duì)當(dāng)前的海量數(shù)據(jù)。Hadoop作為一個(gè)高效的分布式計(jì)算平臺(tái),逐漸成為了處理大規(guī)模數(shù)據(jù)集的首選工具。Hadoop集群最重要的就是數(shù)據(jù)處理速度,而Hadoop的調(diào)度算法是影響集群數(shù)據(jù)處理速度的重要因素。因此Hadoop調(diào)度算法的改進(jìn)與優(yōu)化是目前一個(gè)比較熱門的研究方向。由于數(shù)據(jù)量的不斷增長(zhǎng),對(duì)Hadoop集群的計(jì)算性能的要求也越來越高,只有不斷的向集群中增加新機(jī)器,以提高集群計(jì)算性能,這樣不同配置的機(jī)器組成的集群被稱為異構(gòu)集群。Hadoop的默認(rèn)調(diào)度算法都是基于同構(gòu)集群,默認(rèn)集群各節(jié)點(diǎn)之間性能相同。但是在異構(gòu)集群中,節(jié)點(diǎn)的計(jì)算性能是存在差異的,如果依然使用默認(rèn)的調(diào)度算法,可能會(huì)導(dǎo)致高性能節(jié)點(diǎn)空閑,低性能節(jié)點(diǎn)繁忙,不僅浪費(fèi)了集群資源,更間接延長(zhǎng)了作業(yè)的執(zhí)行時(shí)間。針對(duì)上述問題,本文提出了一種異構(gòu)環(huán)境下的基于節(jié)點(diǎn)分級(jí)的動(dòng)態(tài)調(diào)度算法。為了能更好地利用集群高性能節(jié)點(diǎn),該算法通過CPU、內(nèi)存和磁盤的硬件參數(shù)將集群節(jié)點(diǎn)按照性能分為不同等級(jí),并將分級(jí)結(jié)果作為任務(wù)調(diào)度...

【文章頁(yè)數(shù)】：58 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 論文選題背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究目的及意義
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)介紹
    2.1 Hadoop平臺(tái)概述
    2.2 Map Reduce編程模型
        2.2.1 Map Reduce編程模型原理
        2.2.2 Map Reduce任務(wù)運(yùn)行流程
    2.3 HDFS分布式文件系統(tǒng)
        2.3.1 HDFS整體架構(gòu)
        2.3.2 HDFS讀寫流程
    2.4 YARN資源管理器
        2.4.1 YARN概述
        2.4.2 YARN運(yùn)行流程
    2.5 本章小結(jié)
第3章 Hadoop平臺(tái)調(diào)度研究
    3.1 Hadoop作業(yè)調(diào)度算法研究
        3.1.1 FIFOScheduler
        3.1.2 CapacityScheduler
        3.1.3 FairScheduler
        3.1.4 Hadoop內(nèi)置作業(yè)調(diào)度算法的不足
    3.2 Hadoop調(diào)度機(jī)制分析
    3.3 本章小結(jié)
第4章 基于節(jié)點(diǎn)分級(jí)的動(dòng)態(tài)調(diào)度算法
    4.1 調(diào)度算法設(shè)計(jì)結(jié)構(gòu)
    4.2 節(jié)點(diǎn)分級(jí)策略
        4.2.1 節(jié)點(diǎn)性能計(jì)算
        4.2.2 節(jié)點(diǎn)分級(jí)方法
    4.3 數(shù)據(jù)塊動(dòng)態(tài)調(diào)整策略
    4.4 動(dòng)態(tài)分配策略
        4.4.1 節(jié)點(diǎn)負(fù)載率計(jì)算
        4.4.2 創(chuàng)建節(jié)點(diǎn)負(fù)載表
        4.4.3 任務(wù)分配
    4.5 本章小結(jié)
第5章 實(shí)驗(yàn)與分析
    5.1 Hadoop集群任務(wù)調(diào)度的性能指標(biāo)
    5.2 實(shí)驗(yàn)環(huán)境搭建
    5.3 實(shí)驗(yàn)結(jié)果與結(jié)論分析
        5.3.1 作業(yè)完成時(shí)間分析
        5.3.2 數(shù)據(jù)本地化分析
        5.3.3 節(jié)點(diǎn)負(fù)載率分析
    5.4 本章小結(jié)
第6章 結(jié)論
參考文獻(xiàn)
致謝



本文編號(hào)：3843040