本文關(guān)鍵詞：MapReduce計算模型性能優(yōu)化的研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的快速發(fā)展,每天會產(chǎn)生海量數(shù)據(jù),數(shù)據(jù)處于爆炸式的增長狀態(tài),這預(yù)示著大數(shù)據(jù)時代的到來。大數(shù)據(jù)時代的數(shù)據(jù)具有數(shù)量大、結(jié)構(gòu)復(fù)雜的特點,導(dǎo)致數(shù)據(jù)存儲和計算難度的加大。Google提出的MapReduce分布式計算模型簡化了海量數(shù)據(jù)計算的問題,成為研究的熱點。所以本文對MapReduce技術(shù)的研究和性能的優(yōu)化具有實際意義。MapReduce是一種分布式計算模型,它簡化了程序員編寫分布式程序的步驟,因此被廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域。Hadoop是MapReduce的開源實現(xiàn),具備海量數(shù)據(jù)處理的能力。然而,它的一些處理機制影響了性能的發(fā)揮。比如：當(dāng)數(shù)據(jù)出現(xiàn)傾斜時,原有的劃分方法不能保證節(jié)點的負(fù)載均衡,集群性能會受影響。因此,需要優(yōu)化現(xiàn)有的處理機制。本文研究的主要內(nèi)容是：首先對Hadoop平臺進行簡單介紹,重點研究MapReduce計算模型,對其組成模塊和運行機制進行深入的分析。在分析MapReduce源碼的基礎(chǔ)上,發(fā)現(xiàn)了當(dāng)數(shù)據(jù)存在傾斜時節(jié)點會出現(xiàn)負(fù)載不均的問題和在異構(gòu)環(huán)境下推測執(zhí)行機制效率低的問題。針對數(shù)據(jù)存在傾斜負(fù)載不均的問題,本文提出了一種抽樣的方法,利用抽樣獲取Map端中間結(jié)果的分布信息,在抽樣的基礎(chǔ)上結(jié)合數(shù)據(jù)局部性產(chǎn)生劃分函數(shù),可以使節(jié)點負(fù)載趨于均衡。針對原有的推測執(zhí)行機制效率低的問題,本文提出了一種改進的LATE算法,在LATE算法的基礎(chǔ)上,利用節(jié)點歷史信息和數(shù)據(jù)局部性特點選擇快節(jié)點備份執(zhí)行,可以更準(zhǔn)確的發(fā)現(xiàn)慢任務(wù),提高集群的吞吐率。最后,本文搭建了實驗平臺對抽樣劃分方法和改進型的LATE算法進行實驗驗證。根據(jù)實驗結(jié)果,本文提出的改進算法可以有效提高MapReduce的性能。
【關(guān)鍵詞】：大數(shù)據(jù) MapReduce 抽樣 推測執(zhí)行 負(fù)載平衡
【學(xué)位授予單位】：山東建筑大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-5
• ABSTRACT5-10
• 第1章 緒論10-14
• 1.1 研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.3 本文的研究內(nèi)容12-13
• 1.4 論文的組織結(jié)構(gòu)13-14
• 第2章 相關(guān)技術(shù)介紹14-24
• 2.1 云計算介紹14-16
• 2.1.1 云計算的概念14
• 2.1.2 云計算體系結(jié)構(gòu)14-16
• 2.1.3 云計算平臺16
• 2.2 MapReduce介紹16-19
• 2.2.1 MapReduce編程模型16-17
• 2.2.2 MapReduce的應(yīng)用17-18
• 2.2.3 MapReduce傾斜問題18-19
• 2.3 Hadoop介紹19-22
• 2.3.1 Hadoop簡介19-21
• 2.3.2 Hadoop生態(tài)系統(tǒng)21-22
• 2.4 本章小結(jié)22-24
• 第3章 基于抽樣的負(fù)載均衡策略24-37
• 3.1 MapReduce數(shù)據(jù)分配問題24-26
• 3.1.1 Map階段和Reduce階段數(shù)據(jù)分配情況24-25
• 3.1.2 數(shù)據(jù)傾斜的原因25-26
• 3.2 抽樣模型26-28
• 3.2.1 抽樣的種類26
• 3.2.2 抽樣過程26-27
• 3.2.3 理論分析27-28
• 3.3 數(shù)據(jù)分配策略28-30
• 3.4 改進后的MapReduce整體設(shè)計30-33
• 3.5 實驗結(jié)果與分析33-36
• 3.5.1 實驗環(huán)境搭建33
• 3.5.2 實驗結(jié)果分析33-36
• 3.6 本章小結(jié)36-37
• 第4章 MapReduce調(diào)度算法的優(yōu)化37-44
• 4.1 MapReduce調(diào)度算法存在的問題37-38
• 4.2 改進LATE調(diào)度器38-40
• 4.3 實驗結(jié)果與分析40-43
• 4.3.1 實驗環(huán)境搭建40-41
• 4.3.2 實驗結(jié)果分析41-43
• 4.4 本章小結(jié)43-44
• 第5章 總結(jié)與展望44-46
• 5.1 總結(jié)44-45
• 5.2 展望45-46
• 參考文獻46-50
• 后記50-51
• 攻讀碩士學(xué)位期間論文發(fā)表及科研情況51

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 萬聰;王翠榮;王聰;賈朔;;MapReduce模型中reduce階段負(fù)載均衡分區(qū)算法研究[J];小型微型計算機系統(tǒng);2015年02期

2 韓蕾;孫徐湛;吳志川;陳立軍;;MapReduce上基于抽樣的數(shù)據(jù)劃分最優(yōu)化研究[J];計算機研究與發(fā)展;2013年S2期

3 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強綜述[J];計算機研究與發(fā)展;2013年S2期

4 周家?guī)?王琦;高軍;;一種基于動態(tài)劃分的MapReduce負(fù)載均衡方法[J];計算機研究與發(fā)展;2013年S1期

5 傅杰;都志輝;;一種周期性MapReduce作業(yè)的負(fù)載均衡策略[J];計算機科學(xué);2013年03期

6 馮士雍;倪加勛;鄒國華;;抽樣調(diào)查理論與方法(第二版)[J];中國統(tǒng)計;2012年09期

7 李喬;鄭嘯;;云計算研究現(xiàn)狀綜述[J];計算機科學(xué);2011年04期

8 張建勛;古志民;鄭超;;云計算研究進展綜述[J];計算機應(yīng)用研究;2010年02期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 李海峰;基于抽樣估計的MapReduce負(fù)載平衡研究[D];大連海事大學(xué);2014年

2 鄒鵬;基于抽樣分區(qū)解決MapReduce中的數(shù)據(jù)傾斜問題[D];大連理工大學(xué);2013年

3 余基映;MapReduce模型的數(shù)據(jù)分配策略研究[D];華中科技大學(xué);2013年

4 李麗英;面向一種云計算平臺的任務(wù)調(diào)度技術(shù)研究[D];湖南大學(xué);2011年

  本文關(guān)鍵詞：MapReduce計算模型性能優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

本文編號：328871