發(fā)布時(shí)間：2017-09-09 19:37

  本文關(guān)鍵詞：云環(huán)境下MapReduce多組容錯(cuò)機(jī)制的研究

  更多相關(guān)文章： 云計(jì)算 MapReduce并行編程模型 多組容錯(cuò)機(jī)制

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與普及,人類社會(huì)已由信息時(shí)代進(jìn)入了大數(shù)據(jù)時(shí)代,傳統(tǒng)的計(jì)算模式已經(jīng)不能滿足時(shí)代的要求,一種新興的商業(yè)計(jì)算模型——云計(jì)算應(yīng)運(yùn)而生,云計(jì)算為計(jì)算機(jī)行業(yè)帶來了新的機(jī)遇和挑戰(zhàn)。云計(jì)算是一個(gè)大規(guī)模的分布式計(jì)算系統(tǒng),為互聯(lián)網(wǎng)上的外部用戶提供抽象的、虛擬的、動(dòng)態(tài)調(diào)整以及可管理的計(jì)算能力、存儲(chǔ)、平臺(tái)以及服務(wù)。云計(jì)算最典型的案例是Goolge公司提出的MapReduce并行編程模型,它簡(jiǎn)單易用、并行化程度高、可靠性高等特點(diǎn)吸引了很多用戶。目前,國(guó)內(nèi)外針對(duì)MapReduce編程模型各個(gè)方面的研究很多,其中關(guān)于MapReduce容錯(cuò)機(jī)制一直是研究熱點(diǎn)之一。針對(duì)容錯(cuò)機(jī)制的研究可以總結(jié)為兩種方案:備份和再執(zhí)行,但是這兩種方案有一個(gè)基本前提條件——感知到失效節(jié)點(diǎn),如果感知失效情況不及時(shí)或者不準(zhǔn)確,這兩種方案也就不能發(fā)揮作用了。本文將從一個(gè)新的視角出發(fā),針對(duì)如何更快更準(zhǔn)確的發(fā)現(xiàn)失效節(jié)點(diǎn)問題展開研究,主要分為以下幾個(gè)方面:首先,根據(jù)需求分析設(shè)計(jì)容錯(cuò)方案,簡(jiǎn)單地將其分為三個(gè)步驟:多組監(jiān)測(cè)、請(qǐng)求申請(qǐng)、任務(wù)遷移,分析各自的職能,研究多組容錯(cuò)的運(yùn)行機(jī)制。其二,對(duì)傳統(tǒng)的MapReduce架構(gòu)進(jìn)行改進(jìn),在同機(jī)柜中的各個(gè)TaskTracker節(jié)點(diǎn)之間搭建多組架構(gòu),建立多組心跳機(jī)制,分別在TaskTracker和JobTracker上增加多組類multipleTaskTracker、multipleJobTracker,實(shí)現(xiàn)多組容錯(cuò)。其三,對(duì)任務(wù)遷移過程中可能出現(xiàn)的資源競(jìng)爭(zhēng)問題進(jìn)行補(bǔ)充,根據(jù)公平性原則,針對(duì)兩類資源競(jìng)爭(zhēng)現(xiàn)象按照各自的規(guī)則進(jìn)行任務(wù)遷移。最后,分別從響應(yīng)時(shí)間、加速比和多組容錯(cuò)的優(yōu)勢(shì)三個(gè)方面對(duì)多組容錯(cuò)性能進(jìn)行分析,得出在不影響系統(tǒng)擴(kuò)展性的前提下,多組關(guān)系提高了監(jiān)測(cè)失效節(jié)點(diǎn)的效率,節(jié)約了作業(yè)響應(yīng)時(shí)間,降低了帶寬使用率,減少網(wǎng)絡(luò)擁塞,減輕了JobTracker節(jié)點(diǎn)的負(fù)荷。大量實(shí)驗(yàn)數(shù)據(jù)表明,在不影響MapReduce系統(tǒng)可擴(kuò)展性的前提下,多組容錯(cuò)要明顯優(yōu)于傳統(tǒng)容錯(cuò)方案。在集群中存在失效節(jié)點(diǎn)時(shí),多組容錯(cuò)可以將發(fā)現(xiàn)失效的時(shí)間大幅度地縮短,并且可以游刃有余的解決任務(wù)遷移過程中的資源競(jìng)爭(zhēng)現(xiàn)象。
【關(guān)鍵詞】：云計(jì)算 MapReduce并行編程模型 多組容錯(cuò)機(jī)制
【學(xué)位授予單位】：河南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP302.8
【目錄】：

• 致謝4-5
• 摘要5-6
• Abstract6-11
• 1 引言11-17
• 1.1 研究背景和意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.3 本文工作14-16
• 1.3.1 研究?jī)?nèi)容14-15
• 1.3.2 研究重點(diǎn)和難點(diǎn)15-16
• 1.4 論文的組織結(jié)構(gòu)16-17
• 2 云計(jì)算中MapReduce編程模型的分析17-33
• 2.1 云計(jì)算概述17-20
• 2.2 Hadoop計(jì)算平臺(tái)20-24
• 2.2.1 Hadoop開源架構(gòu)21
• 2.2.2 HDFS文件系統(tǒng)21-22
• 2.2.3 MapReduce架構(gòu)22-24
• 2.3 MapReduce編程模型24-29
• 2.3.1 MapReduce概述24
• 2.3.2 MapReduce編程思想24-26
• 2.3.3 MapReduce主從架構(gòu)26
• 2.3.4 MapReduce實(shí)現(xiàn)流程26-28
• 2.3.5 MapReduce研究熱點(diǎn)28-29
• 2.4 MapReduce容錯(cuò)相關(guān)改進(jìn)29-31
• 2.4.1 慢任務(wù)評(píng)判算法29-30
• 2.4.2 中間值存儲(chǔ)方案30
• 2.4.3 單控制節(jié)點(diǎn)容錯(cuò)方案30-31
• 2.5 本章小結(jié)31-33
• 3 MapReduce容錯(cuò)機(jī)制分析33-47
• 3.1 容錯(cuò)實(shí)體類33-37
• 3.1.1 JobTracker類33-34
• 3.1.2 TaskTracker類34-35
• 3.1.3 Storage相關(guān)類35-36
• 3.1.4 HeartbeatResponse相關(guān)類36-37
• 3.2 MapReduce容錯(cuò)策略37-43
• 3.2.1 備份方案37-39
• 3.2.2 失效監(jiān)測(cè)機(jī)制39-42
• 3.2.3 推測(cè)執(zhí)行機(jī)制42-43
• 3.3 容錯(cuò)性能評(píng)估指標(biāo)43-45
• 3.3.1 響應(yīng)時(shí)間43-44
• 3.3.2 加速比44
• 3.3.3 可靠性44
• 3.3.4 公平性44-45
• 3.4 本章小結(jié)45-47
• 4 MapReduce多組容錯(cuò)機(jī)制的研究47-57
• 4.1 需求分析47
• 4.2 實(shí)現(xiàn)方案47-50
• 4.2.1 多組監(jiān)測(cè)48
• 4.2.2 請(qǐng)求申請(qǐng)48-49
• 4.2.3 任務(wù)遷移49-50
• 4.3 多組容錯(cuò)機(jī)制的研究50-54
• 4.3.1 多組機(jī)制實(shí)現(xiàn)類50-51
• 4.3.2 搭建多組架構(gòu)51-53
• 4.3.3 多組心跳機(jī)制53-54
• 4.4 多組關(guān)系帶來的資源競(jìng)爭(zhēng)54-55
• 4.5 性能分析55-56
• 4.5.1 響應(yīng)時(shí)間分析55
• 4.5.2 加速比分析55
• 4.5.3 優(yōu)勢(shì)分析55-56
• 4.6 本章小結(jié)56-57
• 5 實(shí)驗(yàn)與結(jié)果分析57-67
• 5.1 實(shí)驗(yàn)環(huán)境配置57-60
• 5.1.1 集群配置方案57-58
• 5.1.2 SSH和JDK的配置58
• 5.1.3 Hadoop的安裝配置58-60
• 5.2 基準(zhǔn)測(cè)試60-62
• 5.3 實(shí)驗(yàn)結(jié)果與分析62-66
• 5.3.1 響應(yīng)時(shí)間對(duì)比分析62-63
• 5.3.2 公平性測(cè)試63-64
• 5.3.3 加速比性能測(cè)試64-66
• 5.4 本章小結(jié)66-67
• 6 總結(jié)與展望67-69
• 6.1 工作總結(jié)67-68
• 6.2 展望68-69
• 參考文獻(xiàn)69-73
• 作者簡(jiǎn)介73-75
• 學(xué)位論文數(shù)據(jù)集75

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 費(fèi)秀婷,沈慶浩;移動(dòng)agent系統(tǒng)的容錯(cuò)機(jī)制[J];計(jì)算機(jī)與數(shù)字工程;2005年04期

2 么剛;王勁林;姚瓊;朱小勇;孫鵬;;嵌入式高清播放器容錯(cuò)機(jī)制的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2009年01期

3 劉添添;移動(dòng)Agent系統(tǒng)的一種安全容錯(cuò)機(jī)制[J];計(jì)算機(jī)工程;2005年18期

4 聶瑞華;張科倫;梁軍;;一種改進(jìn)的云存儲(chǔ)系統(tǒng)容錯(cuò)機(jī)制[J];計(jì)算機(jī)應(yīng)用研究;2013年12期

5 陳波;張曦煌;;基于分層與容錯(cuò)機(jī)制的云計(jì)算負(fù)載均衡策略[J];計(jì)算機(jī)應(yīng)用;2013年11期

6 孫峻朝,王建瑩,楊孝宗;故障和容錯(cuò)機(jī)制的層次模型[J];計(jì)算機(jī)工程與應(yīng)用;1999年10期

7 姜楠;李戰(zhàn)懷;任X;胡金鵬;;遠(yuǎn)程鏡像系統(tǒng)容錯(cuò)機(jī)制的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2011年01期

8 張大為,韓華,代亞非;P2P系統(tǒng)中降低錯(cuò)誤相關(guān)性的方法[J];計(jì)算機(jī)研究與發(fā)展;2005年08期

9 賴巍;郭荷清;朱娟;;基于補(bǔ)償服務(wù)鏈的Web服務(wù)容錯(cuò)機(jī)制研究與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2009年01期

10 張治斌;李燕歌;;云計(jì)算下MapReduce多組容錯(cuò)機(jī)制架構(gòu)的分析與研究[J];微電子學(xué)與計(jì)算機(jī);2014年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 萬國(guó)偉;謝e，

本文編號(hào)：822383