本文關(guān)鍵詞：MapReduce下容錯(cuò)機(jī)制的研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展，云計(jì)算集群系統(tǒng)越來(lái)越大，處理數(shù)據(jù)的規(guī)模越來(lái)越大，這樣就需要一個(gè)高效的分布式處理系統(tǒng)進(jìn)行數(shù)據(jù)挖掘、計(jì)算等任務(wù)。MapReduce是Hadoop下的計(jì)算框架，也是云計(jì)算Hadoop的核心模塊。MapReduce的容錯(cuò)性關(guān)乎Hadoop集群的性能。MapReduce有很好的容錯(cuò)機(jī)制和表現(xiàn)不錯(cuò)的容錯(cuò)性能，但是隨著使用對(duì)象和場(chǎng)景的不一樣，在專有任務(wù)的情況下反而會(huì)降低系統(tǒng)性能。因此本文利用原有的MapReduce下的容錯(cuò)機(jī)制進(jìn)行改善和優(yōu)化，使它更加適用于各種任務(wù)的系統(tǒng)中，并在節(jié)點(diǎn)失效時(shí)系統(tǒng)的容錯(cuò)能力更強(qiáng)。 本文主要從節(jié)點(diǎn)的失效到數(shù)據(jù)處理過(guò)程對(duì)MapReduce下容錯(cuò)性能進(jìn)行改善和優(yōu)化，主要研究成果如下： 在任務(wù)運(yùn)行前，通過(guò)預(yù)取數(shù)據(jù)執(zhí)行估算出任務(wù)的執(zhí)行時(shí)間，根據(jù)任務(wù)執(zhí)行時(shí)間設(shè)定超時(shí)檢測(cè)時(shí)間（TASKTRACKER_EXPIRY_INT-ERVAL），當(dāng)節(jié)點(diǎn)在超時(shí)檢測(cè)時(shí)間未收到節(jié)點(diǎn)發(fā)送回來(lái)的心跳程序時(shí)判斷該節(jié)點(diǎn)失效；在任務(wù)運(yùn)行過(guò)程中，系統(tǒng)會(huì)對(duì)每個(gè)節(jié)點(diǎn)設(shè)定一個(gè)信譽(yù)值，根據(jù)節(jié)點(diǎn)的數(shù)據(jù)獲取錯(cuò)誤對(duì)節(jié)點(diǎn)的信譽(yù)值進(jìn)行衰減和通過(guò)心跳匯報(bào)對(duì)的信譽(yù)值進(jìn)行恢復(fù)，當(dāng)節(jié)點(diǎn)的信譽(yù)值低于最低閾值就判斷該節(jié)點(diǎn)失效。在運(yùn)行過(guò)程中，產(chǎn)生的中間值存儲(chǔ)在本地，當(dāng)節(jié)點(diǎn)失效就會(huì)丟失，本文采用異步復(fù)制，，不同機(jī)器存儲(chǔ)的方式存儲(chǔ)，使得中間值在節(jié)點(diǎn)失效時(shí)同樣能取得。通過(guò)在任務(wù)運(yùn)行前對(duì)失效時(shí)間進(jìn)行設(shè)定，在運(yùn)行中對(duì)節(jié)點(diǎn)失效進(jìn)行評(píng)估和對(duì)中間值進(jìn)行備份存儲(chǔ)的方法增強(qiáng)了系統(tǒng)的容錯(cuò)能力。
【關(guān)鍵詞】：Hadoop MapReduce 容錯(cuò)性 信譽(yù)值 自適應(yīng)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP302.8
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-14
• 1.1 課題來(lái)源9
• 1.2 課題研究的背景和意義9-10
• 1.3 國(guó)內(nèi)外在該方向的研究現(xiàn)狀10-11
• 1.4 論文主要研究?jī)?nèi)容11-12
• 1.5 論文內(nèi)容及結(jié)構(gòu)12-14
• 第2章 MapReduce 體系結(jié)構(gòu)及容錯(cuò)機(jī)制的研究14-26
• 2.1 MapReduce 體系結(jié)構(gòu)概述14
• 2.2 Hadoop 分布式文件系統(tǒng)14-15
• 2.3 HDFS 的基本結(jié)構(gòu)15-18
• 2.3.1 MapReduce 的基本結(jié)構(gòu)16-18
• 2.4 目錄文件結(jié)構(gòu)18-19
• 2.5 MapReduce 的失效檢測(cè)19-22
• 2.5.1 worker 節(jié)點(diǎn)失效20
• 2.5.2 Master 節(jié)點(diǎn)失效20
• 2.5.3 失效檢測(cè)的流程和機(jī)理20-22
• 2.6 MapReduce 的節(jié)點(diǎn)調(diào)度方式22-23
• 2.7 其他容錯(cuò)機(jī)制23-24
• 2.7.1 中間值容錯(cuò)23-24
• 2.7.2 JobTracker 容錯(cuò)24
• 2.7.3 任務(wù)推測(cè)執(zhí)行24
• 2.8 MapReduce 的容錯(cuò)性能不足24
• 2.9 本章小結(jié)24-26
• 第3章 MapReduce 下容錯(cuò)機(jī)制的優(yōu)化設(shè)計(jì)26-36
• 3.1 MapReduce 自適應(yīng)檢測(cè)時(shí)間設(shè)計(jì)28-30
• 3.1.1 設(shè)計(jì)動(dòng)機(jī)28
• 3.1.2 設(shè)計(jì)原理28
• 3.1.3 作業(yè)任務(wù)時(shí)間估計(jì)設(shè)計(jì)方法28-30
• 3.2 MapReduce 下信譽(yù)機(jī)制的研究與設(shè)計(jì)30-33
• 3.2.1 設(shè)計(jì)動(dòng)機(jī)30-31
• 3.2.2 設(shè)計(jì)原理31
• 3.2.3 MapReduce 下信譽(yù)機(jī)制的設(shè)計(jì)方法31-33
• 3.3 中間值的安全性的設(shè)計(jì)33-34
• 3.3.1 設(shè)計(jì)原理33-34
• 3.3.2 設(shè)計(jì)方法34
• 3.4 本章小結(jié)34-36
• 第4章 系統(tǒng)實(shí)現(xiàn)36-47
• 4.1 MapReduce 自適應(yīng)時(shí)間檢測(cè)實(shí)現(xiàn)36-39
• 4.1.1 執(zhí)行過(guò)程36-38
• 4.1.2 類依賴關(guān)系38-39
• 4.2 MapReduce 信譽(yù)機(jī)制實(shí)現(xiàn)39-43
• 4.2.1 執(zhí)行過(guò)程39-41
• 4.2.2 數(shù)據(jù)結(jié)構(gòu)41-42
• 4.2.3 程序執(zhí)行流程42-43
• 4.3 中間值的安全性實(shí)現(xiàn)43-46
• 4.3.1 中間數(shù)據(jù)的處理過(guò)程43-44
• 4.3.2 數(shù)據(jù)結(jié)構(gòu)與算法44-46
• 4.4 本章小結(jié)46-47
• 第5章 實(shí)驗(yàn)結(jié)果和分析47-59
• 5.1 實(shí)驗(yàn)環(huán)境和集群架構(gòu)47-49
• 5.1.1 Hadoop 集群架構(gòu)47-48
• 5.1.2 實(shí)驗(yàn)環(huán)境和配置48-49
• 5.1.3 系統(tǒng)概況49
• 5.2 測(cè)試方案和測(cè)試過(guò)程49-52
• 5.2.1 實(shí)驗(yàn)配置和進(jìn)行過(guò)程50-51
• 5.2.2 信譽(yù)機(jī)制時(shí)間的參數(shù)和配置51-52
• 5.2.3 作業(yè)的選取52
• 5.3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析52-58
• 5.3.1 集群系統(tǒng)中沒(méi)有節(jié)點(diǎn)失效52-54
• 5.3.2 系統(tǒng)中有一個(gè)節(jié)點(diǎn)失效54-56
• 5.3.3 系統(tǒng)的整體測(cè)試56-57
• 5.3.4 對(duì)比分析57-58
• 5.4 本章小結(jié)58-59
• 結(jié)論59-60
• 參考文獻(xiàn)60-64
• 致謝64

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 孫健;賈曉菁;;Google云計(jì)算平臺(tái)的技術(shù)架構(gòu)及對(duì)其成本的影響研究[J];電信科學(xué);2010年01期

2 丁文定;;基于服務(wù)集成管理的SaaS解決方案[J];計(jì)算機(jī)與現(xiàn)代化;2010年01期

3 江務(wù)學(xué);張t

本文編號(hào)：351527