本文關鍵詞：云平臺下分布式文件系統(tǒng)評測技術研究

  更多相關文章： 云計算 分布式文件系統(tǒng) HDFS TFS 故障注入 容錯能力評估

【摘要】：隨著云計算技術的不斷發(fā)展和普及，云存儲的概念也應運而生，而分布式文件系統(tǒng)是云存儲的核心基礎，承載著數(shù)據(jù)存儲的重任。另外一方面，隨著社會信息化程度的提高，對于信息和數(shù)據(jù)的依賴性也越來越大，也就是說數(shù)據(jù)的可靠性越來越重要。而容錯能力是衡量一個系統(tǒng)可靠性的重要標準，系統(tǒng)的容錯能力越強，所能提供的服務也就越可靠。因此，對云平臺下分布式文件系統(tǒng)的容錯能力進行評測具有重要的研究意義。 目前國內外對于云平臺下分布式文件系統(tǒng)的研究成果中，關于性能測試與優(yōu)化的有很多，而涉及容錯能力測試的比較少，并且測試手段比較單一。因此有必要針對云分布式文件系統(tǒng)的容錯能力測試進行深入的研究。 本文通過對HDFS（Hadoop Distributed File System）和TFS（Taobao FileSystem）這兩種典型的云分布式文件系統(tǒng)的體系架構、讀寫流程和內部的容錯機制進行深入的研究，通過對比它們的相同點，提出了一套云平臺下分布式文件系統(tǒng)容錯能力測試方法。主要就是基于故障注入的思想，設計并實現(xiàn)了一套故障注入工具集，，分別針對云分布式文件系統(tǒng)的節(jié)點和進程、文件和目錄、數(shù)據(jù)校驗機制、內部互聯(lián)的網(wǎng)絡進行故障注入，模擬現(xiàn)實應用中可能出現(xiàn)的各種類型的故障。 為了驗證云平臺下分布式文件系統(tǒng)容錯能力測試方法的可行性，本文搭建了一個小型的HDFS分布式文件系統(tǒng)，并以HDFS為例，進行相關的故障注入實驗。通過觀察實驗現(xiàn)象和研究日志文件中記錄的異常情況，來對HDFS的容錯能力進行評測和驗證，并對其中不足的地方提出可以改進的方法。
【關鍵詞】：云計算 分布式文件系統(tǒng) HDFS TFS 故障注入 容錯能力評估
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP393.09;TP302.8
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-14
• 1.1 課題背景9-10
• 1.1.1 課題來源9
• 1.1.2 課題目的與意義9-10
• 1.2 國內外研究現(xiàn)狀10-13
• 1.2.1 分布式文件系統(tǒng)簡介10-11
• 1.2.2 故障注入技術研究現(xiàn)狀11-12
• 1.2.3 云平臺容錯能力評測研究現(xiàn)狀12-13
• 1.3 本文結構13-14
• 第2章 云分布式文件系統(tǒng)及其容錯機制的研究14-27
• 2.1 分布式文件系統(tǒng)概述14-15
• 2.2 HDFS分布式文件系統(tǒng)及其容錯機制的研究15-20
• 2.2.1 HDFS 分布式文件系統(tǒng)15-18
• 2.2.2 HDFS 文件系統(tǒng)容錯機制分析18-20
• 2.3 TFS分布式文件系統(tǒng)及其容錯機制的研究20-25
• 2.3.1 TFS 分布式文件系統(tǒng)20-24
• 2.3.2 TFS 文件系統(tǒng)容錯機制分析24-25
• 2.4 HDFS與TFS的比較25
• 2.5 云平臺下分布式文件系統(tǒng)容錯能力測試方法25-26
• 2.6 本章小結26-27
• 第3章 云分布式文件系統(tǒng)容錯能力測試平臺的設計27-33
• 3.1 云分布式文件系統(tǒng)容錯能力測試平臺框架27-28
• 3.2 節(jié)點和進程容錯能力測試28-29
• 3.3 文件和目錄容錯能力測試29-30
• 3.4 數(shù)據(jù)校驗容錯能力測試30-31
• 3.5 網(wǎng)絡容錯能力測試31
• 3.6 MapReduce容錯能力測試31-32
• 3.7 本章小結32-33
• 第4章 云分布式文件系統(tǒng)容錯能力測試平臺的實現(xiàn)33-47
• 4.1 云分布式文件系統(tǒng)故障注入原理圖33
• 4.2 節(jié)點和進程故障注入工具的設計與實現(xiàn)33-36
• 4.2.1 節(jié)點和進程故障注入原理33-35
• 4.2.2 節(jié)點和進程故障注入工具的實現(xiàn)35-36
• 4.3 本地文件和目錄故障注入工具的設計與實現(xiàn)36-39
• 4.3.1 文件和目錄故障注入原理36-37
• 4.3.2 文件和目錄故障注入工具的實現(xiàn)37-39
• 4.4 數(shù)據(jù)校驗故障注入工具的設計與實現(xiàn)39-40
• 4.4.1 數(shù)據(jù)校驗故障注入原理39
• 4.4.2 數(shù)據(jù)校驗故障注入工具的實現(xiàn)39-40
• 4.5 網(wǎng)絡故障注入工具的設計與實現(xiàn)40-44
• 4.5.1 網(wǎng)絡故障注入原理40-42
• 4.5.2 網(wǎng)絡故障注入工具的實現(xiàn)42-44
• 4.6 MapReduce故障注入工具的設計與實現(xiàn)44-46
• 4.6.1 MapReduce 任務執(zhí)行流程44-45
• 4.6.2 MapReduce 故障注入原理45-46
• 4.6.3 MapReduce 故障注入工具的實現(xiàn)46
• 4.7 本章小結46-47
• 第5章 云平臺下分布式文件系統(tǒng)容錯能力測試實驗47-81
• 5.1 測試環(huán)境搭建及測試步驟47-49
• 5.1.1 HDFS 和 TFS 環(huán)境配置47
• 5.1.2 測試方法47-48
• 5.1.3 主要的故障注入實驗48-49
• 5.2 節(jié)點和進程容錯能力測試49-54
• 5.2.1 NameNode 節(jié)點宕機故障注入實驗49-50
• 5.2.2 NameNode 進程失效故障注入實驗50-51
• 5.2.3 DataNode 節(jié)點宕機故障注入實驗51-52
• 5.2.4 DataNode 進程失效故障注入實驗52-53
• 5.2.5 節(jié)點和進程容錯能力測試結論53-54
• 5.3 本地文件和目錄容錯能力測試54-62
• 5.3.1 數(shù)據(jù)塊文件相關操作失效故障注入實驗54-56
• 5.3.2 元數(shù)據(jù)文件相關操作失效故障注入實驗56-60
• 5.3.3 日志文件相關操作失效故障注入實驗60-62
• 5.3.4 本地文件和目錄容錯能力測試結論62
• 5.4 數(shù)據(jù)校驗容錯能力測試62-65
• 5.4.1 數(shù)據(jù)塊文件故障注入實驗63-64
• 5.4.2 校驗文件故障注入實驗64-65
• 5.4.3 數(shù)據(jù)校驗容錯能力測試結論65
• 5.5 網(wǎng)絡容錯能力測試65-72
• 5.5.1 數(shù)據(jù)包丟包故障注入實驗65-67
• 5.5.2 數(shù)據(jù)包延遲故障注入實驗67-68
• 5.5.3 數(shù)據(jù)包重復故障注入實驗68-69
• 5.5.4 數(shù)據(jù)包損壞故障注入實驗69-71
• 5.5.5 數(shù)據(jù)包亂序故障注入實驗71-72
• 5.5.6 網(wǎng)絡容錯能力測試結論72
• 5.6 MapReduce容錯能力測試72-77
• 5.6.1 JobTracker 進程失效故障注入實驗72-73
• 5.6.2 TaskTracker 進程失效故障注入實驗73-74
• 5.6.3 Map 任務失效故障注入實驗74-76
• 5.6.4 Reduce 任務失效故障注入實驗76-77
• 5.6.5 MapReduce 容錯能力測試結論77
• 5.7 TFS容錯能力測試77-80
• 5.7.1 TFS 數(shù)據(jù)塊讀失效容錯能力測試77-79
• 5.7.2 TFS 數(shù)據(jù)塊被修改容錯能力測試79-80
• 5.7.3 TFS 容錯能力測試結論80
• 5.8 本章小結80-81
• 結論81-83
• 參考文獻83-88
• 致謝88

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 史芳麗,周亞莉;Linux系統(tǒng)中虛擬文件系統(tǒng)內核機制研究[J];陜西師范大學學報(自然科學版);2005年01期

2 薄懷祥;;分布式文件系統(tǒng)性能測試軟件的設計[J];山東廣播電視大學學報;2012年01期

3 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應用研究[J];微型機與應用;2010年08期

4 楊健;汪海航;王劍;俞定國;;云計算安全問題研究綜述[J];小型微型計算機系統(tǒng);2012年03期

5 孫峻朝,王建瑩,楊孝宗;故障注入方法與工具的研究現(xiàn)狀[J];宇航學報;2001年01期

本文編號：1011277