發(fā)布時間：2017-03-24 08:04

  本文關(guān)鍵詞：基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著Web2.0的不斷發(fā)展,尤其是近年來移動互聯(lián)網(wǎng)、電子商務(wù)和物聯(lián)網(wǎng)的爆炸式的發(fā)展,互聯(lián)網(wǎng)進入了一個全新“云計算”時代。云存儲是伴隨云計算發(fā)展而出現(xiàn)的,擁有廣闊的發(fā)展前景。但是當(dāng)越來越多的數(shù)據(jù)被上傳到云存儲,而云存儲無法保證數(shù)據(jù)百分之百安全的時候,用戶就會需要一種有效的手段來監(jiān)控數(shù)據(jù)在云存儲上的安全。為了解決這個問題,本文提出了一種基于Hadoop的可公共審計的云存儲系統(tǒng),該系統(tǒng)可以被第三方的機構(gòu)所審計,讓用戶在沒有本地備份文件的情況下,了解在云存儲中存儲的文件是不是完整的。本文首先對相關(guān)技術(shù)進行了技術(shù)調(diào)研,全面分析了分布式存儲系統(tǒng)HDFS和公共審計模型,提出了HDFS系統(tǒng)小文件處理問題和公共審計模型跨平臺問題的解決方案。本文中提出的基于Hadoop的可公共審計云存儲系統(tǒng)被設(shè)計成由三個子系統(tǒng)組成,分別是云存儲系統(tǒng)、第三方審計者和客戶端。為了降低子系統(tǒng)之間的耦合度,提高系統(tǒng)自身的可擴展性,每個子系統(tǒng)都采用了REST風(fēng)格架構(gòu)。另外還引入了消息隊列機制,使系統(tǒng)有了異步特性,提高了系統(tǒng)的整體性能。除此之外,本系統(tǒng)在借鑒“云計算”理念的基礎(chǔ)之上,還創(chuàng)新性地提出了數(shù)據(jù)完整性驗證服務(wù)這個概念。其創(chuàng)新之處在于,數(shù)據(jù)的驗證對用戶來說完全的透明,可以不受時間和空間的限制,另外也是最重要的一點,用戶可以隨需使用本系統(tǒng)提供的數(shù)據(jù)完整性驗證服務(wù)。通過對系統(tǒng)的分析和測試表明本本基于Hadoop的可公共審計云存儲系統(tǒng)結(jié)構(gòu)完善,功能清晰,能夠有效驗證數(shù)據(jù)在云存儲中的完整性。
【關(guān)鍵詞】：Hadoop 數(shù)據(jù)完整性驗證 公共審計 云存儲
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-13
• 1.1 研究背景9-10
• 1.2 云存儲現(xiàn)狀分析10-11
• 1.3 主要內(nèi)容11
• 1.4 本文結(jié)構(gòu)11-13
• 2 相關(guān)技術(shù)研究13-24
• 2.1 HDFS系統(tǒng)13-17
• 2.1.1 HDFS的設(shè)計目標(biāo)13-14
• 2.1.2 HDFS的體系結(jié)構(gòu)14-15
• 2.1.3 HDFS文件讀取流程15
• 2.1.4 HDFS文件寫入流程15-16
• 2.1.5 HDFS優(yōu)劣分析16-17
• 2.2 公共審計模型17-21
• 2.2.1 模型結(jié)構(gòu)17-18
• 2.2.2 Merkle Hash Tree介紹18-19
• 2.2.3 數(shù)據(jù)完整性驗證算法19-20
• 2.2.4 模型分析20-21
• 2.3 REST架構(gòu)風(fēng)格21-22
• 2.3.1 REST架構(gòu)風(fēng)格的特征21-22
• 2.3.2 REST架構(gòu)風(fēng)格的優(yōu)勢22
• 2.4 Open Authorization22-24
• 3 系統(tǒng)分析24-27
• 3.1 需求分析24-25
• 3.2 現(xiàn)有模型存在的問題25
• 3.3 系統(tǒng)設(shè)計思路25-27
• 4 系統(tǒng)概要設(shè)計27-36
• 4.1 云存儲系統(tǒng)概要設(shè)計27-33
• 4.1.1 云存儲系統(tǒng)結(jié)構(gòu)27-29
• 4.1.2 完整性檢驗支持29
• 4.1.3 小文件處理優(yōu)化29-32
• 4.1.4 高并發(fā)訪問和消息隊列32-33
• 4.2 第三方審計者概要設(shè)計33-36
• 4.2.1 第三方審計者的系統(tǒng)結(jié)構(gòu)33-34
• 4.2.2 完整性檢驗支持34-35
• 4.2.3 存儲失信度評價設(shè)計35
• 4.2.4 挑戰(zhàn)信息發(fā)送設(shè)計35-36
• 5 系統(tǒng)詳細設(shè)計36-50
• 5.1 OAuth功能詳細設(shè)計36-38
• 5.2 文件上傳功能的詳細設(shè)計38-41
• 5.2.1 文件上傳流程設(shè)計38-39
• 5.2.2 小文件優(yōu)化設(shè)計39-41
• 5.3 文件下載功能的詳細設(shè)計41-42
• 5.4 文件完整性驗證功能的詳細設(shè)計42-45
• 5.4.1 信息準(zhǔn)備階段42-44
• 5.4.2 數(shù)據(jù)完整性驗證階段44-45
• 5.5 數(shù)據(jù)庫表設(shè)計45-50
• 5.5.1 數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計45-46
• 5.5.2 數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計46-50
• 6 系統(tǒng)實現(xiàn)和測試50-59
• 6.1 系統(tǒng)實現(xiàn)50-56
• 6.1.1 文件操作和管理模塊的實現(xiàn)50-51
• 6.1.2 完整性驗證模塊的實現(xiàn)51-52
• 6.1.3 OAuth模塊的實現(xiàn)52
• 6.1.4 REST API的實現(xiàn)52-54
• 6.1.5 Web頁面的實現(xiàn)54-56
• 6.2 系統(tǒng)測試56-59
• 6.2.1 系統(tǒng)測試簡介56-57
• 6.2.2 黑盒測試用例設(shè)計57-58
• 6.2.3 測試總結(jié)58-59
• 結(jié)論59-60
• 參考文獻60-62
• 致謝62-63

【參考文獻】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 李慧瑩;基于HDFS的小文件存儲方法的研究與優(yōu)化[D];西安電子科技大學(xué);2014年

  本文關(guān)鍵詞：基于Hadoop可公共審計云存儲的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：265299