本文關(guān)鍵詞：改進的安全存儲系統(tǒng)在Hadoop平臺中的應(yīng)用研究

  更多相關(guān)文章： 信息安全 加密技術(shù) 監(jiān)控系統(tǒng) 相似性 Hadoop

【摘要】：互聯(lián)網(wǎng)的發(fā)展使得信息的采集和傳播達到空前規(guī)模。Apache基金會開發(fā)的分布式文件系統(tǒng)Hadoop被廣泛應(yīng)用于存儲和處理大數(shù)據(jù)信息。Hadoop技術(shù)的主要特點是擴展能力強、成本低和高效可靠。大數(shù)據(jù)中通常存在著很多敏感數(shù)據(jù),需要得到保護,防止泄露。通過對Hadoop框架的研究,發(fā)現(xiàn)在Hadoop集群存儲敏感數(shù)據(jù)時,集群不能起到良好的保護機制。當(dāng)客戶端上傳敏感信息存儲在云端時,存在著很多不安全的因素,存在信息泄露的風(fēng)險。為了保證敏感數(shù)據(jù)的安全性,提出了一種基于Hadoop平臺的改進的安全存儲系統(tǒng)。在客戶端發(fā)起上傳數(shù)據(jù)操作時,有選擇性的針對敏感數(shù)據(jù)進行加密。當(dāng)客戶端發(fā)起下載數(shù)據(jù)操作時,進行下載解密操作。以上操作針對客戶端用戶是透明的,使得用戶可以方便安全地保存自己的敏感數(shù)據(jù)。加密方案是通過對稱加密方法和非對稱加密方法組成的混合加密方案,各組成部分之間使用數(shù)字信封來實現(xiàn)相關(guān)安全通信操作,在保證了安全性的前提下兼顧了加密解密的工作效率,保證了敏感信息的安全性。加密的同時通過數(shù)字簽名和MD5算法加入了敏感信息完整度、密鑰和信息時間戳等方面的校驗機制,保證了敏感信息的時效性和完整性。從集群運行環(huán)境的設(shè)備安全性角度進行研究,可以發(fā)現(xiàn)Hadoop自身不存在個性化的監(jiān)控機制。通過對Hadoop框架的研究,提出了一種安全有效的監(jiān)控系統(tǒng),可以通過管理員自定義監(jiān)控Hadoop集群的特定指標(biāo)。也可以自定義監(jiān)控多個指標(biāo)來反映集群的整體波動水平,首先采集集群的不同時刻多個指標(biāo)參數(shù)的數(shù)據(jù)樣本,然后計算不同時刻之間數(shù)據(jù)樣本的相似性,數(shù)據(jù)樣本的相似度越高,代表波動水平越小。同理,當(dāng)樣本之間的相似度較低時,代表波動水平較大。當(dāng)某個指標(biāo)參數(shù)超過管理員自定義的閾值或者多個指標(biāo)的集合數(shù)值超過整體波動值閾值時,觸發(fā)報警。
【關(guān)鍵詞】：信息安全 加密技術(shù) 監(jiān)控系統(tǒng) 相似性 Hadoop
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333;TP309
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-14
• 1.1 研究背景和意義8-9
• 1.2 研究內(nèi)容9-11
• 1.3 論文結(jié)構(gòu)11-14
• 第2章 系統(tǒng)相關(guān)技術(shù)研究與分析14-22
• 2.1 HADOOP項目及其組件14
• 2.2 文件存儲系統(tǒng)簡介14-16
• 2.3 相似性算法的研究16-18
• 2.3.1 歐氏距離相似性算法16-17
• 2.3.2 余弦相似性算法17-18
• 2.3.3 冷啟動問題18
• 2.4 加密方法與解密方法18-20
• 2.4.1 DES算法分析18-20
• 2.4.2 非對稱加密解密方法20
• 2.5 驗證技術(shù)20-21
• 2.5.1 MD5算法20
• 2.5.2 數(shù)字簽名20-21
• 2.6 本章小結(jié)21-22
• 第3章 基于Hadoop的安全存儲系統(tǒng)22-38
• 3.1 目標(biāo)和可行性研究22
• 3.2 需求分析22-24
• 3.2.1 功能性需求和非功能性需求23
• 3.2.2 系統(tǒng)用例圖23-24
• 3.2.3 運行環(huán)境介紹24
• 3.3 存儲系統(tǒng)總體架構(gòu)24-27
• 3.3.1 存儲系統(tǒng)功能模塊24-25
• 3.3.2 存儲系統(tǒng)通信模塊25-27
• 3.4 存儲系統(tǒng)詳細設(shè)計27-37
• 3.4.1 上傳模塊27-32
• 3.4.2 下載模塊32-37
• 3.5 本章小結(jié)37-38
• 第4章 基于Hadoop的數(shù)據(jù)監(jiān)控模塊38-50
• 4.1 目標(biāo)和可行性研究38-39
• 4.2 需求分析39-40
• 4.2.1 功能性需求和非功能性需求39
• 4.2.2 系統(tǒng)用例圖39-40
• 4.2.3 運行環(huán)境介紹40
• 4.3 總體架構(gòu)40-42
• 4.3.1 通信模塊40-41
• 4.3.2 功能模塊41-42
• 4.4 詳細設(shè)計42-49
• 4.4.1 監(jiān)控數(shù)據(jù)源的獲取42-44
• 4.4.2 監(jiān)控指標(biāo)的計算方法44-45
• 4.4.3 監(jiān)控數(shù)據(jù)的展示45-46
• 4.4.4 監(jiān)控模塊的組成46-49
• 4.5 本章小結(jié)49-50
• 第5章 實驗結(jié)果分析50-60
• 5.1 加密存儲模塊仿真實驗50-55
• 5.1.1 環(huán)境部署50-51
• 5.1.2 保密性測試分析51-53
• 5.1.3 完整性測試分析53-54
• 5.1.4 效率測試分析54-55
• 5.2 監(jiān)控模塊仿真實驗55-59
• 5.2.1 環(huán)境部署55
• 5.2.2 展示功能測試分析55-57
• 5.2.3 報警功能測試分析57-59
• 5.3 本章小結(jié)59-60
• 結(jié)論60-61
• 參考文獻61-64
• 攻讀碩士學(xué)位期間所取得的研究成果64-66
• 致謝66

，

本文編號：585411