本文關(guān)鍵詞：數(shù)據(jù)去重與垃圾數(shù)據(jù)刪除策略的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 分布式存儲系統(tǒng) 重復(fù)數(shù)據(jù)刪除 無效數(shù)據(jù)回收 布隆過濾器

【摘要】：伴隨著我國下一代無線移動網(wǎng)絡(luò)的進程,支撐各種各樣電信業(yè)務(wù)的移動控制網(wǎng)絡(luò)對底層的存儲系統(tǒng)的支持提出了更高的要求。如今日益增加的用戶數(shù)量和數(shù)據(jù)流量已經(jīng)讓傳統(tǒng)的存儲方案顯得捉襟見肘。隨著這種趨勢的到來,如何有效的利用存儲空間成為亟待解決的問題。本文首先對國內(nèi)外主流的幾個分布式存儲系統(tǒng)進行介紹和分析,并分析分布式系統(tǒng)需要面對的問題和解決方案。在此基礎(chǔ)上設(shè)計并實現(xiàn)了面向海量用戶和海量文件、基于數(shù)據(jù)塊級別數(shù)據(jù)去重的分布式文件系統(tǒng)CStore,本文主要設(shè)計并實現(xiàn)了基于CStore系統(tǒng)的數(shù)據(jù)回收系統(tǒng)。CStore系統(tǒng)是典型的分布式存儲系統(tǒng),它采用元數(shù)據(jù)和數(shù)據(jù)流分離的設(shè)計方案,將系統(tǒng)的元數(shù)據(jù)和文件數(shù)據(jù)分別存儲在不同的集群中,客戶端分別訪問這些數(shù)據(jù)關(guān)于它們各自的管理和優(yōu)化。系統(tǒng)的資源定位基于一種兩級的哈希映射方案,以桶為單位的負載均衡和副本策略提高系統(tǒng)的可靠性,同時使得系統(tǒng)具有很好的可擴展性。數(shù)據(jù)去重是CStore系統(tǒng)的主要特點之一,它采用在線的基于數(shù)據(jù)塊級別的重復(fù)數(shù)據(jù)刪除策略,這就要求用戶在上傳文件的時候?qū)⒄麄�文件劃分成多個數(shù)據(jù)塊,然后分別上傳。這樣的策略可以節(jié)約大量的數(shù)據(jù)存儲空間,提高用戶體驗,但是同樣帶來了數(shù)據(jù)刪除的難題。在CStore數(shù)據(jù)去重的總體架構(gòu)的基礎(chǔ)上,設(shè)計并實現(xiàn)了能夠以在線或者離線方式執(zhí)行無效數(shù)據(jù)刪除的垃圾數(shù)據(jù)刪除系統(tǒng),可以高效并且準確的判斷無效數(shù)據(jù),進一步節(jié)省存儲資源。垃圾數(shù)據(jù)回收系統(tǒng)用于清理系統(tǒng)中沒有任何文件引用的無效數(shù)據(jù)塊。該系統(tǒng)基于Bloom Filter算法,在元數(shù)據(jù)服務(wù)器集群數(shù)據(jù)服務(wù)器集群上分別進行相應(yīng)的操作,由一個中心控制節(jié)點負責(zé)全局的監(jiān)控。在容錯方面,通過與中心節(jié)點建立的心跳連接可以有效得檢測到失效的節(jié)點,進而進行任務(wù)的重新分發(fā),并且該系統(tǒng)為管理員提供了可視化界面,方便管理員控制與管理。本文最后對垃圾數(shù)據(jù)回收系統(tǒng)的功能和性能進行了測試,證明了它可以正確執(zhí)行所需功能并保證了其可靠性和準確性。
【關(guān)鍵詞】：分布式存儲系統(tǒng) 重復(fù)數(shù)據(jù)刪除 無效數(shù)據(jù)回收 布隆過濾器
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-21
• 1.1 背景介紹11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-19
• 1.2.1 GFS12-14
• 1.2.2 Haystack文件系統(tǒng)14-17
• 1.2.3 Ocean Base數(shù)據(jù)庫存儲系統(tǒng)17-19
• 1.3 主要研究內(nèi)容19-20
• 1.4 論文組織20-21
• 第二章 相關(guān)理論與技術(shù)基礎(chǔ)21-31
• 2.1 分布式存儲系統(tǒng)21-22
• 2.2 數(shù)據(jù)分布方式22-25
• 2.2.1 哈希方式劃分22-23
• 2.2.2 順序分布23-24
• 2.2.3 一致性哈希分布24-25
• 2.3 可擴展性25-26
• 2.4 負載均衡26-27
• 2.5 基本副本協(xié)議27-29
• 2.5.1 中心化副本控制協(xié)議27-28
• 2.5.2 去中心化副本控制協(xié)議28-29
• 2.6 CAP理論29-30
• 2.7 本章小結(jié)30-31
• 第三章 CStore存儲系統(tǒng)的設(shè)計31-41
• 3.1 系統(tǒng)目標31-32
• 3.2 系統(tǒng)設(shè)計方案32-35
• 3.2.1 可用性32
• 3.2.2 可擴展性32-33
• 3.2.3 性能33-35
• 3.3 CStore存儲系統(tǒng)架構(gòu)35-39
• 3.3.1 元數(shù)據(jù)節(jié)點功能設(shè)計36-37
• 3.3.2 系統(tǒng)配置管理節(jié)點功能設(shè)計37-38
• 3.3.3 數(shù)據(jù)服務(wù)節(jié)點功能設(shè)計38-39
• 3.4 典型下載流程39-40
• 3.5 本章小結(jié)40-41
• 第四章 垃圾數(shù)據(jù)回收系統(tǒng)的設(shè)計41-56
• 4.1 理論基礎(chǔ)41-45
• 4.1.1 重復(fù)數(shù)據(jù)刪除41-44
• 4.1.2 布隆過濾器44-45
• 4.2 需求分析45-46
• 4.3 概要設(shè)計46-48
• 4.4 桶的設(shè)計48-50
• 4.4.1 SU中的桶48-49
• 4.4.2 MU中的桶49-50
• 4.4.3 垃圾數(shù)據(jù)回收系統(tǒng)中的桶50
• 4.5 容錯與恢復(fù)50-51
• 4.6 物理存儲模型51-53
• 4.6.1 元數(shù)據(jù)物理存儲模型51-53
• 4.6.2 數(shù)據(jù)塊存儲模型53
• 4.7 通信協(xié)議的設(shè)計53-55
• 4.8 本章小結(jié)55-56
• 第五章 垃圾數(shù)據(jù)回收系統(tǒng)的實現(xiàn)56-70
• 5.1 模塊之間的交互56-58
• 5.2 全局控制模塊的實現(xiàn)58-63
• 5.2.1 通信模塊的實現(xiàn)58-59
• 5.2.2 定時器模塊的實現(xiàn)59-61
• 5.2.3 GC模塊狀態(tài)機61-62
• 5.2.4 GC模塊執(zhí)行流程62-63
• 5.3 位圖生成模塊與數(shù)據(jù)判斷模塊63-65
• 5.4 位圖生成模塊的業(yè)務(wù)流程65-67
• 5.5 數(shù)據(jù)判斷模塊的業(yè)務(wù)流程67-68
• 5.6 管理員界面的實現(xiàn)68-69
• 5.7 本章小結(jié)69-70
• 第六章 系統(tǒng)測試與分析70-78
• 6.1 測試環(huán)境準備70-72
• 6.2 系統(tǒng)功能測試72-75
• 6.2.1 基本功能測試72-74
• 6.2.2 異常處理測試74-75
• 6.3 系統(tǒng)性能測試75-77
• 6.4 本章小結(jié)77-78
• 第七章 結(jié)論與展望78-80
• 致謝80-81
• 參考文獻81-83

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 舒涵;;怎能讓這樣的“數(shù)字說話”[J];中國計算機用戶;2007年22期

2 徐海斌;全面清除Windows垃圾[J];中國電子與網(wǎng)絡(luò)出版;2003年03期

3 魏s，

本文編號：787256