隨著云存儲和大數(shù)據(jù)等技術(shù)的迅猛發(fā)展,各行各業(yè)越來越多的數(shù)據(jù)都存儲在云端。而存儲在云端的海量數(shù)據(jù)中,有大量的數(shù)據(jù)是重復(fù)數(shù)據(jù),這就造成了寶貴的存儲空間的浪費(fèi)。為了減少重復(fù)數(shù)據(jù)對存儲資源的浪費(fèi),重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲中被廣泛應(yīng)用。當(dāng)前,重復(fù)數(shù)據(jù)刪除技術(shù)的研究熱點(diǎn)集中在兩個方向,一個是對重復(fù)數(shù)據(jù)檢測技術(shù)的研究,另一個是對分布式可擴(kuò)展的重復(fù)數(shù)據(jù)刪除技術(shù)的研究。在這兩個研究領(lǐng)域已經(jīng)有不少研究工作取得了許多有價值的成果,但還存在許多不足之處。在解決重復(fù)數(shù)據(jù)檢測中存在的磁盤訪問瓶頸問題以及實(shí)現(xiàn)分布式重復(fù)數(shù)據(jù)刪除技術(shù)中的擴(kuò)展性、容錯性以及負(fù)載均衡等方面,當(dāng)前的研究還有很多不完善的地方。本文針對重復(fù)數(shù)據(jù)檢測中的磁盤訪問瓶頸問題,提出了B+樹簇和哈希表相結(jié)合的重復(fù)數(shù)據(jù)檢測方案。此外,在分布式重復(fù)數(shù)據(jù)刪除技術(shù)的研究基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)。論文主要工作如下:1、分析現(xiàn)有的重復(fù)數(shù)據(jù)檢測方法的不足后,提出并實(shí)現(xiàn)了B+樹簇和哈希表相結(jié)合的重復(fù)數(shù)據(jù)檢測方法。其中B+樹簇能夠?qū)哂锌臻g局部性特征的數(shù)據(jù)快速檢測,而哈希表能夠?qū)Σ痪呖臻g局部性特征的數(shù)據(jù)快速檢測,將兩者相結(jié)合后,能夠有...

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 數(shù)據(jù)分塊技術(shù)的研究
        1.2.2 快速檢測識別重復(fù)數(shù)據(jù)技術(shù)的研究
        1.2.3 分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究
    1.3 主要研究目的和研究內(nèi)容
        1.3.1 研究目的
        1.3.2 研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究
    2.1 重復(fù)數(shù)據(jù)刪除流程
    2.2 重復(fù)數(shù)據(jù)刪除粒度
        2.2.1 文件粒度
        2.2.2 數(shù)據(jù)塊粒度
        2.2.3 字節(jié)粒度
    2.3 數(shù)據(jù)分塊與指紋生成
        2.3.1 數(shù)據(jù)固定長度分塊(Fixed-sizeChunking)
        2.3.2 數(shù)據(jù)變長分塊(VariableChunking)
        2.3.3 數(shù)據(jù)指紋生成
    2.4 數(shù)據(jù)塊指紋索引與檢索策略
        2.4.1 布隆過濾器指紋索引與檢索策略
        2.4.2 B+樹指紋索引與檢索策略
        2.4.3 B+樹簇指紋索引與檢索策略
        2.4.4 哈希表指紋索引與檢索策略
    2.5 分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)研究
        2.5.1 取模分布式方案
        2.5.2 基于P2P路由機(jī)制的分布式方案
    2.6 本章小結(jié)
第三章 B+樹簇和哈希表相結(jié)合的指紋索引和檢索方法設(shè)計(jì)
    3.1 數(shù)據(jù)塊指紋檢索流程
    3.2 B+樹簇和哈希表相結(jié)合的指紋索引和檢索方法
        3.2.1 B+樹簇指紋索引
        3.2.2 哈希表指紋索引
        3.2.3 基于B+樹簇和哈希表的指紋索引和檢索方法
    3.3 本章小結(jié)
第四章 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
    4.1 重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
        4.1.1 數(shù)據(jù)分塊和指紋計(jì)算模塊
        4.1.2 生成備份流模塊
        4.1.3 網(wǎng)絡(luò)傳輸模塊
        4.1.4 備份流處理模塊
        4.1.5 指紋管理模塊
        4.1.6 數(shù)據(jù)塊管理模塊
        4.1.7 文件恢復(fù)模塊
        4.1.8 數(shù)據(jù)存儲模塊
    4.2 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
        4.2.1 Chord協(xié)議簡介
        4.2.2 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)(Chord-DDS)架構(gòu)
        4.2.3 資源在Chord-DDS中定位機(jī)制
        4.2.4 節(jié)點(diǎn)加入Chord-DDS機(jī)制
        4.2.5 節(jié)點(diǎn)失效或退出Chord-DDS機(jī)制
        4.2.6 Chord-DDS的負(fù)載均衡機(jī)制
        4.2.7 Chord-DDS的資源備份機(jī)制
    4.3 本章小結(jié)
第五章 實(shí)驗(yàn)結(jié)果與分析
    5.1 實(shí)驗(yàn)環(huán)境搭建
        5.1.1 重復(fù)數(shù)據(jù)刪除原型系統(tǒng)搭建
        5.1.2 基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)搭建
    5.2 實(shí)驗(yàn)數(shù)據(jù)集
    5.3 指紋索引和檢索方法的性能對比測試
        5.3.1 測試數(shù)據(jù)集和參數(shù)設(shè)置
        5.3.2 BTreeHash和LRU對比測試
        5.3.3 BTreeHash和HashTable對比測試
    5.4 基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)測試
        5.4.1 Chord-DDS資源定位功能測試
        5.4.2 節(jié)點(diǎn)加入Chord-DDS功能測試
        5.4.3 節(jié)點(diǎn)失效或退出Chord-DDS功能測試
        5.4.4 Chord-DDS負(fù)載均衡性能測試
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)



本文編號：3804392