本文關(guān)鍵詞：基于相同數(shù)據(jù)檢測的去重技術(shù)在存儲(chǔ)系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)

  更多相關(guān)文章： 存儲(chǔ) 重復(fù)數(shù)據(jù)刪除 索引技術(shù) 可靠性

【摘要】：目前大數(shù)據(jù)是科技領(lǐng)域最熱門的話題之一,其基礎(chǔ)就是數(shù)據(jù)。而隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)總量每兩年就要翻一番,這種指數(shù)型的增長趨勢使得存儲(chǔ)提供與存儲(chǔ)需求之間的差距越拉越大。而研究表明備份歸檔、版本管理、郵件等企業(yè)系統(tǒng)中存在著大量的重復(fù)數(shù)據(jù),這些數(shù)據(jù)的傳輸和存儲(chǔ)極大地增加了企業(yè)成本。 重復(fù)數(shù)據(jù)刪除技術(shù)通過在全局范圍內(nèi)對(duì)文件內(nèi)部、文件間的重復(fù)數(shù)據(jù)進(jìn)行檢測和消除,可以有效的減少企業(yè)對(duì)存儲(chǔ)硬件設(shè)備的開銷和運(yùn)營成本。目前重復(fù)數(shù)據(jù)刪除研究領(lǐng)域仍然存在諸多問題具有研究價(jià)值,如提高去重率,索引設(shè)計(jì),數(shù)據(jù)可靠性等。 本文針對(duì)基于相同數(shù)據(jù)檢測的重復(fù)數(shù)據(jù)刪除技術(shù)在存儲(chǔ)系統(tǒng)中的應(yīng)用進(jìn)行了研究與實(shí)現(xiàn)。通過分析和實(shí)驗(yàn)對(duì)文件進(jìn)行了基于類型的數(shù)據(jù)集劃分,對(duì)不同數(shù)據(jù)集使用不同切塊算法。實(shí)驗(yàn)表明,此方法在提高系統(tǒng)性能的同時(shí)對(duì)去重率的影響非常小。在使用切塊算法的系統(tǒng)中,大多數(shù)研究者借鑒了一種使用容器存儲(chǔ)數(shù)據(jù)塊的策略。但隨著時(shí)間推移,具有相關(guān)性的數(shù)據(jù)塊集合會(huì)越來越離散地存儲(chǔ)在不同容器中,造成數(shù)據(jù)塊局部性降低。本文提出了一種基于數(shù)據(jù)塊指紋流與容器指紋相似性的算法,可以有效地將相關(guān)性較高的數(shù)據(jù)塊指紋聯(lián)系在一起,使得指紋查詢的局部性提高。并通過分類索引、多級(jí)索引、多線程、布隆濾波器等技術(shù)來提高指紋查詢的速度。針對(duì)使用重復(fù)數(shù)據(jù)刪除技術(shù)后數(shù)據(jù)可靠性降低的問題,提出一種企業(yè)存儲(chǔ)服務(wù)器與云存儲(chǔ)相結(jié)合的方案,可以簡單有效地提高系統(tǒng)可靠性。
【關(guān)鍵詞】：存儲(chǔ) 重復(fù)數(shù)據(jù)刪除 索引技術(shù) 可靠性
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-16
• 1.1 選題背景及意義9-10
• 1.2 重復(fù)數(shù)據(jù)刪除技術(shù)10-12
• 1.3 國內(nèi)外研究現(xiàn)狀12-15
• 1.3.1 國外研究現(xiàn)狀12-14
• 1.3.2 國內(nèi)研究現(xiàn)狀14-15
• 1.4 論文的組織結(jié)構(gòu)15-16
• 第二章 重復(fù)數(shù)據(jù)刪除技術(shù)及其存在問題分析16-25
• 2.1 重復(fù)數(shù)據(jù)刪除技術(shù)介紹和分析16-21
• 2.2 重復(fù)數(shù)據(jù)刪除問題分析21-25
• 第三章 系統(tǒng)架構(gòu)與設(shè)計(jì)25-31
• 3.1 系統(tǒng)架構(gòu)25-26
• 3.2 系統(tǒng)功能設(shè)計(jì)與讀寫流程26-28
• 3.3 系統(tǒng)流程28-31
• 第四章 系統(tǒng)關(guān)鍵模塊設(shè)計(jì)與實(shí)現(xiàn)31-58
• 4.1 客戶端實(shí)現(xiàn)31-36
• 4.1.1 文件類型分析和數(shù)據(jù)集劃分模塊策略31-33
• 4.1.2 文件切塊算法實(shí)現(xiàn)33-36
• 4.2 服務(wù)器端實(shí)現(xiàn)36-58
• 4.2.1 服務(wù)器端線程與指紋緩沖區(qū)實(shí)現(xiàn)36-39
• 4.2.2 系統(tǒng)指紋索引模塊39-45
• 4.2.3 數(shù)據(jù)塊存儲(chǔ)模塊45-49
• 4.2.4 部分索引緩存查找流程49-52
• 4.2.5 兩次Bloom filter探測的實(shí)現(xiàn)52-54
• 4.2.6 數(shù)據(jù)塊緩存機(jī)制54-55
• 4.2.7 云存儲(chǔ)模塊55-58
• 第五章 系統(tǒng)測試和分析58-67
• 5.1 測試環(huán)境58
• 5.2 實(shí)驗(yàn)與分析58-67
• 5.2.1 Bloom Filter測試58-59
• 5.2.2 哈希表測試59-60
• 5.2.3 系統(tǒng)內(nèi)文件測試60-65
• 5.2.4 性能測試65-67
• 第六章 總結(jié)與展望67-68
• 參考文獻(xiàn)68-72
• 致謝72-73
• 附錄：攻讀碩士期間發(fā)表的論文73

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 于丹;;昆騰進(jìn)入重復(fù)數(shù)據(jù)刪除市場[J];每周電腦報(bào);2007年09期

2 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

3 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

4 徐立洋;;選購重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計(jì)算機(jī)用戶;2009年08期

5 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

6 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國計(jì)算機(jī)用戶;2009年16期

7 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

8 王樹鵬;;重復(fù)數(shù)據(jù)刪除技術(shù)的發(fā)展及應(yīng)用[J];中興通訊技術(shù);2010年05期

9 倪顯利;;重復(fù)數(shù)據(jù)刪除技術(shù)的應(yīng)用與實(shí)踐[J];中國金融電腦;2011年05期

10 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前3條

1 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場試驗(yàn)信息存儲(chǔ)技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會(huì)議論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 本報(bào)記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國計(jì)算機(jī)報(bào);2009年

2 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報(bào);2009年

3 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

4 郭濤;重復(fù)數(shù)據(jù)刪除比越大越好嗎？[N];中國計(jì)算機(jī)報(bào);2007年

5 中國傳媒大學(xué)計(jì)算機(jī)學(xué)院 朱立谷;重復(fù)數(shù)據(jù)刪除：改寫存儲(chǔ)行業(yè)經(jīng)濟(jì)規(guī)則？[N];中國計(jì)算機(jī)報(bào);2007年

6 劉學(xué)習(xí);刪除重復(fù)數(shù)據(jù)[N];計(jì)算機(jī)世界;2006年

7 張群英;重復(fù)數(shù)據(jù)刪除技術(shù)異軍突起[N];網(wǎng)絡(luò)世界;2006年

8 張峰;重復(fù)數(shù)據(jù)刪除 難走的平衡木[N];網(wǎng)絡(luò)世界;2007年

9 王s，

本文編號(hào)：721315