發(fā)布時間：2017-04-10 23:43

  本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：在高速增長的數(shù)據(jù)存儲系統(tǒng)中,重復(fù)數(shù)據(jù)刪除技術(shù)的作用越來越重要,廣泛應(yīng)用于VTL(Virtual Tape Library)系統(tǒng)、數(shù)據(jù)備份系統(tǒng)、數(shù)據(jù)歸檔系統(tǒng)等。重復(fù)數(shù)據(jù)刪除的核心思想是將一個數(shù)據(jù)文件或流分成連續(xù)的塊,使用哈希函數(shù)(如SHA-1)為每個數(shù)據(jù)塊生成相應(yīng)的摘要信息(稱為指紋值),查找指紋值表將每個塊的指紋值和所有已存儲塊的指紋值比較,當(dāng)數(shù)據(jù)塊出現(xiàn)重復(fù)時僅存儲其元數(shù)據(jù)信息,從而減少對存儲空間的消耗。國內(nèi)外在重復(fù)數(shù)據(jù)刪除系統(tǒng)領(lǐng)域已經(jīng)開展了大量的研究,但在數(shù)據(jù)組織形式方面仍然存在著足夠的優(yōu)化空間。具體的說,是針對重復(fù)數(shù)據(jù)刪除系統(tǒng)的特有數(shù)據(jù)訪問模式,研究更加高效的存儲架構(gòu)和數(shù)據(jù)管理策略,以充分發(fā)揮存儲設(shè)備的效能,降低存儲系統(tǒng)能耗。論文圍繞重復(fù)數(shù)據(jù)刪除系統(tǒng)的節(jié)能數(shù)據(jù)組織、對象級去重、元數(shù)據(jù)存儲策略、數(shù)據(jù)恢復(fù)方法等開展研究,主要創(chuàng)新點如下:(1)提出一種面向分塊的交叉分組數(shù)據(jù)組織方法,針對重復(fù)數(shù)據(jù)刪除系統(tǒng)的連續(xù)數(shù)據(jù)訪問模式降低存儲能耗。重復(fù)數(shù)據(jù)刪除系統(tǒng)一般采用RAID(Redundant Array of Independent Disks)來提供存儲和數(shù)據(jù)保護,去重后的數(shù)據(jù)均勻分布存儲在各磁盤上,但少數(shù)磁盤即能提供連續(xù)數(shù)據(jù)訪問的I/O帶寬。論文設(shè)計了一種RAID-5交叉分組的數(shù)據(jù)組織方法以及節(jié)能磁盤調(diào)度算法,通過調(diào)整水平磁盤分組大小適應(yīng)不同的系統(tǒng)吞吐量要求,通過調(diào)整垂直分組大小減少校驗磁盤切換次數(shù),從而使I/O請求集中在某個水平磁盤分組,其他分組的磁盤進入待機模式。在Linux操作系統(tǒng)MD(Multiple Device Driver)模塊的基礎(chǔ)上實現(xiàn)交叉分組布局,驗證了該布局在10磁盤3分組的存儲配置下降低能耗約26%。(2)提出一種面向OpenXML復(fù)合文件去重系統(tǒng)的對象存儲數(shù)據(jù)組織方法,實現(xiàn)去重對象的高效存儲。論文設(shè)計了一種RAID-4非對稱分組的對象存儲數(shù)據(jù)組織方法和磁盤分組調(diào)整算法。各個磁盤分組所包含的磁盤數(shù)目可以按需調(diào)整,有兩組磁盤并行工作,分別存儲易變類型對象和非易變類型對象。采用預(yù)測機制實現(xiàn)分組調(diào)整,均分調(diào)整算法按照系統(tǒng)的I/O性能要求計算磁盤分組調(diào)整因子;按比例調(diào)整則考慮不同類型對象的存儲比例需求。非對稱分組的數(shù)據(jù)組織適合去重對象的存儲,可根據(jù)備份數(shù)據(jù)流的負載變化調(diào)整磁盤分組。在10磁盤、初始3分組的存儲配置下,磁盤分組的均分調(diào)整和按比例調(diào)整分別降低約22%和27%的能耗。(3)提出一種基于訪問頻度的冷熱元數(shù)據(jù)存儲組織策略,提高元數(shù)據(jù)訪問效率。為降低磁盤索引訪問次數(shù),大多數(shù)研究集中在指紋值查找技術(shù),忽略了由索引查找和元數(shù)據(jù)存儲引入的能耗問題。論文將元數(shù)據(jù)分為熱元數(shù)據(jù)和冷元數(shù)據(jù),熱元數(shù)據(jù)的存儲采用交叉分組的數(shù)據(jù)組織,基于B+樹組織索引結(jié)構(gòu),并將指紋值表分成子表,子表的大小受數(shù)據(jù)組織中存儲子塊大小的控制,按照數(shù)據(jù)流中存儲塊到達順序存儲元數(shù)據(jù)條目;冷元數(shù)據(jù)采用單塊磁盤順序?qū)懙姆绞綄懭氪疟P組,使用追加式的文件結(jié)構(gòu)來保持空間局部性。將冷熱元數(shù)據(jù)分開存放,在熱元數(shù)據(jù)5磁盤2分組和冷元數(shù)據(jù)3磁盤3分組的存儲配置下,降低元數(shù)據(jù)存儲能耗約21%。(4)提出一種基于存儲位置的副本復(fù)制和恢復(fù)策略,提高數(shù)據(jù)恢復(fù)效率。存儲重復(fù)數(shù)據(jù)塊能有效提高數(shù)據(jù)恢復(fù)速度,以往研究大多根據(jù)重復(fù)訪問率來決定需要復(fù)制哪些數(shù)據(jù)塊,組成最新備份的數(shù)據(jù)塊往往分布在存儲系統(tǒng)的各處,因此恢復(fù)去重數(shù)據(jù)會導(dǎo)致大量對磁盤的隨機讀取。論文設(shè)計一種基于存儲位置的有選擇復(fù)制和數(shù)據(jù)恢復(fù)策略,對交叉分組的數(shù)據(jù)組織進行進一步的區(qū)域劃分。引入距離訪問矩陣,用塊訪問距離反映所在存儲區(qū)域的狀態(tài),在恢復(fù)去重數(shù)據(jù)時,選擇一個相對最優(yōu)的讀取區(qū)域。在10磁盤3分組的交叉分組數(shù)據(jù)組織下,這種優(yōu)化策略能夠在降低重復(fù)數(shù)據(jù)刪除率7.4%的代價下,提高22%的數(shù)據(jù)恢復(fù)性能。對于非對稱分組的對象存儲數(shù)據(jù)組織,相比普通RAID-4能夠提高約11%的數(shù)據(jù)恢復(fù)性能。
【關(guān)鍵詞】：重復(fù)數(shù)據(jù)刪除 數(shù)據(jù)組織 元數(shù)據(jù) 數(shù)據(jù)恢復(fù) 節(jié)能存儲系統(tǒng)
【學(xué)位授予單位】：北京理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP311.13
【目錄】：

• 摘要5-7
• Abstract7-17
• 第1章 緒論17-27
• 1.1 本論文研究的目的和意義17-18
• 1.2 國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢18-23
• 1.3 本論文的研究背景23-24
• 1.4 本論文的研究內(nèi)容24-25
• 1.5 本論文的組織結(jié)構(gòu)25-27
• 第2章 重復(fù)數(shù)據(jù)刪除系統(tǒng)的節(jié)能數(shù)據(jù)組織27-51
• 2.1 能耗優(yōu)化的重復(fù)數(shù)據(jù)刪除系統(tǒng)原型27-29
• 2.2 重復(fù)數(shù)據(jù)刪除系統(tǒng)的數(shù)據(jù)訪問特征29-30
• 2.3 重復(fù)數(shù)據(jù)刪除的性能分析模型30-33
• 2.3.1 重復(fù)數(shù)據(jù)刪除率分析模型30-33
• 2.3.2 時間性能分析模型33
• 2.4 能耗優(yōu)化的分塊數(shù)據(jù)組織33-43
• 2.4.1 交叉分組的數(shù)據(jù)組織34-38
• 2.4.2 磁盤分組參數(shù)分析38-39
• 2.4.3 節(jié)能磁盤調(diào)度算法39-43
• 2.5 能耗優(yōu)化的分塊策略43-45
• 2.6 實驗結(jié)果及分析45-50
• 2.6.1 數(shù)據(jù)組織性能測試46-48
• 2.6.2 數(shù)據(jù)組織節(jié)能測試48
• 2.6.3 EOCDC算法的有效性測試48-50
• 2.7 小結(jié)50-51
• 第3章 重復(fù)數(shù)據(jù)刪除系統(tǒng)的對象級數(shù)據(jù)組織51-78
• 3.1 面向非結(jié)構(gòu)化復(fù)合文件的重復(fù)數(shù)據(jù)刪除51-52
• 3.2 基于對象的OpenXML復(fù)合文件去重方法52-59
• 3.2.1 基于對象的去重過程52-54
• 3.2.2 OpenXML文件對象提取方法54-55
• 3.2.3 基于對象的OpenXML復(fù)合文件去重方法55-59
• 3.3 重復(fù)數(shù)據(jù)刪除系統(tǒng)的對象級存儲方法59-67
• 3.3.1 對象粒度的存儲結(jié)構(gòu)59-60
• 3.3.2 非對稱分組的對象存儲數(shù)據(jù)組織60-62
• 3.3.3 面向?qū)ο蟠鎯Φ姆菍ΨQ分組調(diào)整算法62-67
• 3.4 實驗結(jié)果及分析67-76
• 3.4.1 非對稱分組的對象存儲性能測試67-69
• 3.4.2 非對稱分組的數(shù)據(jù)組織節(jié)能測試69-70
• 3.4.3 對象級去重效率測試70-76
• 3.5 小結(jié)76-78
• 第4章 重復(fù)數(shù)據(jù)刪除系統(tǒng)的元數(shù)據(jù)組織78-90
• 4.1 元數(shù)據(jù)組織78-86
• 4.1.1 分塊重復(fù)數(shù)據(jù)刪除的熱元數(shù)據(jù)結(jié)構(gòu)78-81
• 4.1.2 對象級重復(fù)數(shù)據(jù)刪除的熱元數(shù)據(jù)結(jié)構(gòu)81-83
• 4.1.3 熱元數(shù)據(jù)的數(shù)據(jù)存儲策略83-85
• 4.1.4 冷元數(shù)據(jù)的數(shù)據(jù)存儲策略85-86
• 4.2 實驗結(jié)果及分析86-89
• 4.3 小結(jié)89-90
• 第5章 去重數(shù)據(jù)恢復(fù)的優(yōu)化策略90-103
• 5.1 重復(fù)數(shù)據(jù)刪除系統(tǒng)的數(shù)據(jù)碎片問題90-91
• 5.2 去重數(shù)據(jù)恢復(fù)優(yōu)化策略91-97
• 5.2.1 存儲區(qū)域劃分91-92
• 5.2.2 基于存儲位置的復(fù)制與數(shù)據(jù)恢復(fù)策略92-97
• 5.3 實驗結(jié)果及分析97-102
• 5.3.1 基于交叉分組的去重數(shù)據(jù)恢復(fù)讀性能測試97-99
• 5.3.2 基于交叉分組的數(shù)據(jù)恢復(fù)性能對比測試99-100
• 5.3.3 非對稱分組數(shù)據(jù)組織的去重數(shù)據(jù)恢復(fù)性能測試100-102
• 5.4 小結(jié)102-103
• 總結(jié)103-106
• 參考文獻106-114
• 攻讀學(xué)位期間發(fā)表論文與研究成果清單114-115
• 致謝115-116
• 作者簡介116

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前6條

1 陸游游;敖莉;舒繼武;;一種基于重復(fù)數(shù)據(jù)刪除的備份系統(tǒng)[J];計算機研究與發(fā)展;2012年S1期

2 李哠;譚毓安;李元章;;一種塊級連續(xù)數(shù)據(jù)保護系統(tǒng)的快速恢復(fù)方法[J];北京理工大學(xué)學(xué)報;2011年06期

3 周敬利;聶雪軍;秦磊華;劉科;朱建峰;王宇;;基于存儲環(huán)境感知的重復(fù)數(shù)據(jù)刪除算法優(yōu)化[J];計算機科學(xué);2011年02期

4 田磊;馮丹;岳銀亮;吳素貞;毛波;;磁盤存儲系統(tǒng)節(jié)能技術(shù)研究綜述[J];計算機科學(xué);2010年09期

5 敖莉;舒繼武;李明強;;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

6 穆飛;薛巍;舒繼武;鄭緯民;;基于定位目錄的元數(shù)據(jù)管理方法[J];清華大學(xué)學(xué)報(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2009年08期

  本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究，由筆耕文化傳播整理發(fā)布。

本文編號：297828