發(fā)布時間：2020-07-13 19:40

【摘要】：由于全球數(shù)據(jù)量的呈指數(shù)性增長,各大存儲服務(wù)商擔負著巨大的存儲壓力。分層存儲已經(jīng)成為同時實現(xiàn)高效訪問和廉價存儲的必要方案。但單一的分層存儲系統(tǒng)面臨著重復數(shù)據(jù)的問題,一方面,呈指數(shù)增長的重復數(shù)據(jù)不斷降低分層存儲系統(tǒng)在效率和成本上的收益,另一方面,目前重復數(shù)據(jù)刪除技術(shù)與分層存儲技術(shù)的簡單疊加關(guān)系使兩者無法充分發(fā)揮各自的優(yōu)勢。本文結(jié)合分層存儲和重復數(shù)據(jù)刪除技術(shù)的優(yōu)點,提出一種基于變長數(shù)據(jù)塊的重復數(shù)據(jù)感知分層存儲模型DAMS。為了進行更有效的緩存替換,我們分析了ARC算法的缺陷,提出一種高效、可變、兼容的緩存替換算法D-ARC,適宜應(yīng)用在DAMS模型中。作為可行性驗證,本文基于DAMS模型實現(xiàn)了一種宜廣泛應(yīng)用的存儲系統(tǒng)實例Store X,Store X使用D-ARC進行緩存替換,并在細節(jié)技術(shù)上有創(chuàng)新實現(xiàn),如引入數(shù)據(jù)塊長度以降低hash沖突率,聯(lián)合存儲活躍度信息和數(shù)據(jù)指紋信息以節(jié)省空間。最后,通過兩個測試工具生成隨機數(shù)據(jù),在不同參數(shù)下對Store X進行全面評估,對D-ARC算法做出對比實驗。本文針對高效、大容量存儲的需求,進行深入研究,具體工作內(nèi)容如下。(1)分析數(shù)據(jù)量過大的問題,歸納該問題的研究現(xiàn)狀,總結(jié)出增量數(shù)據(jù)訪問局部性、大量重復數(shù)據(jù)的兩個基本特點,以此作為研究的突破點。(2)提出基于變長數(shù)據(jù)塊的重復數(shù)據(jù)感知分層存儲模型DAMS,模型通過橋梁結(jié)構(gòu)結(jié)合了分層存儲和重復數(shù)據(jù)刪除的優(yōu)勢,對強關(guān)聯(lián)部分進行重疊,是高效、大容量存儲的解決方案。(3)提出D-ARC。通過對ARC緩存替換算法進行分析,總結(jié)出4個缺陷,D-ARC在保留ARC優(yōu)勢的基礎(chǔ)上進行了3方面的改進,在小幅提高效率的前提下,具有更高的命中率、可變性和兼容性。(4)在DAMS模型的基礎(chǔ)上,實現(xiàn)了可廣泛應(yīng)用的存儲系統(tǒng)實例Store X。Store X使用D-ARC進行數(shù)據(jù)調(diào)度,涉及數(shù)據(jù)分割、指紋存儲等技術(shù)的具體實現(xiàn),并在實現(xiàn)細節(jié)進行創(chuàng)新,如引入數(shù)據(jù)長度以降低hash沖突率、聯(lián)合存儲數(shù)據(jù)活躍度信息和數(shù)據(jù)塊指紋以充分利用hash表的優(yōu)勢。(5)分析可能的過擬合,實現(xiàn)重復數(shù)據(jù)生成工具和模擬讀取工具,在可控參數(shù)的情況下生成隨機測試數(shù)據(jù),得出對Store X和D-ARC的全面評估。
【學位授予單位】：中南民族大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333
【圖文】：

圖 1.3 數(shù)據(jù)活躍度的差異層存儲由多種具有不同效率、容量、價格等特征的存儲設(shè)備構(gòu)成，術(shù)使其成為一個整體。對不同存儲設(shè)備之間的特征進行利用，揚長儲設(shè)備的特征可以將整個存儲器至少分為兩個存儲層。被頻繁訪問少的一部分，只需要少量高級存儲空間用于存儲活躍數(shù)據(jù)，發(fā)揮高存取的優(yōu)勢；下層存儲器占據(jù)了總空間的大部分，用于存儲活躍度揮低速存儲器大容量、廉價的優(yōu)勢。將這兩個存儲層相結(jié)合后，大集中在上層存儲器，大量存儲需求都集中于下層存儲器，最終整個率趨近于高速存儲器，存儲空間和成本趨近于大容量存儲器，因此[9, 10]。存替換算法是分層存儲維持其效率的根本。在存儲器的運行過程中的不斷訪問模式并不固定，每個數(shù)據(jù)的活躍度是隨時變化的，因此的用途是檢查數(shù)據(jù)活躍度的變化，將活躍度被改變的數(shù)據(jù)進行遷移處于合適的存儲層中[11, 12]。緩存替換算法保持分層存儲系統(tǒng)始終性帶來的收益。

隨機性能 壽命圖 2.2 不同類型存儲器的特點度策略用于優(yōu)化計算機程序或維護存儲機制而設(shè)計的算數(shù)據(jù)被訪問的頻率與數(shù)據(jù)活躍度強關(guān)聯(lián)，數(shù)據(jù)活處于相對穩(wěn)定的狀態(tài)。因此，僅僅對數(shù)據(jù)進行一存儲系統(tǒng)的運行，用戶關(guān)注的熱點會逐漸改變，，原來被忽略的數(shù)據(jù)可能重新被關(guān)注。緩存調(diào)度活躍狀態(tài)，在活躍度被改變時對改變數(shù)據(jù)進行遷中[26, 30]。用 LRU(Least Recently Used)算法是古老的緩存紀 60 年代。該算法以用戶訪問數(shù)據(jù)的時間間隔 的本質(zhì)是一個隊列，當用戶訪問數(shù)據(jù)，被訪問的。LRU 建立在局部性原理之上，每次替換會換

未協(xié)調(diào)的用戶存儲大量冗余

【參考文獻】

相關(guān)期刊論文 前3條

1 吳明禮;張宏安;;數(shù)據(jù)存儲技術(shù)綜述[J];北方工業(yè)大學學報;2015年01期

2 付印金;肖儂;劉芳;;重復數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進展[J];計算機研究與發(fā)展;2012年01期

3 敖莉;舒繼武;李明強;;重復數(shù)據(jù)刪除技術(shù)[J];軟件學報;2010年05期

本文編號：2753889