【摘要】：信息資源的爆炸性增長、云計算模式的興起與應用,對存儲系統(tǒng)的存儲容量、數(shù)據(jù)可用性以及I/O性能等方面提出了巨大挑戰(zhàn)。構建超大容量、高性能、高可靠性的存儲系統(tǒng)是學術界和工業(yè)界一直追求的目標。現(xiàn)代存儲系統(tǒng)往往由成百上千個存儲節(jié)點組成,多個存儲節(jié)點同時出現(xiàn)故障概率大大增加,會出現(xiàn)因存儲節(jié)點故障導致數(shù)據(jù)丟失的災難性后果。因此,如何設計多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)容錯方案,如何提高多節(jié)點容錯存儲系統(tǒng)的I/O性能,已是海量存儲系統(tǒng)迫切需要解決的問題。 本文以如何提高海量存儲系統(tǒng)的可靠性和I/O性能為研究目標,對多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)容錯和緩存組織問題進行了探索性和創(chuàng)新性研究,主要研究內容和創(chuàng)新性成果如下: 1、針對雙節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)容錯問題,提出了一種高效的數(shù)據(jù)容錯方案——水平旋轉碼HRC。HRC是一類最小列距離為3的MDS陣列碼,滿足RAID-6規(guī)范,且具有最優(yōu)的編譯碼復雜度。本文從理論上定義了HRC,證明了其糾正任意雙列刪除錯誤的能力和MDS性質,并給出糾正雙列刪除錯誤的快速譯碼算法。與現(xiàn)有的RAID-6實現(xiàn)方案如EVENODD和RS碼比較,HRC具有編譯碼算法簡單,實現(xiàn)復雜度低,易于軟硬件實現(xiàn)等特點。 2、針對三節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)容錯問題,通過擴展HRC提出了兩種高效的數(shù)據(jù)容錯方案扇狀碼FSC和三星碼TSC。從幾何特性上看,FSC和TSC是在HRC基礎上分別增加了一列斜率為-2和斜率為1的校驗。TSC通過優(yōu)化第三列校驗的生成方式可以獲得比FSC更快的譯碼速度。本文從理論上證明了FSC和TSC糾正任意3列刪除錯誤的能力,并給出了各種刪除錯誤模式下的譯碼算法。FSC和TSC都是最小列距離為4的MDS陣列碼,編譯碼速度優(yōu)于G-EVENODD碼(r=3)和STAR碼。 3、針對多節(jié)點(≥4)容錯存儲系統(tǒng)的數(shù)據(jù)容錯問題,提出了一種高效的數(shù)據(jù)容錯方案—垂直旋轉碼VRC。VRC采用糾刪碼的圖表示方法描述,是一種垂直陣列碼。VRC具有較高容錯能力、參數(shù)限制少、適應性高等特點,基于VRC構建的存儲系統(tǒng)具有負載均衡、最優(yōu)更新代價等優(yōu)點。本文闡述了VRC的編碼思想和構造方法,提出了用解線性方程組方法進行譯碼,從理論上證明了VRC能糾正任意q個節(jié)點刪除錯誤。與其他能糾正任意q個存儲節(jié)點刪除錯誤的編碼,如RS碼、LDPC碼相比,VRC具有編譯碼規(guī)則簡單,編譯碼計算開銷小等優(yōu)點。 4、針對多節(jié)點容錯存儲系統(tǒng)的緩存結構設計問題,提出了一種基于DRAM和固態(tài)硬盤的多元化存儲介質緩存結構M-Cache,以及該緩存結構的高效組織和管理方法。在M-Cache中,根據(jù)訪問方式的不同,主機訪問數(shù)據(jù)被劃分為主機讀數(shù)據(jù)和主機寫數(shù)據(jù)。DRAM存儲器既存放主機讀數(shù)據(jù)又存放主機寫數(shù)據(jù),基于Flash的固態(tài)硬盤只存放主機寫數(shù)據(jù),主機寫數(shù)據(jù)在寫入DRAM存儲器的同時也被寫入基于Flash的固態(tài)硬盤。新的緩存結構M-Cache充分利用了DRAM存儲器的快速隨機訪問特性和基于Flash的固態(tài)硬盤掉電后長久保存數(shù)據(jù)能力,提高了緩存系統(tǒng)的讀寫性能和數(shù)據(jù)的可靠性。 5、針對多節(jié)點容錯存儲系統(tǒng)的緩存置換管理問題,提出了一種寫優(yōu)先的緩存置換管理算法WP-LRU。WP-LRU算法基于存儲系統(tǒng)緩存中淘汰主機寫數(shù)據(jù)塊的代價遠大于淘汰主機讀數(shù)據(jù)塊的原理,根據(jù)主機訪問模式的不同將緩存中的數(shù)據(jù)塊劃分為主機讀數(shù)據(jù)塊和主機寫數(shù)據(jù)塊,對兩種不同類型的數(shù)據(jù)塊實施不同的管理策略:主機讀數(shù)據(jù)塊使用常見的LRU算法進行管理,主機寫數(shù)據(jù)塊使用聚合寫算法進行管理。WP-LRU算法具有良好的擴展性,在不改變緩存命中率的情況下可降低系統(tǒng)的平均服務時間,提高系統(tǒng)整體性能。
【圖文】：

圖 2-5 HRC 輸出性能比較(兩個刪除列為信息列中隨機產(chǎn)生)2.6 本章小結本章提出了一類基于低密度校驗矩陣的 MDS 陣列碼：HRC。該碼有比EVENODD 更低密度的校驗矩陣，與其他 2-刪除碼相比具有兩個主要優(yōu)點：一個是具有最優(yōu)的存儲效率并滿足 RAID-6 規(guī)范，另一個是只使用異或和循環(huán)操作實現(xiàn)其編譯碼過程，具有最優(yōu)的編譯碼復雜性。從糾錯碼角度看，本章構建了一類能夠糾兩列錯誤的刪除碼 HRC，下一章我們將 HRC 推廣到三列刪除恢復的情況。

圖 3-8 五種編碼的輸出性能比較(所有刪除列均為信息磁盤列中隨機產(chǎn)生)FSC 和 TSC 的編譯碼可根據(jù)前面描述的編譯碼過程用硬件或軟件可直接實現(xiàn)。我們用 C/C++實現(xiàn)了兩個編碼并將其應用到了一個可靠的存儲平臺[75]上。我們用吞吐率測量其性能，并與開放實現(xiàn)的基于異或操作的 RS 編碼[69]、G-EVENODD[34,37]碼和 STAR 碼[34]進行了比較，結果如圖 3-8。在該圖中，，每個磁盤上單個數(shù)據(jù)塊的大小為 2880 字節(jié)，數(shù)據(jù)磁盤數(shù)為 6 到 31。注意圖 3-8 只仿真了隨機三個信息磁盤列刪除的情況，對含有第三個校驗磁盤刪除的情況同 HRC。由于每個磁盤的單個數(shù)據(jù)塊對應編碼陣列一列并包含有 p 1個符號，因此塊大小應為 p 1的倍數(shù)。便于公平比較，我們使用 2880 為數(shù)據(jù)塊大小，因為 2880 為指定范圍內的大多數(shù) p 的 p 1倍數(shù)。在實際實現(xiàn)中只要給定了系統(tǒng)參數(shù) p，塊大小可以自由地選擇為任意 p 1的倍數(shù)。該結果通過在計算機上仿真實驗得出，該計算機的配置如下：處理為 Pentium 4 1.6 GHz，內存為 512 M，操作系統(tǒng)為 Linux Redha9.0。從圖 3-8 可以看出，F(xiàn)SC 和 TSC 的吞吐率均高于 G-EVENODD 碼和 STAR 碼大約為 RS 編碼的兩倍。與 HRC 和 EVENODD 一樣，上述四種編碼的輸出均呈鋸齒性，主要原因是在數(shù)據(jù)存儲磁盤個數(shù)不是質數(shù)時使用了碼字縮短技術，即當數(shù)
【學位授予單位】：電子科技大學
【學位級別】：博士
【學位授予年份】：2010
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 梓墨;;如何構建高清監(jiān)控存儲系統(tǒng)[J];中國公共安全(綜合版);2011年06期

2 劉毅;;高清監(jiān)控帶給存儲系統(tǒng)的挑戰(zhàn)[J];中國公共安全(綜合版);2011年06期

3 武國強;林寶軍;張善從;;基于PCI Express的閃存存儲系統(tǒng)設計[J];計算機工程;2011年18期

4 劉文杰;李鳳岐;薛強;;混合模式存儲系統(tǒng)在網(wǎng)絡實驗中的應用[J];實驗技術與管理;2011年07期

5 楊玉糯;;高清監(jiān)控存儲系統(tǒng)的應用部署[J];中國公共安全(綜合版);2011年06期

6 牛軍;張勇軍;任忠;;烏魯木齊石化MES系統(tǒng)基礎設施改造回顧[J];中國信息界;2011年07期

7 郭壯;;網(wǎng)絡存儲 方便你我 希捷發(fā)布BlackArmor和GoFlex Home兩款NAS產(chǎn)品[J];微電腦世界;2011年07期

8 梁曉東;;鄭州電視臺高清制作網(wǎng)存儲架構[J];河南科技;2011年15期

9 王韋華;江獻軍;;門診系統(tǒng)存儲解決方案[J];智能建筑;2009年07期

10 馮大輝;;架構師接龍 鄺宇恒VS.侯震宇[J];程序員;2010年10期

相關會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關鍵技術研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達數(shù)據(jù)傳輸存儲系統(tǒng)設計[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進才;;寄生存儲原理及實現(xiàn)機制[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

5 汪黎;章文嵩;楊學軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學術會議論文集（一）[C];2006年

6 聶明;;構建海量存儲系統(tǒng) 提升媒體競爭力[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 劉湛明;吳柳堅;;數(shù)字電視臺的建設[A];2007第二屆全國廣播電視技術論文集2（下）[C];2007年

9 羅香玉;李傳佑;汪蕓;;糾刪碼容錯組的布局策略研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

10 林茂;張峰;許濤;塔依爾;劉磊;;構建石油地震勘探開發(fā)需求的PC集群存儲系統(tǒng)[A];第十屆全國信息技術化工應用年會論文集[C];2005年

相關重要報紙文章 前10條

1 本報記者 宋家雨;存儲系統(tǒng)的彈性問題[N];網(wǎng)絡世界;2008年

2 李佳;高清視頻市場呼喚光纖存儲系統(tǒng)[N];人民郵電;2010年

3 本報記者 郭平;同有飛驥自主研發(fā)統(tǒng)一存儲系統(tǒng)[N];計算機世界;2010年

4 ;存儲系統(tǒng)：SI和VAR成為廠商首選渠道[N];中國計算機報;2004年

5 ;浪潮NS3550存儲系統(tǒng)[N];中國電子報;2005年

6 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡世界;2009年

7 ;日立 Thunder 9520V存儲系統(tǒng)[N];電腦商報;2005年

8 劉平;淺談企業(yè)存儲系統(tǒng)[N];網(wǎng)絡世界;2002年

9 長風;如何購買存儲系統(tǒng)[N];網(wǎng)絡世界;2003年

10 ;存儲系統(tǒng)集成市場日趨成熟[N];人民郵電;2001年

相關博士學位論文 前10條

1 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學;2010年

2 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

3 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

4 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

5 黃繼鵬;高速高可靠小型數(shù)字視頻存儲系統(tǒng)的設計與實現(xiàn)[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2012年

6 劉軍平;磁盤存儲系統(tǒng)可靠性技術研究[D];華中科技大學;2011年

7 林勝;存儲系統(tǒng)容錯及陣列編碼[D];南開大學;2010年

8 岳銀亮;存儲系統(tǒng)低能耗數(shù)據(jù)布局技術研究[D];華中科技大學;2010年

9 宋偉;面向事務存儲系統(tǒng)的容錯技術研究[D];國防科學技術大學;2011年

10 曾坤;事務存儲系統(tǒng)：事務沖突與事務并行[D];國防科學技術大學;2011年

相關碩士學位論文 前10條

1 陸正武;面向流媒體應用存儲系統(tǒng)的研究與實現(xiàn)[D];華中科技大學;2004年

2 杜睿;基于IP-SAN技術的石化企業(yè)數(shù)據(jù)集中存儲系統(tǒng)的設計與實現(xiàn)[D];華東理工大學;2010年

3 金強;基于HBase的RDF存儲系統(tǒng)的研究與設計[D];浙江大學;2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲技術的研究[D];武漢理工大學;2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2007年

6 張小艷;基于嵌入式技術的USB存儲系統(tǒng)的設計與實現(xiàn)[D];內蒙古大學;2011年

7 蔣亞群;基于DLX體系結構的微處理器核的設計與實現(xiàn)[D];中國人民解放軍國防科學技術大學;2002年

8 亓偉;關系數(shù)據(jù)庫存儲子系統(tǒng)研究與實現(xiàn)[D];清華大學;2005年

9 宋迎迎;數(shù)字館藏評價指標體系研究[D];鄭州大學;2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術研究[D];華中科技大學;2007年

本文編號：2588954