【摘要】：隨著分布式存儲(chǔ)系統(tǒng)規(guī)模的不斷擴(kuò)大,系統(tǒng)可靠性的問題逐漸受到人們的重視。系統(tǒng)中磁盤數(shù)量的增加和單塊磁盤容量的增長(zhǎng)使得系統(tǒng)錯(cuò)誤率不斷增長(zhǎng),任何一次數(shù)據(jù)丟失都會(huì)造成巨大的損失。 本文對(duì)基于糾刪碼的分布式存儲(chǔ)系統(tǒng),首先通過泊松過程建立數(shù)據(jù)塊錯(cuò)誤的概率模型,并分析磁盤整理周期跟數(shù)據(jù)塊錯(cuò)誤之間的關(guān)系;然后根據(jù)數(shù)據(jù)塊錯(cuò)誤概率和糾刪碼的性質(zhì)導(dǎo)出文件可用性模型,分析了冗余度和文件可靠性之間的關(guān)系;接著利用文件可用性和磁盤整理周期,導(dǎo)出了系統(tǒng)可靠性的計(jì)算模型。 為了避免在讀寫過程中訪問不相關(guān)的數(shù)據(jù)塊,本文選擇文件為冗余集合。在這種情況下,系統(tǒng)可靠性取決于小文件的可靠性,因此,我們提出了動(dòng)態(tài)冗余機(jī)制,對(duì)不同大小的文件選擇最合適的冗余度。這種機(jī)制在保證系統(tǒng)可靠性的前提下降低了系統(tǒng)冗余的空間代價(jià),同時(shí)也從一定程度上優(yōu)化了讀寫操作的性能。 處理數(shù)據(jù)塊錯(cuò)誤的方法是磁盤整理,即系統(tǒng)定期掃描磁盤中所有的數(shù)據(jù)塊,修復(fù)損壞的數(shù)據(jù)塊。所以縮短磁盤整理周期可以有效提高系統(tǒng)的可靠性,但是過于頻繁的磁盤整理會(huì)給系統(tǒng)帶來沉重的負(fù)擔(dān)。本文最后將提出如何根據(jù)系統(tǒng)可靠性目標(biāo)來選擇一個(gè)合適的磁盤整理周期。
【圖文】：

.1 系統(tǒng)可靠性研究的由來我們生活在一個(gè)信息大爆炸時(shí)代。隨著科學(xué)技術(shù)的飛速發(fā)展，數(shù)據(jù)，作為信息體，其數(shù)量在持續(xù)不斷的增長(zhǎng)。僅 2002 年一年，全球就產(chǎn)生了 5EB（5×260字新數(shù)據(jù)，這些數(shù)據(jù)的年增長(zhǎng)率接近 30% [1]，系統(tǒng)架構(gòu)師們需要建立龐大的存儲(chǔ)來滿足日益增長(zhǎng)的帶寬和存儲(chǔ)空間的需求。隨著系統(tǒng)規(guī)模的擴(kuò)大，系統(tǒng)的容錯(cuò)能力和可靠性的問題日益突出。系統(tǒng)錯(cuò)誤往導(dǎo)致非常嚴(yán)重的后果，對(duì)于商用數(shù)據(jù)服務(wù)器，系統(tǒng)錯(cuò)誤意味著幾百萬美元的損用于科學(xué)計(jì)算的超級(jí)計(jì)算機(jī)集群，系統(tǒng)錯(cuò)誤意味著很多寶貴的、不可再生的數(shù)據(jù)�，F(xiàn)在的存儲(chǔ)系統(tǒng)遠(yuǎn)沒有我們想象的那么可靠，最新的調(diào)查顯示商用服務(wù)器只能 99%的可靠性，這意味著系統(tǒng)在一年中平均每 3.5 天會(huì)出現(xiàn)一次宕機(jī) [2]。200一份錯(cuò)誤分析報(bào)告顯示，Internet Archive [3]在一個(gè)月內(nèi)會(huì)出現(xiàn) 30 個(gè)硬盤錯(cuò)誤，統(tǒng)是一個(gè)由 600 多個(gè)硬盤構(gòu)成，含有 100TB 壓縮數(shù)據(jù)的數(shù)字圖書館，，下圖是該連續(xù)運(yùn)行 30 天所發(fā)生的硬件錯(cuò)誤的分布情況。

圖 2-1：三種集中式存儲(chǔ)系統(tǒng)架構(gòu)Figure 2-1: The architecture of three kinds of centralized storage systems2.1.2 分布式存儲(chǔ)系統(tǒng)分布式存儲(chǔ)系統(tǒng)可以分為集群存儲(chǔ)系統(tǒng)、P2P 存儲(chǔ)系統(tǒng)和網(wǎng)格存儲(chǔ)系統(tǒng)等等(1) 集群存儲(chǔ)系統(tǒng)由于目前一些存儲(chǔ)應(yīng)用受容量可擴(kuò)展性、性能可擴(kuò)展性、可用性、可管理性戰(zhàn)，“催生”了許多存儲(chǔ)集群系統(tǒng)的產(chǎn)生。集群存儲(chǔ)是將每個(gè)存儲(chǔ)設(shè)備作為一個(gè)節(jié)點(diǎn)，通過高速互聯(lián)網(wǎng)絡(luò)連接起來，將數(shù)據(jù)分散開存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上，這備可以獨(dú)立運(yùn)作，相互之間又可以合作。每個(gè) I/O 節(jié)點(diǎn)不僅可以訪問本節(jié)點(diǎn)的存間，還可以訪問其他節(jié)點(diǎn)的存儲(chǔ)空間。所有存儲(chǔ)節(jié)點(diǎn)的空間以一個(gè)虛擬磁盤的方供給客戶端用戶。組成集群存儲(chǔ)可以是塊級(jí)別的 SAN 集群、文件級(jí)別的 NAS 集并行文件系統(tǒng)的集群。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2009
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林嘯虎;機(jī)器人應(yīng)用工程的可靠性研究[J];中國(guó)機(jī)械工程;1992年02期

2 伊連云;王會(huì);張秀英;;PLC控制系統(tǒng)抗干擾可靠性研究[J];農(nóng)業(yè)裝備與車輛工程;2006年04期

3 李天超;李琳;;單片機(jī)上電初始化電路的可靠性研究[J];洛陽(yáng)師范學(xué)院學(xué)報(bào);2006年02期

4 張芳娥;衡君山;甄換強(qiáng);;RS485總線網(wǎng)絡(luò)可靠性研究[J];儀器儀表學(xué)報(bào);2006年S3期

5 高健飛;熊繼軍;郭濤;范波;;微加速度計(jì)在沖擊環(huán)境下的可靠性研究[J];傳感技術(shù)學(xué)報(bào);2008年02期

6 張霞;王磊;張欣;;圖書館電子閱覽室人子系統(tǒng)的可靠性研究[J];中國(guó)現(xiàn)代教育裝備;2008年06期

7 俞健;;高速條件下GPRS數(shù)據(jù)傳輸可靠性研究[J];電腦與電信;2009年04期

8 于捷;石耀霖;張海龍;申桂香;賈亞洲;;基于Bayes方法的數(shù)控機(jī)床可靠性研究[J];機(jī)床與液壓;2009年08期

9 ;電子器件[J];電子科技文摘;2000年01期

10 ;可靠性工程與環(huán)境工程[J];電子科技文摘;2001年12期

相關(guān)會(huì)議論文 前10條

1 劉瑋;劉淑娟;;建筑施工用電的安全防范系統(tǒng)工程及其可靠性研究[A];人—機(jī)—環(huán)境系統(tǒng)工程創(chuàng)立20周年紀(jì)念大會(huì)暨第五屆全國(guó)人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會(huì)議論文集[C];2001年

2 ;VSL鋼絞線斜拉索體系可靠性研究[A];中國(guó)公路學(xué)會(huì)橋梁和結(jié)構(gòu)工程學(xué)會(huì)2002年全國(guó)橋梁學(xué)術(shù)會(huì)議論文集[C];2002年

3 劉金龍;;現(xiàn)代化鋼鐵企業(yè)電纜管理的人-機(jī)-環(huán)境系統(tǒng)可靠性研究[A];第六屆全國(guó)人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會(huì)議論文集[C];2003年

4 許建軍;孔學(xué)東;李斌;師謙;;MEMS及微機(jī)械加速度計(jì)可靠性研究[A];第十一屆全國(guó)可靠性物理學(xué)術(shù)討論會(huì)論文集[C];2005年

5 項(xiàng)止武;;電牽引采煤機(jī)電氣系統(tǒng)可靠性的研究[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（上）[C];2003年

6 曹志禮;;關(guān)于貨車轉(zhuǎn)向架可靠性問題的初步分析[A];貨車學(xué)術(shù)研討會(huì)論文集[C];2006年

7 王永新;;循環(huán)流化床鍋爐運(yùn)行的可靠性研究[A];核工業(yè)集團(tuán)公司第八屆可靠性成果發(fā)表會(huì)論文集[C];2006年

8 孫玉秋;;印刷機(jī)離合壓裝置可靠性分析[A];2005年全國(guó)機(jī)械可靠性學(xué)術(shù)交流會(huì)暨“車輛與工程裝備質(zhì)量與可靠性論壇”論文集[C];2005年

9 鞏威;劉英;王丹;陳千圣;;平衡肘結(jié)構(gòu)可靠性研究[A];慶祝中國(guó)力學(xué)學(xué)會(huì)成立50周年暨中國(guó)力學(xué)學(xué)會(huì)學(xué)術(shù)大會(huì)’2007論文摘要集（下）[C];2007年

10 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲(chǔ)系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美科利（香港）有限公司北京代表處;美科利業(yè)務(wù)可用性中心創(chuàng)造完美體驗(yàn)[N];通信產(chǎn)業(yè)報(bào);2005年

2 ;你的產(chǎn)品有可用性嗎[N];中國(guó)質(zhì)量報(bào);2003年

3 雅慧;Enterasys NetSight方案提高網(wǎng)絡(luò)可控性、可用性[N];中國(guó)計(jì)算機(jī)報(bào);2001年

4 ;萬全 T200可用性與價(jià)格并重[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 楊萬麗;產(chǎn)品設(shè)計(jì)導(dǎo)入“可用性”[N];中國(guó)商報(bào);2003年

6 中國(guó)電源學(xué)會(huì)副理事長(zhǎng) 張廣明;可靠性 Vs 可用性[N];網(wǎng)絡(luò)世界;2004年

7 董唯元;可用性度量是惟一指標(biāo)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

8 Andi Mann　編譯 劉琦;實(shí)現(xiàn)增強(qiáng)性能和可用性管理[N];中國(guó)計(jì)算機(jī)報(bào);2009年

9 CPW記者 曾憲勇;APC關(guān)注網(wǎng)絡(luò)環(huán)境整體可用性[N];電腦商報(bào);2004年

10 朗飛;磁盤備份 速度快了 可用性高了[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)博士學(xué)位論文 前10條

1 左瓊;基于冗余度理論的鋼筋混凝土框架結(jié)構(gòu)抗地震倒塌能力評(píng)估[D];中國(guó)建筑科學(xué)研究院;2012年

2 艾達(dá);視頻通信抗分組丟失技術(shù)研究[D];西安電子科技大學(xué);2006年

3 慕建君;低密度糾刪碼和網(wǎng)格圖復(fù)雜度的研究[D];西安電子科技大學(xué);2002年

4 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

5 宋劍;海洋平臺(tái)結(jié)構(gòu)在偶然災(zāi)害作用下的可靠性研究[D];浙江大學(xué);2005年

6 劉幗巾;剩余電流動(dòng)作保護(hù)器的可靠性研究[D];河北工業(yè)大學(xué);2002年

7 石英學(xué);噪聲用于半導(dǎo)體大功率激光器及雙極晶體管可靠性研究[D];吉林大學(xué);2006年

8 �？×�;功率器件無鉛焊料焊接層可靠性研究[D];中國(guó)科學(xué)院研究生院（上海微系統(tǒng)與信息技術(shù)研究所）;2005年

9 華慶一;以用戶為中心的系統(tǒng)分析、建模與設(shè)計(jì)過程研究[D];西北大學(xué);2006年

10 方海光;我國(guó)教育軟件價(jià)值評(píng)測(cè)研究[D];中國(guó)科學(xué)院研究生院（成都計(jì)算機(jī)應(yīng)用研究所）;2006年

相關(guān)碩士學(xué)位論文 前10條

1 唐海浪;分布式存儲(chǔ)系統(tǒng)的可靠性研究[D];上海交通大學(xué);2009年

2 段建麗;面向網(wǎng)站可用性分析的可視化技術(shù)研究[D];大連海事大學(xué);2003年

3 王玉華;黃河QD352型載貨汽車大修可靠性研究[D];大連理工大學(xué);2003年

4 江海苗;軟件可用性輔助分析評(píng)估方法和工具研究[D];大連海事大學(xué);2004年

5 王惠;基于虛擬現(xiàn)實(shí)技術(shù)的產(chǎn)品設(shè)計(jì)過程中的可用性研究[D];東華大學(xué);2006年

6 張霞;計(jì)算機(jī)實(shí)驗(yàn)室系統(tǒng)可靠性研究[D];首都師范大學(xué);2007年

7 馬毓;中國(guó)大陸兒童網(wǎng)站信息可理解性研究[D];西南大學(xué);2008年

8 彭霽;無線傳感器網(wǎng)絡(luò)的節(jié)能與可靠性研究[D];電子科技大學(xué);2008年

9 李雙明;基于可用性的移動(dòng)商務(wù)采納研究[D];大連理工大學(xué);2009年

10 王桂榮;計(jì)算機(jī)集群技術(shù)的研究與應(yīng)用[D];天津大學(xué);2003年

本文編號(hào)：2622541