【摘要】： 隨著計(jì)算機(jī)網(wǎng)絡(luò)的不斷增長,計(jì)算機(jī)應(yīng)用已經(jīng)深入到了各行各業(yè)中,人們對于在線存儲的需求也越來越多。結(jié)果是越來越多的企業(yè)存在著持續(xù)的存儲壓力. 若干年來,市場見證了技術(shù)的不斷創(chuàng)新,從更快的外設(shè)通道,到存儲區(qū)域網(wǎng)絡(luò)(SAN),最后到專門定制的軟硬件存儲系統(tǒng)。但是高昂設(shè)備費(fèi)用讓許多中小公司望而卻步。即使對于一些大公司來說也是一筆不小的費(fèi)用。近幾年,磁盤存儲技術(shù)有了重大突破。在2006年下半年,160G的硬盤開始在普及,現(xiàn)在這一數(shù)字還在不斷的提升。然而已有的測試表明,在許多組織中,個(gè)人電腦的本地磁盤大概能使用4-10G左右的空間,主要是操作系統(tǒng)文件,應(yīng)用程序及一些臨時(shí)文件。 為了能夠利用起這些閑散的磁盤空間,本文提出了一種無服務(wù)器的分布式文件系統(tǒng)Turtle。為了方便用戶的使用,Turtle系統(tǒng)架構(gòu)向用戶提供文件系統(tǒng)接口,同時(shí)通過數(shù)據(jù)分塊和副本冗余控制的方式來提高系統(tǒng)的磁盤空間利用率和可靠性。Turtle系統(tǒng)并不打算取代主流的存儲服務(wù)系統(tǒng)。Turtle系統(tǒng)只想給用戶提供一種選擇,一種不需要成本的選擇。Turtle不保證性能方面的出眾,但是Turtle保證可靠性,即存入數(shù)據(jù)的完整性。 本文詳細(xì)描述了Turtle系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過程,主要包括Turtle的應(yīng)用環(huán)境,體系結(jié)構(gòu)的選擇,名字空間案管理,文件組織形式,數(shù)據(jù)分發(fā)策略以及文件系統(tǒng)接口的設(shè)計(jì)與實(shí)現(xiàn)。最后用實(shí)驗(yàn)數(shù)據(jù)說明了系統(tǒng)的可靠性
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2008
【分類號】：TP333
【圖文】：

圖 2 二維分布模型圖 2 中保存文件分片 Fi的第 j 個(gè)節(jié)點(diǎn)記為jiH 。假設(shè)節(jié)點(diǎn)jiH 不可用的概率為jiP復(fù)文件分片 Fi，保存文件分片 Fi的節(jié)點(diǎn)集中至少有一個(gè)節(jié)點(diǎn)可用。根據(jù)定義析，文件分片 Fi不可得的概率為：1 2( ) ( ... )iRi i i iP A = P C × C × ×C存儲節(jié)點(diǎn)之間相互獨(dú)立，所以：1( )iRji ijP A p== ∏由于 ( ) 1 ( )iP A = P A，文件分片 Fi可得的概率為：1( ) 1iRji ijP A p== ∏要得到文件，必須獲得該文件每個(gè)分片的至少一個(gè)副本，因此，可得存儲可

圖 3 分片相關(guān)的分布方式3 3 61 2 1 2( A ∩A ) ≠ P ( A ) × P ( A )= p × p =p片 F1不可得的情況先下，F(xiàn)2不可得的概率為條件概率41 2131( )| )( )P A A pA pP Ap= = =∩分析可以發(fā)現(xiàn)，將同一文件的不同分片分布在同一存間帶來相關(guān)性，我們將按以下方法分析這種具有分片布模型為 m 份，記為 F={F1，F(xiàn)2，…，F(xiàn)m}，文件分片 F1的 Fi保存到 Ri 個(gè)節(jié)點(diǎn)上，但是每個(gè)節(jié)點(diǎn)不只保存一個(gè)文。假設(shè)存儲節(jié)點(diǎn) H保存 L個(gè)文件分片，記為 T={F，

圖 4 多維分布模型了方便計(jì)算多維分布模型的性能指標(biāo)，提出如下定義：復(fù)包：可以恢復(fù)文件的節(jié)點(diǎn)集合。就是說，當(dāng)這些節(jié)點(diǎn)可用時(shí)，文以恢復(fù)(顯然，全部節(jié)點(diǎn)的集合就是一個(gè)恢復(fù)包)。復(fù)閉合包操作：如果在恢復(fù)包中刪除某個(gè)節(jié)點(diǎn)，剩下的節(jié)點(diǎn)集合仍，那么，就稱這一刪除操作為恢復(fù)閉包操作。復(fù)閉包：不能夠再進(jìn)行閉包操作的恢復(fù)包，稱之為恢復(fù)閉包�？苫謴�(fù)包：文件不可恢復(fù)的節(jié)點(diǎn)集合。就是說，當(dāng)這些節(jié)點(diǎn)不可用節(jié)點(diǎn)都可用的情況下，文件一定不可能恢復(fù)�？苫謴�(fù)閉包操作：如果在不可恢復(fù)包中刪除某個(gè)節(jié)點(diǎn)，剩下的節(jié)點(diǎn)不可恢復(fù)包，那么，就稱這一刪除操作為不可恢復(fù)閉合操作�？苫謴�(fù)閉包：不能夠再進(jìn)行不可恢復(fù)閉包操作的不可恢復(fù)包，稱之閉包。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

2 何興高,張鳳荔,黃遠(yuǎn)軍,秦志光,周明天;分布式個(gè)人文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電子科技大學(xué)學(xué)報(bào);2005年04期

3 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計(jì)算機(jī)工程;2009年01期

4 陳建榮;傅黎;;Novell網(wǎng)絡(luò)環(huán)境下分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];海軍工程大學(xué)學(xué)報(bào);1993年03期

5 李相娜;曹強(qiáng);趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數(shù)據(jù)訪問的研究與實(shí)現(xiàn)[J];微處理機(jī);2008年02期

6 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲技術(shù)研究[J];計(jì)算機(jī)工程;2009年05期

7 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

8 周建強(qiáng);薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)研究與發(fā)展;1990年07期

9 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質(zhì)評測與分析[J];計(jì)算機(jī)學(xué)報(bào);2010年10期

10 李桂萍;;云計(jì)算的兩大特性:虛擬化、分布式[J];通信世界;2011年16期

相關(guān)會議論文 前10條

1 邢海韜;黃孜祺;肖健;;應(yīng)用動(dòng)態(tài)管理技術(shù)優(yōu)化海量數(shù)據(jù)管理[A];廣西計(jì)算機(jī)學(xué)會2008年年會論文集[C];2008年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會2008年學(xué)術(shù)年會論文集（上）[C];2008年

3 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會議論文集（二）[C];2006年

4 王海棟;柴洪洲;黃賢源;柏玉建;;測深異常的高崩潰污染率抗差趨勢面檢測[A];第二十一屆海洋測繪綜合性學(xué)術(shù)研討會論文集[C];2009年

5 張玉杰;崔鐵軍;和萬禮;張振輝;;大規(guī)模地形快速漫游關(guān)鍵技術(shù)研究[A];中國地理信息系統(tǒng)協(xié)會第九屆年會論文集[C];2005年

6 張旭;翟春華;陸麗娜;;局部網(wǎng)絡(luò)編碼及其改進(jìn)方法在傳感器網(wǎng)絡(luò)中的應(yīng)用[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（下）[C];2008年

7 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

8 蔣翠云;梁華國;陶玨輝;陳田;;測試數(shù)據(jù)分塊字典統(tǒng)計(jì)編碼壓縮法[A];第五屆中國測試學(xué)術(shù)會議論文集[C];2008年

9 熊光楚;;MGC微機(jī)軟件包簡介[A];1990年中國地球物理學(xué)會第六屆學(xué)術(shù)年會論文集[C];1990年

10 姚慧敏;崔鐵軍;邵世新;;基于四叉樹的LOD地形模型及其數(shù)據(jù)組織方法研究[A];中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

2 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

3 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

4 丘永萍;云存儲是一種服務(wù)[N];中國城鄉(xiāng)金融報(bào);2010年

5 本報(bào)記者 劉箐箐;Informatica：大數(shù)據(jù)帶來大機(jī)遇[N];計(jì)算機(jī)世界;2011年

6 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

7 江蘇 姚幺;一路順風(fēng) 拷貝有損光盤[N];電腦報(bào);2004年

8 本報(bào)記者 馬文方;Hadoop：云中起舞的小象[N];中國計(jì)算機(jī)報(bào);2010年

9 中興通訊;云存儲鋪就海量數(shù)據(jù)之路[N];通信產(chǎn)業(yè)報(bào);2011年

10 ;Windows Server2003的10個(gè)特點(diǎn)[N];計(jì)算機(jī)世界;2003年

相關(guān)博士學(xué)位論文 前10條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 劉勝蘭;逆向工程中自由曲面與規(guī)則曲面重建關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2005年

3 譚昌柏;逆向工程中基于特征的實(shí)體模型重建關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

4 何朝明;離散點(diǎn)云處理的關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2007年

5 李彭軍;醫(yī)學(xué)影像云服務(wù)平臺基礎(chǔ)架構(gòu)研究與實(shí)踐[D];南方醫(yī)科大學(xué);2011年

6 賀美芳;基于散亂點(diǎn)云數(shù)據(jù)的曲面重建關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

7 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學(xué);2011年

8 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

9 朱洪亮;面向業(yè)務(wù)感知的流量監(jiān)控技術(shù)研究[D];北京郵電大學(xué);2010年

10 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴(kuò)展研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 杜松;Turtle：一種基于局域網(wǎng)絡(luò)的分布式存儲系統(tǒng)[D];上海交通大學(xué);2008年

2 胡云鵬;面向IPTV的分布式文件系統(tǒng)仿真軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

3 吳昊;基于HDFS的分布式文件系統(tǒng)數(shù)據(jù)冗余技術(shù)研究[D];西安電子科技大學(xué);2011年

4 龔高晟;通用分布式文件系統(tǒng)的研究與改進(jìn)[D];華南理工大學(xué);2010年

5 李書鵬;分布式文件系統(tǒng)在云存儲環(huán)境下的若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 趙黎斌;面向云存儲的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2011年

7 胡振欣;分布式文件系統(tǒng)中的軟件開發(fā)管理[D];上海交通大學(xué);2012年

8 呂磊;迅雷離線下載分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2010年

9 黃爛

本文編號：2770717