隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,各種新興的創(chuàng)新型應(yīng)用不斷涌現(xiàn),爆炸式增長(zhǎng)的不同類(lèi)型的各種信息對(duì)數(shù)據(jù)存儲(chǔ)提出新的要求。由于網(wǎng)絡(luò)應(yīng)用類(lèi)型的豐富性,其所產(chǎn)生的文件類(lèi)型和文件數(shù)量都遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的通用文件系統(tǒng)所能支持的范圍。為了應(yīng)對(duì)不斷發(fā)展的網(wǎng)絡(luò)應(yīng)用所提出的存儲(chǔ)需求,面向互聯(lián)網(wǎng)的存儲(chǔ)系統(tǒng)需要具有如下幾個(gè)特點(diǎn)：首先是要能夠處理海量文件；其次要能夠支持多種類(lèi)型的文件的存儲(chǔ),如從幾KB的文本文件到幾GB的視頻文件；然后要具有極高的性能,能夠支持大量的并發(fā)訪問(wèn)。針對(duì)以上這些問(wèn)題,本文設(shè)計(jì)和實(shí)現(xiàn)了一種面向互聯(lián)網(wǎng)環(huán)境的,支持海量數(shù)據(jù)的,對(duì)多種類(lèi)型文件提供融合存儲(chǔ)的分布式文件系統(tǒng)——FDFS （Fusion Distributed File System）。它借鑒了已有的分布式文件系統(tǒng)的設(shè)計(jì)經(jīng)驗(yàn),打破了常規(guī)的分布式文件系統(tǒng)只能存儲(chǔ)海量小文件或者只設(shè)計(jì)用于存儲(chǔ)大數(shù)據(jù)集文件的壁壘,將海量的不同規(guī)模、不同類(lèi)型的文件存儲(chǔ)在同一個(gè)系統(tǒng)中,大大提高了物理空間的利用率、降低了服務(wù)器集群管理的復(fù)雜度、同時(shí)為全局范圍內(nèi)的負(fù)載均衡和存儲(chǔ)空間分配提供了更加精確的支持。本文著重闡述了FDFS系統(tǒng)的體系架構(gòu)設(shè)計(jì)以及系統(tǒng)設(shè)計(jì)中核心問(wèn)題的實(shí)現(xiàn)策略... 

【文章來(lái)源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：95 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Master/Slave結(jié)構(gòu)

Lustre名字空間的修改采用了鎖方案，當(dāng)客戶端修改修改一個(gè)文件時(shí)，需要在MDS上請(qǐng)求一個(gè)鎖，這樣就可以避免一個(gè)文件同時(shí)被多個(gè)客戶端修改所帶來(lái)的不一致性。Lustre的名字空間管理采用如圖2一2所示的結(jié)構(gòu)。陰〕S‘巨出勸口側(cè)護(hù).自自翻g側(cè)飽怕山白毛叭犯七俐幻刀自孽曹O切eds匕.醉S曰，日寫(xiě)長(zhǎng)巧S)055目匕舊醉...嘆翔州g匕舊醉毛.華七心儀刃.勺d時(shí)dJ幼曰曰M目匕加白5.，日‘洲隴】.一1田S卜即目目口側(cè)蕎en目眾呂七口口峨叮，..一︶二咧﹄一魯魯魯︸﹄切1-包卜答魯.、、卜二~.圖2一 2Lustre名字空間管理模型類(lèi)似于Lustre文件系統(tǒng)， GFs(GoogleFileSystem)〔村〕也采用了單一的元數(shù)據(jù)服務(wù)器(Master)來(lái)管理系統(tǒng)中的名字空間。在GFS中，Master維護(hù)系統(tǒng)所13

GFS沒(méi)有與每個(gè)目錄相關(guān)的數(shù)據(jù)結(jié)構(gòu)(如inode等)，也不支持別名，GFS的名字空間僅僅是一個(gè)從路徑名到文件元數(shù)據(jù)之間的一個(gè)映射表。GFS的名字空間管理采用如圖2一3的結(jié)構(gòu)。SerVerS囤囤一一}_」﹁日川一-圖回畫(huà)一Cl，t一 rlkserVerIC卜 unkserver2ChUn伙se!VerN圖2一 3GFS的名字空間管理結(jié)構(gòu)2.4數(shù)據(jù)一致性數(shù)據(jù)一致性〔”〕是指不同客戶端在訪問(wèn)分布式文件系統(tǒng)時(shí)，在同一時(shí)刻應(yīng)該看到相同的內(nèi)容。按照本地文件系統(tǒng)的POSIx語(yǔ)義，如果一個(gè)進(jìn)程修改了某個(gè)文件或者目錄的內(nèi)容或者屬性，其他進(jìn)程應(yīng)該能夠立即察覺(jué)到這種變化。但是在分布式環(huán)境下，要嚴(yán)格實(shí)現(xiàn)POS工X語(yǔ)義將會(huì)造成巨大的性能損失，因此分布式文件系統(tǒng)一般采取相對(duì)寬松的一致性語(yǔ)義。在 NFs(NetworkFilesystem)系統(tǒng)中，客戶端會(huì)緩存文件以及目錄的元信息

【參考文獻(xiàn)】：
期刊論文
[1]藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J]. 黃華,張建剛,許魯.  計(jì)算機(jī)研究與發(fā)展. 2005(06)
[2]分布式文件系統(tǒng)中的負(fù)載平衡技術(shù)[J]. 田穎,許魯.  計(jì)算機(jī)工程. 2003(19)



本文編號(hào)：3399815