【摘要】：Internet時(shí)代是一個(gè)信息時(shí)代,大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上,未來網(wǎng)絡(luò)更以海量數(shù)據(jù)處理應(yīng)用為中心,如何有效存儲(chǔ)和管理成為當(dāng)前網(wǎng)絡(luò)面臨的難點(diǎn)之一。分布式云存儲(chǔ)作為一種新興的分布式存儲(chǔ),以其結(jié)構(gòu)靈活、響應(yīng)效率高、管理方便等特性,成為各企事業(yè)單位解決數(shù)據(jù)爆炸性增長方案的首選。但研究發(fā)現(xiàn),無論是傳統(tǒng)式的分布式文件系統(tǒng)還是面向Internet的分布式文件系統(tǒng),它們從可擴(kuò)展性、可靠性、容錯(cuò)性及服務(wù)性能等諸多方面,距離支持海量數(shù)據(jù)的云存儲(chǔ)要求都存在較大的差距。而造成這些不足的原因正是由于這些系統(tǒng)所共同采用的邏輯集中式的體系結(jié)構(gòu),并且,隨著系統(tǒng)規(guī)模的不斷增大,不足會(huì)愈加明顯。 基于以上問題,在本實(shí)驗(yàn)室的分布式環(huán)境下,在本文系統(tǒng)、全面地學(xué)習(xí)和總結(jié)分布式存儲(chǔ)系統(tǒng)發(fā)展現(xiàn)狀的基礎(chǔ)上,充分考慮到云存儲(chǔ)的特點(diǎn)及各種云應(yīng)用對數(shù)據(jù)及資源的需求,設(shè)計(jì)了一種物理與邏輯相統(tǒng)一的云存儲(chǔ)架構(gòu),該架構(gòu)通過結(jié)合集中式管理的效率及P2P存儲(chǔ)方式的健壯性,改變了集中式管理伸縮性差以及整個(gè)存儲(chǔ)系統(tǒng)對主節(jié)點(diǎn)的單點(diǎn)依賴,實(shí)現(xiàn)了邏輯與物理相統(tǒng)一的分布式,使具有高可擴(kuò)展性、高可靠性、用戶透明性及強(qiáng)容錯(cuò)性的云存儲(chǔ)系統(tǒng)成為可能。 首先,本文設(shè)計(jì)了一個(gè)物理與邏輯相統(tǒng)一的無主控制的云存儲(chǔ)架構(gòu),利用分區(qū)自治的管理節(jié)點(diǎn)SuperNode節(jié)點(diǎn)克服了集中式架構(gòu)中的單點(diǎn)依賴；其次,通過SuperNode節(jié)點(diǎn)間的協(xié)作機(jī)制,對已存在的應(yīng)用不會(huì)造成任何負(fù)面影響,可兼容集中式架構(gòu)擁有的任何應(yīng)用,從而提高了整個(gè)云存儲(chǔ)架構(gòu)可擴(kuò)展性；最后,為了實(shí)現(xiàn)不需任何手動(dòng)干預(yù)即可自動(dòng)、快速地接管失效管理節(jié)點(diǎn)的子群,設(shè)計(jì)了一套動(dòng)態(tài)接管機(jī)制,通過完善數(shù)據(jù)節(jié)點(diǎn)的心跳機(jī)制,使失效管理節(jié)點(diǎn)下的數(shù)據(jù)節(jié)點(diǎn)動(dòng)態(tài)地被接管,并加入到新的子群當(dāng)中繼續(xù)提供服務(wù),大大增強(qiáng)了云存儲(chǔ)系統(tǒng)的容錯(cuò)性。本文中云存儲(chǔ)架構(gòu)的設(shè)計(jì)區(qū)別于其他傳統(tǒng)式或現(xiàn)有的存儲(chǔ)架構(gòu),是真正的云存儲(chǔ),為各行各業(yè)有效地進(jìn)行海量數(shù)據(jù)的存儲(chǔ)與管理打下了堅(jiān)實(shí)的基礎(chǔ),同時(shí)本架構(gòu)可實(shí)施于任何普通的PC集群上,極大降低了運(yùn)行分布式系統(tǒng)的成本。
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP333
【圖文】：

PVFS(并行虛擬文件系統(tǒng))可以直接應(yīng)用于廉價(jià)的Linux集群而且并不需要特殊的設(shè)備和對內(nèi)核進(jìn)行改動(dòng)。PVFS的基本邏輯架構(gòu)如圖2.2所示， PVFSServerS是管理節(jié)點(diǎn)，即系統(tǒng)的元數(shù)據(jù)服務(wù)器，它負(fù)責(zé)管理和訪問所有的文件元數(shù)據(jù)信息;1/0節(jié)點(diǎn)是運(yùn)行1/0操作的服務(wù)器節(jié)點(diǎn)，負(fù)責(zé)系統(tǒng)中數(shù)據(jù)的存儲(chǔ)和檢索;計(jì)算節(jié)點(diǎn)是用來處理應(yīng)用訪問的節(jié)點(diǎn)，可以通過PVFS專有的hbpvfs接口庫從底層訪問PVFs服務(wù)器。

圖2.3FastDFS的文件上傳過程Fig.23FileuPloadProeessofFastDFS2.4給出了FastDFS系統(tǒng)的文件下載過程。匹三奎巨三二芝二洲翔既化c沁誰眼1時(shí)m公夕例p帕服.岡川‘n艦，丫卜一.一一一~，~一一一沖-.一~一一~巾叭~_夕瞬節(jié)容‘甲翻她擴(kuò)。間扭翩:廠、‘_一_、_，_，____‘*一，、、~，一二_確滬~6甘月簇，渭蓄鉆山打取斌六蝴p徹服翻理ld6讓曉翻m‘)斤扮C。目月c們籠圖2.4FastDFS的文件下載過程

【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前1條

1 易理林;HDFS文件系統(tǒng)中元數(shù)據(jù)的高可用性管理方法研究[D];華南理工大學(xué);2013年

本文編號(hào)：2714674