【摘要】：隨著互聯(lián)網(wǎng)迅速的發(fā)展,數(shù)據(jù)量呈指數(shù)增長,用戶對海量數(shù)據(jù)的存儲和處理需求加大,傳統(tǒng)的數(shù)據(jù)庫集中存儲已經(jīng)不能滿足需求,利用網(wǎng)絡(luò)進(jìn)行分布式存儲成為趨勢。如何在復(fù)雜的網(wǎng)絡(luò)環(huán)境中搭建可用和可靠的分布式存儲系統(tǒng),已經(jīng)成為熱點(diǎn)問題。P2P技術(shù)的出現(xiàn)和發(fā)展推動(dòng)了網(wǎng)絡(luò)存儲技術(shù)的發(fā)展。如今,國際互聯(lián)網(wǎng)公司又提出“云存儲”的概念,向用戶提供可靠方便的服務(wù)。 現(xiàn)有的許多分布式存儲系統(tǒng),采用集中式管理,沒有充分考慮和利用客戶端之間的通信帶寬提供更高效的服務(wù)。本文首先對分布式存儲和P2P技術(shù)進(jìn)行分析,結(jié)合當(dāng)前國內(nèi)外研究現(xiàn)狀和發(fā)展態(tài)勢,設(shè)計(jì)出高效的基于P2P的分布式海量數(shù)據(jù)存儲系統(tǒng),由端系統(tǒng)以及服務(wù)器系統(tǒng)構(gòu)成覆蓋網(wǎng)絡(luò),并且向終端存儲演進(jìn)。 本文的主要工作有以下幾點(diǎn): 第一,通過對現(xiàn)有P2P技術(shù)和分布式存儲技術(shù)的研究與分析,設(shè)計(jì)了出了一個(gè)基于P2P的分布式存儲系統(tǒng),不再由中心節(jié)點(diǎn)對元數(shù)據(jù)進(jìn)行集中管理,而是將元數(shù)據(jù)的存儲和管理分散到系統(tǒng)的各個(gè)節(jié)點(diǎn)上。實(shí)現(xiàn)存儲系統(tǒng)的基本功能,包括文件的發(fā)布、更新、刪除和下載。 第二,副本管理模塊的設(shè)計(jì)和實(shí)現(xiàn)。在復(fù)雜的網(wǎng)絡(luò)環(huán)境中,節(jié)點(diǎn)間存在傳輸速率和帶寬的區(qū)別,也有節(jié)點(diǎn)失效的風(fēng)險(xiǎn),副本管理模塊依據(jù)客戶端所發(fā)送二次請求頻率對副本的冗余度進(jìn)行管理,在保證數(shù)據(jù)的可靠性的前提下又不占用過多存儲空間。副本管理模塊還對副本的一致性進(jìn)行管理,保證用戶的下載和更新等操作都對統(tǒng)一的版本進(jìn)行,但是多個(gè)副本的一致性更新操作將占用較大網(wǎng)絡(luò)帶寬,本模塊實(shí)行可延后機(jī)制,在網(wǎng)絡(luò)空閑或用戶需要對文件進(jìn)行操作時(shí)才進(jìn)行數(shù)據(jù)一致性同步。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP393.09;TP333
【圖文】：

大規(guī)模存儲應(yīng)用的需要。分布式存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)性、可用性、和存儲效率，還易于擴(kuò)展。分布式存儲系統(tǒng)在快速的發(fā)展中，出現(xiàn)了多種模型的應(yīng)用實(shí)例，其中比的系統(tǒng)有谷歌的 GFS[3]、Berkeley 的 OceanStore、MIT[4]的 PAST 和微tValut[5]等。2.1 GFSGFS(Google File System，谷歌文件系統(tǒng))是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)大型的、分布式的、對海量數(shù)據(jù)進(jìn)行處理的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件供容錯(cuò)功能。它可以給大量用戶提供總體性能較高的服務(wù)。GFS 架構(gòu)如圖示。

HDFS簡要結(jié)構(gòu)

【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前1條

1 陳玲玲;基于副本管理的P2P存儲系統(tǒng)模型建立與性能分析[D];燕山大學(xué);2012年

本文編號：2728193