隨著信息技術(shù)的飛速發(fā)展,傳統(tǒng)的存儲系統(tǒng)已經(jīng)難以滿足現(xiàn)代社會的信息存儲需求,很多新型應(yīng)用需要使用大規(guī)模、高性能、高可靠的海量存儲系統(tǒng)。近年來,學(xué)術(shù)界和企業(yè)界將海量存儲系統(tǒng)技術(shù)作為研究的一個熱點(diǎn)問題,并隨之涌現(xiàn)出一批新型的海量存儲系統(tǒng)。在海量存儲系統(tǒng)中,客戶端的設(shè)計(jì)與實(shí)現(xiàn)方式對于系統(tǒng)的性能等有重要影響。BlueOcean是一款大容量、高性能、高可靠、易管理的海量存儲系統(tǒng)。它采用面向?qū)ο蟮拇鎯夹g(shù),系統(tǒng)由管理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和客戶端組成。管理節(jié)點(diǎn)負(fù)責(zé)保存和管理元數(shù)據(jù),將元數(shù)據(jù)保存在內(nèi)存以提升性能;數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)保存數(shù)據(jù),使用多份副本技術(shù)保證數(shù)據(jù)的可靠性;客戶端對外提供遵守Posix語義的訪問接口,可以支持絕大多數(shù)應(yīng)用程序的透明訪問。本文以BlueOcean海量存儲系統(tǒng)為基礎(chǔ),研究了海量存儲系統(tǒng)客戶端設(shè)計(jì)中的關(guān)鍵技術(shù)問題,設(shè)計(jì)并實(shí)現(xiàn)了一款高性能的,通用的客戶端程序。論文的主要工作如下:（1）對現(xiàn)有的海量存儲系統(tǒng)進(jìn)行了研究,分析了它們的系統(tǒng)架構(gòu)和關(guān)鍵技術(shù)問題。（2）比較了幾種客戶端架構(gòu)方案,設(shè)計(jì)了系統(tǒng)的總體架構(gòu)以及通信交互協(xié)議等。（3）設(shè)計(jì)并實(shí)現(xiàn)了客戶端的系統(tǒng)接口,描述了元數(shù)據(jù)操作接口和數(shù)據(jù)操作接口... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

PVFS系統(tǒng)架構(gòu)

圖 2-2 Lustre 系統(tǒng)架構(gòu)Figure 2-2 Architecture of Lustre system在 Lustre 系統(tǒng)中，關(guān)鍵的三個模塊的功能如下：1．MDS：MDS 負(fù)責(zé)管理元數(shù)據(jù)，提供一個全局的命名空間，Client 可MDS 讀取到保存于 MDT(Meta Data Target)之上的元數(shù)據(jù)。在 Lustre 文件MDS 可以有 2 個，采用了 Active-Standby 的容錯機(jī)制，當(dāng)其中一個 MD常工作時，另外一個后備 MDS 可以啟動服務(wù)。MDT 只能有 1 個，不同 共享訪問同一個 MDT。2．OSS：OSS 負(fù)責(zé)提供 I/O 服務(wù)，接受并服務(wù)來自網(wǎng)絡(luò)的請求。通過 O訪問到保存在 OST 上的文件數(shù)據(jù)。一個 OSS 對應(yīng) 2 到 8 個 OST，其存以高達(dá) 8TB。OST 上的文件數(shù)據(jù)是以分條的形式保存的，文件的分條個 OSS 之中，也可以保存在多個 OSS 中。Lustre 文件系統(tǒng)的特色之一是基于對象來存儲的，跟傳統(tǒng)的基于塊的存儲方式有所不同。3．Client：Lustre 文件系統(tǒng)通過 Client 端來訪問系統(tǒng)，Client 為掛載了 L系統(tǒng)的任意節(jié)點(diǎn)。Client 提供了 Linux 下 VFS(虛擬文件系統(tǒng))與 Lustre

圖 2-3 GoogleFS 系統(tǒng)架構(gòu)Figure 2-3 Architecture of GoogleFS主服務(wù)器負(fù)責(zé)維護(hù)所有文件系統(tǒng)的元數(shù)據(jù)，包括命名空間、文件至數(shù)據(jù)塊的映射信息，訪問控制信息以及主存中數(shù)據(jù)塊的當(dāng)前位置。將數(shù)據(jù)塊讀入主存是為了提高主服務(wù)器的操作性能。為了獲得數(shù)據(jù)塊的位置信息，主服務(wù)器只在數(shù)據(jù)塊服務(wù)器啟動時才輪詢數(shù)據(jù)塊信息，只有新的數(shù)據(jù)塊產(chǎn)生并有心跳信息的提示時主服務(wù)器才更新這些位置信息�？蛻舳酥苯邮褂米远x的文件系統(tǒng) API 來訪問主服務(wù)器和塊服務(wù)器。為了減少發(fā)給主服務(wù)器的請求數(shù)量，客戶端只對元數(shù)據(jù)進(jìn)行緩存。需要注意的是，客戶端和塊服務(wù)器對文件數(shù)據(jù)不進(jìn)行高速緩存。GoogleFS 采用副本技術(shù)來提高數(shù)據(jù)可用性，數(shù)據(jù)塊和元數(shù)據(jù)都有副本，比如每個數(shù)據(jù)塊在 3 臺塊服務(wù)器上都存在副本，當(dāng)管理元數(shù)據(jù)的主服務(wù)器宕機(jī)時，備用的“影子”服務(wù)器則切換過來，但它只能提供讀取操作，不支持修改、寫入操作。為了增加數(shù)據(jù)可恢復(fù)性，GoogleFS采用了操作日志和快照技術(shù)。

【參考文獻(xiàn)】：
期刊論文
[1]分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用性設(shè)計(jì)[J]. 戰(zhàn)科宇,李小勇,劉海濤.  小型微型計(jì)算機(jī)系統(tǒng). 2013(04)



本文編號：3304343