【摘要】： 隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的迅猛發(fā)展,網(wǎng)絡(luò)存儲應(yīng)用現(xiàn)了一些新特點(diǎn):數(shù)據(jù)總量爆炸性增長的趨勢越來越快,存儲管理和維護(hù)的自動化和智能化程度要求越來越高,多平臺的互操作性和數(shù)據(jù)共享能力越來越重要。網(wǎng)絡(luò)存儲正發(fā)生著革命性的變化,基于對象的存儲應(yīng)運(yùn)而生�；趯ο蟮拇鎯⒋鎯涌谧髁烁拘缘母淖�,提出了對象接口,由此克服了塊接口與文件接口的缺陷,使得對象存儲系統(tǒng)在安全性,數(shù)據(jù)共享,可擴(kuò)展性及性能等方面能做到最好的折中。對象接口訪問的基本單位是對象,對象除了包含用戶數(shù)據(jù)外,還包含能描述對象特征的屬性。通過在用戶和設(shè)備之間傳遞對象屬性信息,對象接口比其他接口具有更為豐富的語義表達(dá)能力。 隨著電子技術(shù)的發(fā)展,存儲設(shè)備上已嵌入了越來越多的處理能力,上層應(yīng)用的部分功能可以遷往設(shè)備(即“主動存儲”的概念)。目前廣泛流行的存儲設(shè)備是“啞設(shè)備”,只能被動地響應(yīng)用戶的請求,隨著設(shè)備功能越來越復(fù)雜,傳統(tǒng)的對設(shè)備透明的管理方式已很難勝任。人們迫切需要一種設(shè)備參與在內(nèi)、更簡單靈活的方式來管理,而主動存儲能很好地滿足這些應(yīng)用的需求。另外,由于硬磁盤本身機(jī)械運(yùn)動的本質(zhì)特征沒有明顯改變,在網(wǎng)絡(luò)存儲條件下網(wǎng)絡(luò)延遲不能忽略,特別是網(wǎng)絡(luò)共享跨越了廣域網(wǎng),如何提高處理節(jié)點(diǎn)和存儲節(jié)點(diǎn)間的數(shù)據(jù)傳輸速率成為當(dāng)前提高系統(tǒng)整體性能的關(guān)鍵因素。主動存儲系統(tǒng)能夠在很大程度上解決該項(xiàng)難題�？梢哉f主動存儲系統(tǒng)代表著將計(jì)算向數(shù)據(jù)移近的發(fā)展方向。但在對象接口出現(xiàn)之前,原有設(shè)備使用的接口是一種簡單透明的接口,這妨礙了設(shè)備端和用戶端的任務(wù)合作。對象接口的出現(xiàn)加速了主動存儲的發(fā)展進(jìn)程,主動存儲可以利用富于表達(dá)力的對象接口將更多的信息在設(shè)備端和用戶端之間傳遞�？梢哉f對象存儲與主動存儲的結(jié)合將是未來存儲界領(lǐng)先的技術(shù)之一。 基于對象的主動存儲系統(tǒng)(OBASS)結(jié)合了對象接口與主動存儲的優(yōu)點(diǎn),主動存儲將建立在對象基礎(chǔ)上,所有信息都以對象的形式出現(xiàn)。OBASS的基礎(chǔ)是基于對象的存儲設(shè)備(OSD),在軟件層次上,OSD主要分為三層:對象層、主動服務(wù)層以及存儲質(zhì)量控制層。對象層統(tǒng)一管理所有對象,負(fù)責(zé)對象的磁盤數(shù)據(jù)組織(包括磁盤內(nèi)對象數(shù)據(jù)布局和磁盤間的對象放置)。主動服務(wù)層實(shí)現(xiàn)了主動存儲功能,上層應(yīng)用把功能模塊下載到OSD中后作為特殊的對象(方法對象),由對象層存儲與管理,由主動服務(wù)層調(diào)度方法對象執(zhí)行。存儲服務(wù)質(zhì)量控制層對所有層次模塊的執(zhí)行過程施加影響,使OSD在不同的負(fù)載狀況下能滿足不同用戶的對象讀寫QoS要求。 磁盤內(nèi)的對象數(shù)據(jù)組織即對象文件系統(tǒng),其中一個(gè)重要的特性是性能的持久性,即對象文件系統(tǒng)在長期的使用的過程中,經(jīng)歷了頻繁的對象創(chuàng)建、刪除和寫操作后,其性能仍然能夠維持在較高水平。性能持久性是通過柔性空閑空間管理和分配粒度可變的漸近空間分配策略實(shí)現(xiàn)的。 磁盤間的對象放置策略研究對象在多個(gè)磁盤間的放置,使得整個(gè)系統(tǒng)性能達(dá)到最優(yōu),負(fù)載得以均衡。不同的應(yīng)用放置策略是不同的,對于流媒體應(yīng)用,適用的放置策略是基于阻塞概率模型的放置策略;而對于事務(wù)處理,基于響應(yīng)時(shí)間模型的放置策略更合適。對象放置策略應(yīng)能運(yùn)用于在線環(huán)境,但在線運(yùn)行時(shí)負(fù)載特點(diǎn)是無法事先預(yù)料的,利用OSD的智能性及對象的屬性,對象放置策略可對負(fù)載的特征進(jìn)行自主學(xué)習(xí),并根據(jù)學(xué)習(xí)的結(jié)果指導(dǎo)對象放置。 為實(shí)現(xiàn)基于對象的主動存儲,首先對現(xiàn)有的T10 OSD標(biāo)準(zhǔn)進(jìn)行修改,擴(kuò)充對象概念引入方法對象使其支持主動存儲。方法對象的執(zhí)行有兩種方式:一種是外界用戶的請求觸發(fā)執(zhí)行,另一種是條件滿足時(shí)的策略觸發(fā)執(zhí)行。主動服務(wù)層建立了統(tǒng)一的框架,把這兩種方法的調(diào)度機(jī)制有效結(jié)合起來,支持計(jì)算任務(wù)與管理任務(wù)向OSD遷移。方法的執(zhí)行機(jī)制是主動存儲的核心,針對過濾型方法和服務(wù)型方法這兩類不同方法,分別提出了在Linux系統(tǒng)下的實(shí)現(xiàn)機(jī)制。為評估主動存儲的效能,將這兩類方法分別運(yùn)用于兩種不同應(yīng)用:OSDFS文件系統(tǒng)及對象存儲系統(tǒng)的負(fù)載均衡。在OSDFS中,兩種常規(guī)操作lookup和unlink作為過濾型方法下放到OSD中,分析表明,這可以大大減少網(wǎng)絡(luò)延遲和內(nèi)存拷貝。而負(fù)載均衡算法可以作為服務(wù)型方法運(yùn)行在OSD中,實(shí)驗(yàn)表明,啟用對象復(fù)制和對象遷移的負(fù)載均衡算法能最大程度地減少平均系統(tǒng)響應(yīng)度。 存儲服務(wù)質(zhì)量控制分三個(gè)層次實(shí)現(xiàn)QoS:上層調(diào)度器實(shí)現(xiàn)對象請求調(diào)度,從對象級保證QoS;中層調(diào)度器實(shí)現(xiàn)對象預(yù)處理,與對象文件系統(tǒng)及緩存結(jié)合,對于對象讀,通過對象的預(yù)取,對于對象寫,通過頁面預(yù)分配、延遲空間分配及延遲寫保障對象讀寫的QoS;而下層調(diào)度器與Linux I/O子系統(tǒng)中的塊I/O調(diào)度器結(jié)合,綜合考慮帶優(yōu)先級的實(shí)時(shí)負(fù)載以及非實(shí)時(shí)負(fù)載的調(diào)度,即考慮I/O請求的時(shí)限,磁頭定位時(shí)間和優(yōu)先級三個(gè)因素在內(nèi)的I/O調(diào)度。將OSD的QoS調(diào)度模塊(OIS)與Linux系統(tǒng)中其他的調(diào)度器進(jìn)行了比較,結(jié)果表明,對于實(shí)時(shí)讀操作,OIS引起的延時(shí)抖動比其他調(diào)度器至少小1個(gè)數(shù)量級;而對于寫操作,至少小2個(gè)數(shù)量級。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2006
【分類號】：TP333
【圖文】：

所有對象已分配的總空間為：001( )1 2 1 1MxxNF system AMα α αββ β= + = + + ∑ ， （2.9）則系統(tǒng)平均內(nèi)部碎片率為：( ) 1( )1( )11limMR systemIF systemF systemβαβ→∞= =++ 。 （2.10）從上述公式可知，增大 α 和減小 β 有利于減少對象文件系統(tǒng)的內(nèi)部碎片，但會導(dǎo)致過小的分配粒度，對長期性能有負(fù)面影響；反之亦然。為此，LOBFS 需要在減小內(nèi)部碎片和提高系統(tǒng)的長期性能這兩個(gè)目標(biāo)之間平衡。圖 2.9 繪出了維持因子 α和增長因子 β 對內(nèi)部碎片的影響，最壞內(nèi)部碎片受 α 和 β 影響顯著，而平均內(nèi)部碎片主要受 α 影響，但當(dāng) α>5 及 β<10 時(shí)，最壞內(nèi)部碎片和平均內(nèi)部碎片均可以取得較小值。另外，需要對對象采用不同的分配策略。LOBFS 采用的方式是：小對象傾向于減小內(nèi)部碎片，設(shè)置較大的 α 值（α=7）和較小 β（β=4）值；而大對象傾向于考慮長期性能的影響，故設(shè)置較小的 α 值（α=6）和較大 β 值（β=8）。

分別用 Benchmark1 和 Benchmark2 作為輸入進(jìn)行測試。所有的對件系統(tǒng)根目錄下，并以對象 ID 作為文件名。本文實(shí)現(xiàn)了用戶態(tài)下 L序，而其他的文件系統(tǒng)是核態(tài)下的模塊。為保證對比的公平性，測試存的影響，而只考慮空間分配對性能造成的影響。為此，在掛載文件 sync 選項(xiàng)，同時(shí)測試程序在調(diào)用文件系統(tǒng)調(diào)用時(shí)啟用直接 I/O（打開_DIRECT 標(biāo)志），使文件/對象的讀寫繞過系統(tǒng)緩存。LOBFS 通過設(shè)a1 實(shí)現(xiàn)對磁盤的讀寫，同樣在打開設(shè)備文件時(shí)也加入 O_DIRECT 標(biāo) I/O 時(shí)，文件系統(tǒng)調(diào)用中的讀寫緩存必須以 512 字節(jié)對齊，因此測試緩存時(shí)要調(diào)用函數(shù) posix_memalign()進(jìn)行分配。

性能能夠維持穩(wěn)定，ReiserFS 在經(jīng)歷了早期的性能下降后（由于小文件的聚集和拆散引起）也能維持穩(wěn)定。如 LOBFS 在第 4 萬次操作后的平均性能為50073.23KB/S ，經(jīng)歷了 6 萬次操作后性能下降為 50271.46KB/S ，僅下降了198.23KB/S，而 EXT3 在相應(yīng)的區(qū)間則下降了 3499.29KB/S。LOBFS 采用激進(jìn)的漸近分配策略也使得其性能一直處于領(lǐng)先地位。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 唐偉;;校園網(wǎng)絡(luò)存儲系統(tǒng)設(shè)計(jì)[J];科技信息;2011年19期

2 孫遒;;基于UML的高校機(jī)房網(wǎng)絡(luò)存儲管理系統(tǒng)的設(shè)計(jì)[J];信息技術(shù);2011年06期

3 張超;饒淑珍;;Xlight外部用戶鑒權(quán)FTP服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識與技術(shù);2011年23期

4 阿呆;;威速:讓云“落地”視頻會議行業(yè)[J];通訊世界;2011年07期

5 ;烽火網(wǎng)絡(luò)MSAP助力金融業(yè)信息化發(fā)展[J];通信世界;2011年27期

6 ;虛擬化勢在必行[J];電腦與電信;2011年06期

7 余軍;王寶華;;網(wǎng)站后端應(yīng)用系統(tǒng)架構(gòu)優(yōu)化[J];新聞前哨;2011年07期

8 李華;范玉君;;張家港電視臺網(wǎng)絡(luò)化播控系統(tǒng)介紹[J];衛(wèi)星電視與寬帶多媒體;2011年13期

9 劉曉普;杜彬彬;;企業(yè)數(shù)據(jù)存儲技術(shù)的分析[J];蘇鹽科技;2011年02期

10 陳龍飛;;網(wǎng)絡(luò)硬盤在高校信息化建設(shè)中的應(yīng)用[J];信息與電腦(理論版);2011年06期

相關(guān)會議論文 前10條

1 朱勇;張江陵;;基于Agent的網(wǎng)絡(luò)存儲資源管理系統(tǒng)[A];’2004計(jì)算機(jī)應(yīng)用技術(shù)交流會議論文集[C];2004年

2 梁達(dá);王濤;鄭為東;楊柳;;淺析P2P網(wǎng)絡(luò)存儲[A];廣西計(jì)算機(jī)學(xué)會2004年學(xué)術(shù)年會論文集[C];2004年

3 韓猛;何玉華;楊楠;;白云鄂博鐵礦計(jì)算機(jī)數(shù)據(jù)網(wǎng)絡(luò)存儲和備份的實(shí)現(xiàn)[A];中國計(jì)量協(xié)會冶金分會2010年會論文集[C];2010年

4 王新燕;范金剛;;初探云計(jì)算[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學(xué)術(shù)研討會論文集[C];2010年

5 梁達(dá);王濤;鄭為東;楊柳;;淺析P2P網(wǎng)絡(luò)存儲[A];廣西計(jì)算機(jī)學(xué)會——2004年學(xué)術(shù)年會論文集[C];2004年

6 陳進(jìn)才;程偉;陳希;周功業(yè);;寄生存儲冗余機(jī)制與實(shí)現(xiàn)技術(shù)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

7 馮振乾;蘇金樹;張曉哲;;對象存儲研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

8 萬里烘;高惠君;;計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在城市地理信息系統(tǒng)中的應(yīng)用研究[A];第三屆長三角科技論壇（測繪分論壇）暨'2006江蘇省測繪學(xué)術(shù)年會論文集[C];2006年

9 黃意安;;存儲系統(tǒng)在數(shù)字圖書館建設(shè)中的應(yīng)用分析[A];福建省圖書館學(xué)會2006年學(xué)術(shù)年會論文集[C];2006年

10 靳曉園;林巖;張建剛;;基于MVC網(wǎng)絡(luò)存儲管理軟件的設(shè)計(jì)與實(shí)現(xiàn)[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 ;花小錢也能辦大事[N];網(wǎng)絡(luò)世界;2005年

2 ;1.5TB消費(fèi)級網(wǎng)絡(luò)存儲市場將成倍增長[N];網(wǎng)絡(luò)世界;2009年

3 本報(bào)記者 郭濤;填補(bǔ)網(wǎng)絡(luò)存儲標(biāo)準(zhǔn)制定的空白[N];中國計(jì)算機(jī)報(bào);2009年

4 ;網(wǎng)絡(luò)存儲呈現(xiàn)為應(yīng)用優(yōu)化趨勢[N];人民郵電;2009年

5 周曉盈;網(wǎng)絡(luò)存儲緣何熱衷NAS[N];中國電子報(bào);2003年

6 高;安百特上海展示網(wǎng)絡(luò)存儲[N];中國計(jì)算機(jī)報(bào);2000年

7 特約作者 陳圣日;中小學(xué)網(wǎng)絡(luò)存儲定位與選擇[N];中國電腦教育報(bào);2005年

8 長風(fēng);什么阻礙了網(wǎng)絡(luò)存儲的發(fā)展？[N];網(wǎng)絡(luò)世界;2003年

9 曉芝;戴爾“半價(jià)”殺入網(wǎng)絡(luò)存儲[N];計(jì)算機(jī)世界;2004年

10 記者 張弦;EMC聯(lián)手TP提供專業(yè)網(wǎng)絡(luò)存儲培訓(xùn)[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前9條

1 覃靈軍;基于對象的主動存儲關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

2 何水兵;對象存儲控制器關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2009年

3 盧軍;高性能網(wǎng)絡(luò)存儲技術(shù)研究[D];電子科技大學(xué);2002年

4 陳濤;大規(guī)模網(wǎng)絡(luò)存儲環(huán)境中的數(shù)據(jù)布局與查詢優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

5 劉群;基于可擴(kuò)展對象的海量存儲系統(tǒng)研究[D];華中科技大學(xué);2006年

6 鄧勁生;廣域網(wǎng)絡(luò)存儲虛擬化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

7 夏楠;面向信息管理的支持透明計(jì)算的I/O管理研究[D];合肥工業(yè)大學(xué);2007年

8 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

9 耿立中;基于入侵檢測的附網(wǎng)存儲設(shè)備安全關(guān)鍵技術(shù)研究[D];清華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 邵強(qiáng);對象存儲文件系統(tǒng)中元數(shù)據(jù)管理集群關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

2 周臣云;異構(gòu)網(wǎng)絡(luò)存儲統(tǒng)一管理系統(tǒng)的設(shè)計(jì)[D];西安電子科技大學(xué);2009年

3 錢迎進(jìn);基于對象存儲的高可用技術(shù)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

4 李天翼;基于網(wǎng)絡(luò)存儲的web服務(wù)器集群系統(tǒng)的研究與實(shí)現(xiàn)[D];四川大學(xué);2003年

5 彭亮亮;基于IPv6的校園網(wǎng)絡(luò)存儲再生性的研究[D];西安電子科技大學(xué);2010年

6 劉璐;基于網(wǎng)絡(luò)存儲的自動化測試平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

7 李立松;基于IP存儲的網(wǎng)絡(luò)容災(zāi)技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2005年

8 張亦倩;高速網(wǎng)絡(luò)環(huán)境下的存儲系統(tǒng)研究[D];浙江大學(xué);2011年

9 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實(shí)現(xiàn)[D];福州大學(xué);2006年

10 趙春莉;網(wǎng)絡(luò)存儲技術(shù)在河南油田的應(yīng)用研究[D];華中師范大學(xué);2004年

本文編號：2793715