【摘要】：大數(shù)據(jù)時(shí)代的來(lái)臨使數(shù)據(jù)分析和處理能力成為數(shù)據(jù)中心和互聯(lián)網(wǎng)公司日益倚重的技術(shù)手段.信息規(guī)模的擴(kuò)大和數(shù)據(jù)結(jié)構(gòu)的多樣化,使海量數(shù)據(jù)存儲(chǔ)成為大數(shù)據(jù)分析研究的熱點(diǎn).傳統(tǒng)的分布式文件系統(tǒng)在擴(kuò)展性、可靠性和數(shù)據(jù)訪問(wèn)性能等方面難以滿足新形勢(shì)下的需求.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向大數(shù)據(jù)分析、專(zhuān)為大規(guī)模集群應(yīng)用的分布式文件系統(tǒng)Clover.該系統(tǒng)采用基于目錄劃分和一致性Hash映射的名字空間管理方法,解決了元數(shù)據(jù)擴(kuò)展性問(wèn)題;通過(guò)改進(jìn)的兩階段提交協(xié)議,保證了多元數(shù)據(jù)服務(wù)器下分布式元數(shù)據(jù)操作的一致性;提出了基于共享存儲(chǔ)池的高可用機(jī)制,通過(guò)熱備和全局狀態(tài)恢復(fù)機(jī)制提高了元數(shù)據(jù)的可靠性.評(píng)測(cè)結(jié)果表明,Clover的元數(shù)據(jù)處理能力隨服務(wù)器的數(shù)量線性增長(zhǎng),增加單個(gè)服務(wù)器的元數(shù)據(jù)操作性能平均提升了5.13%~159.32%.由于名字空間管理和分布式事務(wù)的開(kāi)銷(xiāo),多元數(shù)據(jù)服務(wù)器會(huì)導(dǎo)致復(fù)雜操作的性能下降,但是這種下降的幅度很小(小于10%).與HDFS相比,Clover的文件讀寫(xiě)帶寬與之接近,并能夠保證在元數(shù)據(jù)服務(wù)器失效后文件系統(tǒng)快速恢復(fù),適合于構(gòu)建高可擴(kuò)展和高可用的存儲(chǔ)系統(tǒng).
[Abstract]:......
【作者單位】： 中國(guó)科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)應(yīng)用研究中心;中國(guó)科學(xué)院大學(xué);中國(guó)科學(xué)院信息工程研究所;騰訊公司數(shù)據(jù)平臺(tái)部;
【基金】：國(guó)家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2013AA013204) 中國(guó)科學(xué)院先導(dǎo)專(zhuān)項(xiàng)基金項(xiàng)目(XDA06030200) 國(guó)家自然科學(xué)基金項(xiàng)目(60903047) 國(guó)家科技支撐計(jì)劃基金項(xiàng)目(2012BAH46B03)
【分類(lèi)號(hào)】：TP333;TP316.4

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 馮幼樂(lè);朱六璋;;CEPH動(dòng)態(tài)元數(shù)據(jù)管理方法分析與改進(jìn)[J];電子技術(shù);2010年09期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 薛志強(qiáng);劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識(shí)與技術(shù);2011年01期

2 蒙安泰;;分布式文件系統(tǒng)中元數(shù)據(jù)管理機(jī)制的研究[J];電腦知識(shí)與技術(shù);2011年35期

3 海深;陸陽(yáng);袁菲;;嵌入式存儲(chǔ)系統(tǒng)恢復(fù)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年24期

4 張軍偉;賈瑞勇;賈亞軍;張建剛;許魯;;藍(lán)鯨集群文件系統(tǒng)中資源交互一致性協(xié)議[J];計(jì)算機(jī)工程;2008年11期

5 海深;周燕艷;;嵌入式文件系統(tǒng)故障恢復(fù)機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年09期

6 海深;周燕艷;;嵌入式文件系統(tǒng)一致性設(shè)計(jì)[J];銅陵學(xué)院學(xué)報(bào);2006年04期

7 周燕艷;海深;;基于FAT16元數(shù)據(jù)一致性的設(shè)計(jì)[J];銅陵學(xué)院學(xué)報(bào);2010年05期

8 陳慧杰;李建偉;;動(dòng)態(tài)散列目錄擴(kuò)展算法的研究[J];太原科技大學(xué)學(xué)報(bào);2013年05期

9 ;Design and Implementation of Two-Level Metadata Server in Small-Scale Cluster File System[J];Wuhan University Journal of Natural Sciences;2006年06期

10 吳紅莉;尹寶林;向剛;趙霞;;分布式存儲(chǔ)環(huán)境下工作流相關(guān)數(shù)據(jù)的一致性更新[J];系統(tǒng)仿真學(xué)報(bào);2009年08期

相關(guān)博士學(xué)位論文 前4條

1 岳利群;基于分布式存儲(chǔ)的虛擬地理環(huán)境關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2011年

2 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

3 黃玉龍;基于GPU的查詢(xún)技術(shù)并行化研究[D];華南理工大學(xué);2013年

4 劉勇;基于GPU的內(nèi)存數(shù)據(jù)庫(kù)索引技術(shù)研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 蒲廷志;面向IPTV的分布式文件系統(tǒng)資源定位與調(diào)度模塊設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 海深;嵌入式系統(tǒng)的存儲(chǔ)卡接口技術(shù)研究[D];合肥工業(yè)大學(xué);2006年

3 王志明;容災(zāi)抗毀系統(tǒng)中數(shù)據(jù)一致性檢測(cè)及快速恢復(fù)方法[D];四川大學(xué);2006年

4 潘磊穎;多元數(shù)據(jù)服務(wù)器環(huán)境下的元數(shù)據(jù)管理研究[D];華中科技大學(xué);2007年

5 欒亞建;分布式文件系統(tǒng)元數(shù)據(jù)管理研究與優(yōu)化[D];華南理工大學(xué);2010年

6 黃斌;并行文件存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

7 方圓;基于對(duì)象存儲(chǔ)元數(shù)據(jù)管理策略的研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2012年

8 匡士杰;云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究[D];電子科技大學(xué);2013年

9 張得震;基于Hadoop的分布式文件系統(tǒng)優(yōu)化技術(shù)研究[D];蘭州交通大學(xué);2013年

10 王小強(qiáng);一種基于消息重排序和消息數(shù)目檢驗(yàn)消息日志恢復(fù)方法[D];山東大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲(chǔ)技術(shù)研究[J];計(jì)算機(jī)工程;2009年05期

2 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲(chǔ)系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

3 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲(chǔ)介質(zhì)評(píng)測(cè)與分析[J];計(jì)算機(jī)學(xué)報(bào);2010年10期

4 吳英;謝廣軍;劉t，

本文編號(hào)：2472653