【摘要】：為改善應(yīng)用Hadoop分布式文件系統(tǒng)存儲(chǔ)大量小文件時(shí)效率低下的問題,將NameNode職責(zé)分離,使用單獨(dú)的NFS服務(wù)器同步存儲(chǔ)元數(shù)據(jù)信息,以降低Client數(shù)據(jù)請(qǐng)求壓力,提供大吞吐量數(shù)據(jù)訪問并改善訪問延遲;設(shè)計(jì)文件與數(shù)據(jù)塊的對(duì)應(yīng)模式,允許在同一塊中存儲(chǔ)多個(gè)小文件,并對(duì)系統(tǒng)加以實(shí)現(xiàn),為海量小文件的存儲(chǔ)提供了一個(gè)有效的解決方案。實(shí)驗(yàn)結(jié)果表明,該機(jī)制可以在數(shù)據(jù)迅速增長的背景下實(shí)現(xiàn)海量小文件的高效存取。
[Abstract]:In order to improve the inefficiency of using Hadoop distributed file system to store a large number of small files, the NameNode is separated from its responsibilities, and the metadata information is stored synchronously by using a separate NFS server, so as to reduce the pressure of Client data request. Provide large throughput data access and improve access latency; The design of the corresponding pattern of files and data blocks allows multiple small files to be stored in the same block and implements the system, which provides an effective solution for the storage of large amounts of small files. Experimental results show that this mechanism can efficiently access large amount of small files under the background of rapid growth of data.
【作者單位】： 江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院;南京理工大學(xué)計(jì)算機(jī)系;江蘇實(shí)達(dá)迪美數(shù)據(jù)處理有限公司;
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 鄧鵬;李枚毅;何誠;;Namenode單點(diǎn)故障解決方案研究[J];計(jì)算機(jī)工程;2012年21期

2 王鈴惠;李小勇;張軼彬;;海量小文件存儲(chǔ)文件系統(tǒng)研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2012年08期

3 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

4 陳旭文;黃英銘;;海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2013年14期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董屹;王昆鵬;;云存儲(chǔ)在數(shù)字圖書館中的應(yīng)用[J];電腦知識(shí)與技術(shù);2013年09期

2 吳晨;朱慶;張葉廷;許偉平;;基于混合瓦片的海量DEM/DOM數(shù)據(jù)高效存儲(chǔ)管理方法——以應(yīng)急救災(zāi)數(shù)據(jù)庫為例[J];地理信息世界;2014年03期

3 熊安萍;黃容;鄒洋;;一種基于混合索引的HDFS小文件存儲(chǔ)策略[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年01期

4 陳樺;李艷明;朱美正;;一種支持大量并發(fā)用戶的瓦片緩存方案研究[J];計(jì)算機(jī)工程與科學(xué);2012年12期

5 朱媛媛;王曉京;;基于GE碼的HDFS優(yōu)化方案[J];計(jì)算機(jī)應(yīng)用;2013年03期

6 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲(chǔ)方法研究[J];計(jì)算機(jī)工程與科學(xué);2013年10期

7 夏敏納;龔德良;肖娟;;一種面向可靠云計(jì)算的自適應(yīng)故障檢測方法[J];計(jì)算機(jī)應(yīng)用研究;2014年02期

8 陳旭文;吳永娜;;基于云存儲(chǔ)的精品資源共享模式研究[J];江西科學(xué);2014年02期

9 羅學(xué)禮;徐樹振;王森;楊莉;段嘉杰;;電力企業(yè)的非結(jié)構(gòu)化數(shù)據(jù)檢索研究[J];計(jì)算機(jī)與數(shù)字工程;2014年04期

10 徐樹振;羅學(xué)禮;王森;楊莉;段嘉杰;張德剛;;企業(yè)非結(jié)構(gòu)化數(shù)據(jù)檢索研究[J];信息技術(shù);2014年04期

相關(guān)碩士學(xué)位論文 前10條

1 林旭;云存儲(chǔ)中的數(shù)據(jù)刪除技術(shù)研究[D];上海交通大學(xué);2011年

2 張喜;海量數(shù)據(jù)存儲(chǔ)模式的研究[D];廣東工業(yè)大學(xué);2012年

3 童明;基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D];華中科技大學(xué);2012年

4 賈少攀;基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2013年

5 呂培培;云計(jì)算環(huán)境的數(shù)據(jù)存儲(chǔ)管控技術(shù)研究[D];北方工業(yè)大學(xué);2013年

6 錢進(jìn)進(jìn);私有云安全存儲(chǔ)技術(shù)的研究與實(shí)現(xiàn)[D];廣東工業(yè)大學(xué);2013年

7 張釕;在線科技論文編輯和自動(dòng)排版平臺(tái)研究[D];蘭州大學(xué);2013年

8 趙少鋒;云存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

9 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

10 吳艦;基于云存儲(chǔ)的數(shù)據(jù)流處理技術(shù)的研究[D];武漢理工大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 馬立平;統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化──無量綱化方法──現(xiàn)代統(tǒng)計(jì)分析方法的學(xué)與用(三)[J];北京統(tǒng)計(jì);2000年03期

2 李玲;付園;麻曉珍;張海蓉;;云存儲(chǔ)系統(tǒng)中數(shù)據(jù)冗余策略優(yōu)化問題[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年01期

3 陳旭文;林若波;;基于P2P的多源VOD系統(tǒng)的設(shè)計(jì)[J];測控技術(shù);2012年08期

4 許丞;劉洪;譚良;;Hadoop云平臺(tái)的一種新的任務(wù)調(diào)度和監(jiān)控機(jī)制[J];計(jì)算機(jī)科學(xué);2013年01期

5 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報(bào);2009年08期

6 武瀅;謝里陽;李進(jìn)冬;;應(yīng)用Petri網(wǎng)的關(guān)聯(lián)矩陣求最小割集的新方法[J];中國機(jī)械工程;2008年09期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號(hào)小文件分布式存儲(chǔ)研究[J];電腦知識(shí)與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計(jì)與分析[J];計(jì)算機(jī)科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報(bào)分析大數(shù)據(jù)調(diào)度超時(shí)預(yù)測方法[J];計(jì)算機(jī)科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲(chǔ)安全技術(shù)分析[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

，

本文編號(hào)：2338785