本文選題：Hadoop + 海量小文件　； 參考：《計算機科學》2015年10期

【摘要】：Hadoop作為成熟的分布式云平臺,能提供可靠高效的存儲服務,常用來解決大文件的存儲問題,但在處理海量小文件時效率顯著降低。提出了基于Hadoop的海量教育資源中小文件的存儲優(yōu)化方案,即利用教育資源小文件間的關聯(lián)關系,將小文件合并成大文件以減少文件數(shù)量,并用索引機制訪問小文件及元數(shù)據(jù)緩存和關聯(lián)小文件預取機制來提高文件的讀取效率。實驗證明,以上方法提高了Hadoop文件系統(tǒng)對小文件的存取效率。
[Abstract]:Hadoop, as a mature distributed cloud platform, can provide reliable and efficient storage services. Hadoop is often used to solve the storage problem of large files, but the efficiency of processing large and small files is significantly reduced. Based on Hadoop, a storage optimization scheme for large and small files of educational resources is proposed. That is to say, the small files are merged into large files to reduce the number of files by using the relationship between the small files of educational resources. Using index mechanism to access small files, metadata cache and associated small file prefetching mechanism to improve the efficiency of file reading. Experiments show that the proposed method improves the efficiency of Hadoop file system access to small files.
【作者單位】： 電子科技大學計算機科學與工程學院;
【基金】：教育部——中國移動科研基金項目:海量教育資源去存儲與獲取關鍵技術研究與實現(xiàn)(MCM 20121041)資助
【分類號】：TP311.13;TP333

【參考文獻】

相關期刊論文 前2條

1 趙曉永;楊揚;孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲架構[J];計算機應用;2012年06期

2 王濤;姚世紅;徐正全;熊煉;;云存儲中面向訪問任務的小文件合并與預取策略[J];武漢大學學報(信息科學版);2013年12期

【共引文獻】

相關期刊論文 前10條

1 王劍;黃朝光;;海量農業(yè)科學數(shù)據(jù)存儲體系架構與方法研究[J];廣東農業(yè)科學;2015年02期

2 肖體偉;;基于Hadoop的云端異常流量檢測與分析平臺[J];電子技術應用;2015年05期

3 楊芙容;王永麗;王文明;;基于Hadoop的海量氣象雷達小文件存儲研究[J];成都信息工程學院學報;2015年03期

4 趙曉永;楊揚;孫莉莉;;一種采用聲學指紋去重的海量MP3文件存儲架構[J];計算機應用研究;2013年02期

5 趙曉永;楊揚;王寧;;基于聲學指紋的海量MP3文件近似去重方法[J];計算機工程;2013年07期

6 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲方法研究[J];計算機工程與科學;2013年10期

7 周國安;李強;陳新;胡旭;;海量小文件元數(shù)據(jù)的分布式存儲與檢索[J];空軍預警學院學報;2014年06期

8 楊洪章;張軍偉;許魯;劉振軍;;基于pNFS的小文件間數(shù)據(jù)預讀機制研究[J];計算機研究與發(fā)展;2014年S1期

9 魏強;孔廣黔;吳云;;基于Hadoop的海量醫(yī)療小文件處理系統(tǒng)[J];計算機與數(shù)字工程;2015年04期

10 王博;陳莉君;;Hadoop遠程過程調用機制的分析和應用[J];西安郵電學院學報;2012年06期

【二級參考文獻】

相關期刊論文 前10條

1 蘇勇;周敬利;姜明華;劉鋼;;分布式存儲系統(tǒng)中元數(shù)據(jù)系統(tǒng)的研究與設計[J];計算機工程與應用;2006年20期

2 談華芳;侯紫峰;;大規(guī)模并行文件系統(tǒng)中的數(shù)據(jù)可靠性機制[J];計算機工程;2006年09期

3 杜聰,徐志偉;COSMOS文件系統(tǒng)的性能分析[J];計算機學報;2001年07期

4 喬鑫;;MooseFS分布式文件系統(tǒng)及應用[J];科技浪潮;2009年05期

5 王福林;;新技術對音樂產(chǎn)業(yè)的沖擊[J];遼寧行政學院學報;2008年01期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

7 蘇勇;;存儲系統(tǒng)中元數(shù)據(jù)管理方式和可靠性研究[J];武漢科技學院學報;2007年07期

8 李德仁;黃俊華;邵振峰;;面向服務的數(shù)字城市共享平臺框架的設計與實現(xiàn)[J];武漢大學學報(信息科學版);2008年09期

9 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學學報;2011年06期

10 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計算機系統(tǒng);2012年07期

【相似文獻】

相關期刊論文 前10條

1 鄧晶京;;基于電子文件的文檔服務新發(fā)展[J];蘭臺世界;2012年S3期

2 況昶;轉移Windows NT Server的快速方法[J];微計算機應用;1999年01期

3 陳冀康;服務器,向中央集中[J];軟件世界;2005年11期

4 曼努埃爾·巴斯克斯,何嘉蓀;文件生命周期的精確期限[J];北京檔案;1997年03期

5 劉慶泰,王京太;天氣預報文件服務系統(tǒng)[J];氣象科技;1997年03期

6 ;東芝整合文件服務打造行業(yè)先驅[J];創(chuàng)業(yè)邦;2010年09期

7 韋勇桃;;東方通文件服務平臺 助推保險業(yè)數(shù)據(jù)整合[J];金融電子化;2013年09期

8 尹衛(wèi)國;;開放文件彰顯政府自信[J];世紀行;2003年08期

9 冰原;;上下擴展——博科發(fā)布兩個解決方案[J];每周電腦報;2005年25期

10 冰海;;NDS-Ⅱ/VAX LINK軟件淺介[J];微計算機信息;1985年02期

相關重要報紙文章 前10條

1 楊鎮(zhèn)全;利川市文件服務中心向市民開放[N];中國檔案報;2003年

2 孫紅英;解惑FAN[N];網(wǎng)絡世界;2007年

3 ;WAFS應用漸成氣候[N];計算機世界;2005年

4 本報記者 張峰;廣域文件 高速連接[N];網(wǎng)絡世界;2005年

5 陳志鵬;衡陽檔案館集體中開放中央八個“一號文件”[N];中國檔案報;2006年

6 郭濤;子公司如何遠程共享文件[N];中國計算機報;2005年

7 張峰;博科長出了翅膀[N];網(wǎng)絡世界;2007年

8 郭濤;文件訪問速度從40秒降到2秒[N];中國計算機報;2005年

9 《網(wǎng)絡世界》評測實驗室 何進偉;暢通高速文件應用[N];網(wǎng)絡世界;2002年

10 本報記者 張楠;清華學子的文件服務外包管理之路[N];中國計算機報;2009年

相關碩士學位論文 前5條

1 肖文;基于Web Service的分布式文件服務系統(tǒng)[D];浙江大學;2004年

2 居姍;電子文件分類與解密關鍵技術研究[D];上海交通大學;2007年

3 王婧;改進型RBAC模型在網(wǎng)絡文件服務系統(tǒng)研究與應用[D];北京郵電大學;2010年

4 汪野;基于規(guī)則的廣域網(wǎng)文件服務[D];華中科技大學;2008年

5 黃維豐;DWG文件離線瀏覽ActiveX控件研究[D];南京航空航天大學;2003年

，

本文編號：2042213