發(fā)布時間：2017-09-05 01:14

  本文關鍵詞：基于關聯(lián)規(guī)則挖掘的分布式小文件存儲方法

  更多相關文章： HDFS 關聯(lián)規(guī)則挖掘 小文件關聯(lián)性 預取

【摘要】：Hadoop分布式文件系統(tǒng)(HDFS)設計之初是針對大文件的處理,但無法高效地針對小文件進行存儲,因此提出了一種基于關聯(lián)規(guī)則挖掘的高效的小文件存儲方法——ARMFS。ARMFS通過對Hadoop系統(tǒng)的審計日志進行關聯(lián)規(guī)則挖掘,獲得小文件間的關聯(lián)性,通過文件合并算法將小文件合并存儲至HDFS;在請求HDFS文件時,根據(jù)關聯(lián)規(guī)則挖掘得到的高頻訪問表和預取機制表提出預取算法來進一步提高文件訪問效率。實驗結(jié)果表明,ARMFS方法明顯提高了NameNode的內(nèi)存使用效率,對于小文件的下載速度和訪問效率的改善十分有效。
【作者單位】： 華東理工大學信息科學與工程學院;
【關鍵詞】： HDFS 關聯(lián)規(guī)則挖掘 小文件關聯(lián)性 預取
【基金】：國家自然科學基金(61300041,61272198)
【分類號】：TP311.13;TP333
【正文快照】： Hadoop分布式文件系統(tǒng)(HDFS)是一種 Master/Slave主從式結(jié)構,一個HDFS系統(tǒng)由一個NameNode節(jié)點和若干個DataNode節(jié)點組成。其中文件的元數(shù)據(jù)(MeteData)信息存放在系統(tǒng)NameNode節(jié)點的內(nèi)存中,這樣就導致了文件的存 儲規(guī)模受到內(nèi)存大小的限制。例如,對于每1個文件HDFS存儲的Mete

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫有軍;張大興;;海量圖片文件存儲去重技術研究[J];計算機應用與軟件;2014年04期

2 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

3 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術研究綜述[J];信息網(wǎng)絡安全;2014年06期

4 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

5 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結(jié)構研究[J];計算機應用與軟件;2010年11期

6 ;1UNAS放上LCD面板[J];每周電腦報;2003年26期

7 劉友安;羅明超;;云計算環(huán)境下網(wǎng)格文件存儲應用研究[J];制造業(yè)自動化;2013年04期

8 蔡斌;謝長生;朱光喜;;基于分散式體系結(jié)構的高可靠文件存儲系統(tǒng)的研究[J];計算機科學;2008年09期

9 張馳;喬亞瓊;;一種基于隨機線性網(wǎng)絡編碼的分布式文件存儲系統(tǒng)研究[J];科技信息;2010年03期

10 岳斌,代亞非,韓華;分布式文件存儲系統(tǒng)性能測試問題研究[J];計算機工程與應用;2003年22期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設計[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 張峰;統(tǒng)一存儲 業(yè)務連續(xù)[N];網(wǎng)絡世界;2006年

2 本報記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國計算機報;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 何高峰;基于HDFS的多租戶小文件存儲系統(tǒng)的研究與設計[D];浙江大學;2016年

2 武奇;云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究[D];長春工業(yè)大學;2016年

3 宮海林;支持事務的文件存儲技術研究與系統(tǒng)實現(xiàn)[D];國防科學技術大學;2006年

4 曹挹芬;分布式文件存儲與檢索平臺的設計與實現(xiàn)[D];湖南大學;2009年

5 黃斌;并行文件存儲系統(tǒng)關鍵技術的研究[D];華南理工大學;2012年

6 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

7 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學;2011年

8 鄭釗;�？赜嬎銠C分離式文件存儲的研究[D];西安電子科技大學;2014年

9 廖家趙;面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)[D];華南理工大學;2015年

10 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實踐[D];北京郵電大學;2010年

，

本文編號：794940