本文關(guān)鍵詞：基于Hadoop的云存儲(chǔ)系統(tǒng)文件處理與安全研究　出處：《現(xiàn)代電子技術(shù)》2016年21期 　論文類型：期刊論文

  更多相關(guān)文章： Hadoop HDFS 私有云存儲(chǔ) 小文件優(yōu)化

【摘要】：由于公有云存儲(chǔ)中存在數(shù)據(jù)泄露、丟失、存儲(chǔ)不穩(wěn)定等不安全因素,私有云存儲(chǔ)成為解決當(dāng)前企業(yè)安全存儲(chǔ)需求的最佳選擇。針對(duì)單點(diǎn)內(nèi)存負(fù)載過(guò)高,寫(xiě)入效率低下的問(wèn)題,設(shè)計(jì)了一套處理大量小文件的模塊,通過(guò)緩存多個(gè)小文件合并,再合并文件元數(shù)據(jù)放置索引表,通過(guò)索引表中的偏移量尋找塊中小文件數(shù)據(jù)的方式,提高HDFS寫(xiě)入大量小文件的系統(tǒng)性能,經(jīng)過(guò)測(cè)試驗(yàn)證了優(yōu)化方案的有效性。
【作者單位】： 北華大學(xué)師范分院;
【分類號(hào)】：TP333;TP309
【正文快照】： 0引言在HDFS中,所有文件的寫(xiě)入和讀取都需要通過(guò)Name Node控制,接收用戶對(duì)文件操作的請(qǐng)求,定位文件位置和分配文件存儲(chǔ)的Data Node節(jié)點(diǎn),并且所有文件的信息都存儲(chǔ)在Name Node中的元數(shù)據(jù)里。在文件處理中,HDFS在Name Node中為每一個(gè)文件都建立了元數(shù)據(jù),用來(lái)存儲(chǔ)該文件信息,這樣

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 ;數(shù)字時(shí)代的辦公文件處理中心 松下多功能數(shù)碼機(jī)(續(xù))[J];信息系統(tǒng)工程;2001年11期

2 劉浩;施樂(lè)一打印新理念[J];國(guó)外科技動(dòng)態(tài);1998年05期

3 ;打造辦公革命的先驅(qū)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2002年05期

4 羅國(guó)昭;Sharp CEC SL-7500C掌上電腦[J];新電腦;2003年12期

5 樊超;凌捷;;改善Hadoop文件處理效率的技術(shù)研究[J];微電子學(xué)與計(jì)算機(jī);2014年07期

6 ;三星升級(jí)版SCX-4521HS[J];辦公自動(dòng)化;2013年09期

7 ;IT采購(gòu)引擎[J];每周電腦報(bào);2003年23期

8 ;[J];;年期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 本報(bào)記者　梁圖強(qiáng);文件處理變“聰明”了[N];經(jīng)濟(jì)日?qǐng)?bào);2002年

2 小彭;辦公文檔批量替換好輕松[N];電腦報(bào);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 蔡睿誠(chéng);基于HDFS的小文件處理與相關(guān)MapReduce計(jì)算模型性能的優(yōu)化與改進(jìn)[D];吉林大學(xué);2012年

2 陳光景;Hadoop小文件處理技術(shù)的研究和實(shí)現(xiàn)[D];南京郵電大學(xué);2013年

，

本文編號(hào)：1310319