Hadoop是近幾年發(fā)展比較成熟的云計(jì)算平臺(tái)之一,作為一種開源軟件框架,它憑借其可靠性、可擴(kuò)展性和分布式的計(jì)算和存儲(chǔ)而迅速發(fā)展,為眾多企業(yè)和研究研究者所認(rèn)可。Hadoop主要由底層分布式文件系統(tǒng)HDFS和上層并行編程模型MapReduce引擎構(gòu)成,其中HDFS以其優(yōu)異性能至今仍被廣泛應(yīng)用。HDFS采用主從架構(gòu)模式,由單一NameNode和多個(gè)DataNode組成,其主要針對(duì)流式數(shù)據(jù)訪問模式而設(shè)計(jì),但對(duì)海量小文件（指比HDFS默認(rèn)文件塊（64MB）小很多的文件）處理性能不佳,而現(xiàn)實(shí)應(yīng)用中卻存在HDFS存儲(chǔ)海量小文件的需求。目前針對(duì)HDFS小文件問題,主要對(duì)策是對(duì)文件進(jìn)行合并,在進(jìn)行文件合并時(shí),對(duì)于小文件并沒有明確的定義,然而文件分界點(diǎn)問題直接關(guān)系到HDFS文件存儲(chǔ)策略、文件合并策略的研究,對(duì)HDFS海量小文件的存儲(chǔ)有著至關(guān)重要的意義。針對(duì)HDFS （Hadoop Distributed File System）中小文件處理性能不佳的問題,本文研究HDFS設(shè)計(jì)架構(gòu)及其對(duì)應(yīng)的存儲(chǔ)機(jī)制,分析HDFS文件操作相關(guān)過程,以及HDFS在進(jìn)行文件操作時(shí)采用的一些量化標(biāo)準(zhǔn),從中分析出導(dǎo)致HDFS在處理小... 

【文章來源】：東北林業(yè)大學(xué)黑龍江省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 工業(yè)界與學(xué)術(shù)界研究現(xiàn)狀
        1.2.1 工業(yè)界研究現(xiàn)狀
        1.2.2 學(xué)術(shù)界研究現(xiàn)狀
    1.3 論文結(jié)構(gòu)安排
    1.4 本章小結(jié)
2 海量小文件處理技術(shù)
    2.1 HDFS架構(gòu)分析
        2.1.1 NameNode
        2.1.2 DataNode
        2.1.3 SecondaryNameNode
    2.2 HDFS主要工作流程
        2.2.1 客戶端與NameNode交互過程
        2.2.2 刪除文件
    2.3 灰色關(guān)聯(lián)分析
    2.4 本章小結(jié)
3 HDFS小文件問題研究進(jìn)展
    3.1 小文件對(duì)HDFS影響
    3.2 HDFS小文件存在問題
        3.2.1 HDFS小文件問題產(chǎn)生原因
        3.2.2 HDFS小文件存儲(chǔ)時(shí)面臨問題
    3.3 HDFS小文件問題解決方法
        3.3.1 Hadoop自身修正方法
        3.3.2 通用解決方法
        3.3.3 特定解決方法
    3.4 本章小結(jié)
4 基于灰色關(guān)聯(lián)分析的小文件處理方法研究
    4.1 FM、FMUFS與FMAFS測(cè)試標(biāo)準(zhǔn)選擇
    4.2 評(píng)價(jià)矩陣建立
    4.3 評(píng)價(jià)矩陣標(biāo)準(zhǔn)化方法
    4.4 基于熵權(quán)法的灰色關(guān)聯(lián)度計(jì)算
    4.5 文件分界點(diǎn)確定方法
    4.6 本章小結(jié)
5 實(shí)驗(yàn)及結(jié)果分析
    5.1 實(shí)驗(yàn)環(huán)境建立
    5.2 NameNode消耗內(nèi)存與文件大小實(shí)驗(yàn)
    5.3 文件上傳與下載速度與文件大小實(shí)驗(yàn)
    5.4 有效性與穩(wěn)定性實(shí)驗(yàn)
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文
致謝


【參考文獻(xiàn)】：
期刊論文
[1]SMDFS分布式海量小文件系統(tǒng)的大空間聚合存儲(chǔ)技術(shù)[J]. 嚴(yán)巍巍,何連躍,李三霞,成穎佼.  計(jì)算機(jī)研究與發(fā)展. 2015(S2)
[2]HDFS下海量小文件高效存儲(chǔ)與索引方法[J]. 肖玉澤,張利軍,潘巍,張小芳,李戰(zhàn)懷.  小型微型計(jì)算機(jī)系統(tǒng). 2015(10)
[3]一種面向海量小文件的文件接收和存儲(chǔ)優(yōu)化方案[J]. 張守利,楊冬菊,韓燕波.  小型微型計(jì)算機(jī)系統(tǒng). 2015(08)
[4]基于Hadoop的海量氣象雷達(dá)小文件存儲(chǔ)研究[J]. 楊芙容,王永麗,王文明.  成都信息工程學(xué)院學(xué)報(bào). 2015(03)
[5]HDFS中高效存儲(chǔ)小文件的方法[J]. 尹穎,林慶,林涵陽(yáng).  計(jì)算機(jī)工程與設(shè)計(jì). 2015(02)
[6]一種基于混合索引的HDFS小文件存儲(chǔ)策略[J]. 熊安萍,黃容,鄒洋.  重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2015(01)
[7]灰色系統(tǒng)研究進(jìn)展（2004—2014）[J]. 劉思峰,楊英杰.  南京航空航天大學(xué)學(xué)報(bào). 2015(01)
[8]面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J]. 李鐵,燕彩蓉,黃永鋒,宋亞龍.  計(jì)算機(jī)應(yīng)用. 2014(11)
[9]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計(jì)算機(jī)研究與發(fā)展. 2014(02)
[10]云存儲(chǔ)中面向訪問任務(wù)的小文件合并與預(yù)取策略[J]. 王濤,姚世紅,徐正全,熊煉.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2013(12)



本文編號(hào)：3010232