如今人們已經(jīng)進(jìn)入云時(shí)代,該環(huán)境下存儲(chǔ)文件與用戶數(shù)據(jù)呈現(xiàn)快速上升趨勢(shì),云存儲(chǔ)的重要性也日益凸顯�；谠评砟钕旅嫦虮４婧Ａ繑�(shù)據(jù)而制定的一種解決方案,被稱作云存儲(chǔ),云存儲(chǔ)技術(shù)的關(guān)鍵在于運(yùn)用集群技術(shù)、分布式文件系統(tǒng)在云端集中管理散落在網(wǎng)絡(luò)上的存儲(chǔ)資源,以滿足云環(huán)境下數(shù)據(jù)的存儲(chǔ)需求。大數(shù)據(jù)存儲(chǔ)技術(shù)中應(yīng)用范圍最廣且最成熟的為HDFS系統(tǒng),基于HDFS自身存儲(chǔ)機(jī)制,在處理大量小文件時(shí),面臨名字節(jié)點(diǎn)內(nèi)存較小等問題。因此,通過HDFS系統(tǒng)上的優(yōu)化策略讀取與文件存儲(chǔ)技術(shù)分析,在探討處理大數(shù)據(jù)處理、海量小文件方面具有一定現(xiàn)實(shí)意義。以下為本文完成的工作內(nèi)容:(1)本文提出PS文件合并算法,本算法主要用于存儲(chǔ)海量小文件方面,可以達(dá)到數(shù)據(jù)塊與文件關(guān)聯(lián)關(guān)系的相互平衡,組合多個(gè)小文件為大文件后在HDFS系統(tǒng)上保存,合并所有文件信息后保存在Redis內(nèi),利用本算法可以最大限度的使用較少的數(shù)據(jù)保存信息�；诒舅惴ńMM中間層對(duì)海量小文件處理,獲取HDFS上數(shù)據(jù)過程中采用緩存方式使得讀取信息效率更高。(2)基于Hadoop的分布式文件系統(tǒng)框架,根據(jù)小文件上的擴(kuò)展名分為不同類型進(jìn)行處理,完成后再組合為一個(gè)大文件,從而消耗...

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
        1.2.1 HDFS處理海量小文件的研究現(xiàn)狀
        1.2.2 云存儲(chǔ)系統(tǒng)的應(yīng)用現(xiàn)狀
    1.3 主要研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)的研究
    2.1 分布式集群Hadoop相關(guān)技術(shù)
    2.2 Hadoop分布式文件系統(tǒng)(HDFS)
        2.2.1 HDFS的組成和讀寫流程
        2.2.2 HDFS的缺陷
    2.3 HBase
        2.3.1 HBase結(jié)構(gòu)組成
        2.3.2 HBase的請(qǐng)求處理流程
    2.4 Redis
    2.5 本章小結(jié)
第三章 小文件存儲(chǔ)系統(tǒng)的分析與設(shè)計(jì)
    3.1 功能性需求分析
        3.1.1 用戶角色定義
        3.1.2 用戶功能分析
    3.2 性能需求分析
        3.2.1 快速訪問
        3.2.2 高效的存儲(chǔ)訪問
        3.2.3 高可靠性
        3.2.4 緩存需求
        3.2.5 負(fù)載均衡
        3.2.6 廉價(jià)成本和高可擴(kuò)容性
    3.3 云存儲(chǔ)系統(tǒng)的設(shè)計(jì)
        3.3.1 云存儲(chǔ)系統(tǒng)的優(yōu)化指標(biāo)的分析
        3.3.2 基于Redis集群的小文件解決方案
            3.3.2.1 海量小文件存儲(chǔ)問題
            3.3.2.2 基于Redis集群的小文件解決方案
        3.3.3 系統(tǒng)整體架構(gòu)
    3.4 云存儲(chǔ)系統(tǒng)模塊設(shè)計(jì)
        3.4.1 用戶接口模塊設(shè)計(jì)
        3.4.2 預(yù)處理模塊設(shè)計(jì)
        3.4.3 文件合并模塊設(shè)計(jì)
        3.4.4 索引模塊設(shè)計(jì)
        3.4.5 緩存模塊設(shè)計(jì)
        3.4.6 提取模塊設(shè)計(jì)
        3.4.7 任務(wù)分發(fā)模塊設(shè)計(jì)
        3.4.8 前臺(tái)模塊設(shè)計(jì)
    3.5 本章小結(jié)
第四章 小文件存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)
    4.1 預(yù)處理模塊的實(shí)現(xiàn)
    4.2 文件合并模塊的實(shí)現(xiàn)
        4.2.1 基于文件類型的小文件合并算法提出背景
        4.2.2 算法設(shè)計(jì)與實(shí)現(xiàn)
    4.3 索引模塊的實(shí)現(xiàn)
        4.3.1 基于文件類型的合并文件元數(shù)據(jù)多級(jí)索引算法的提出
        4.3.2 算法的設(shè)計(jì)和實(shí)現(xiàn)
    4.4 緩存模塊的實(shí)現(xiàn)
        4.4.1 緩存管理算法設(shè)計(jì)
        4.4.2 緩存管理算法的實(shí)現(xiàn)
        4.4.3 緩存區(qū)一致性
    4.5 提取模塊的實(shí)現(xiàn)
        4.5.1 寫文件
        4.5.2 讀文件
    4.6 任務(wù)分發(fā)模塊的實(shí)現(xiàn)
    4.7 前臺(tái)模塊的實(shí)現(xiàn)
    4.8 本章小結(jié)
第五章 系統(tǒng)測(cè)試及分析
    5.1 平臺(tái)測(cè)試環(huán)境
        5.1.1 集群搭建
        5.1.2 集群參數(shù)配置
        5.1.3 網(wǎng)絡(luò)文件系統(tǒng)配置
    5.2 實(shí)驗(yàn)驗(yàn)證與分析
        5.2.1 功能測(cè)試
        5.2.2 性能測(cè)試
    5.3 實(shí)驗(yàn)結(jié)論分析
    5.4 本章小結(jié)
第六章 總結(jié)和展望
    6.1 工作總結(jié)
    6.2 未來展望
致謝
參考文獻(xiàn)



本文編號(hào)：3761789