發(fā)布時間：2023-02-21 18:29

　　在大數(shù)據(jù)的背景下,人們對海量數(shù)據(jù)的存儲和管理越來越依賴于分布式文件系統(tǒng),而文件的放置算法是影響分布式文件系統(tǒng)整體性能的重要因素之一。近年來,研究者針對文件的訪問熱度對分布式文件系統(tǒng)的文件放置問題進行了研究,取得了一定的效果。但是文件訪問熱度信息是不確定的動態(tài)值,而且在文件存儲時其訪問熱度是未知的。本文針對這一不足,對分布式文件系統(tǒng)的文件放置問題展開了研究。首先本文對分布式文件系統(tǒng)進行了研究。通過對HDFS(Hadoop Distributed File System)文件放置算法相關源代碼的分析和研究,提取了 HDFS分布式文件系統(tǒng)默認文件放置算法模型;通過Hadoop集群進行了數(shù)據(jù)存儲結果的驗證和分析,指出了 HDFS分布式文件系統(tǒng)默認文件放置算法的不足之處。然后本文針對文件訪問熱度信息的不確定性問題,提出了一種不依賴文件訪問熱度信息的分布式文件放置算法,稱為 WDFPA(Distributed File Placement Algorithm Without Depending on Popularity Information)算法。通過分析文件的訪問壽命,發(fā)現(xiàn)文件已創(chuàng)建時間與文...

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 選題背景及研究意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 分布式文件系統(tǒng)研究
        1.2.2 分布式文件放置策略研究
    1.3 論文研究內容
    1.4 論文組織結構
2 分布式文件系統(tǒng)技術
    2.1 分布式文件系統(tǒng)概述
        2.1.1 分布式文件系統(tǒng)定義與特點
        2.1.2 分布式文件系統(tǒng)關鍵技術
        2.1.3 常見分布式文件系統(tǒng)舉例
    2.2 HDFS文件系統(tǒng)
        2.2.1 HDFS文件系統(tǒng)架構
        2.2.2 HDFS文件系統(tǒng)基本特征
        2.2.3 HDFS文件系統(tǒng)寫數(shù)據(jù)流程
    2.3 本章小結
3 不依賴訪問熱度信息的分布式文件放置算法
    3.1 HDFS文件放置模型提取
        3.1.1 HDFS文件放置相關源碼分析
        3.1.2 HDFS文件放置算法描述
        3.1.3 HDFS文件放置算法的不足
    3.2 HDFS文件放置結果分析
        3.2.1 Hadoop集群環(huán)境
        3.2.2 Hadoop集群文件放置結果分析
    3.3 不依賴文件訪問熱度的放置算法(WDFPA)實現(xiàn)
        3.3.1 時間區(qū)間的劃分
        3.3.2 各時間區(qū)間數(shù)據(jù)量的統(tǒng)計及其動態(tài)更新
        3.3.3 定義文件放置負載因子
        3.3.4 基于負載因子文件放置策略
    3.4 實驗設計與結果分析
        3.4.1 實驗平臺開發(fā)環(huán)境
        3.4.2 實驗設計
        3.4.3 實驗數(shù)據(jù)
        3.4.4 實驗結果及分析
    3.5 本章小結
4 基于WDFPA算法的副本管理策略
    4.1 常見的副本管理策略
        4.1.1 HDFS默認的副本管理策略
        4.1.2 基于文件熱度的副本管理策略
    4.2 基于WDFPA算法的副本管理策略
        4.2.1 WDFPA算法的應用
        4.2.2 基于WDFPA算法的副本管理策略實現(xiàn)
    4.3 實驗及結果分析
        4.3.1 各數(shù)據(jù)節(jié)點存儲負載情況
        4.3.2 各數(shù)據(jù)節(jié)點訪問負載情況
        4.3.3 文件系統(tǒng)的存儲負載變化情況
    4.4 本章小結
5 總結與展望
    5.1 總結
    5.2 展望
致謝
參考文獻
附錄



本文編號：3747791