本文關(guān)鍵詞：云存儲中基于動態(tài)多中心的分布式文件系統(tǒng)研究

  更多相關(guān)文章： 云存儲 分布式文件系統(tǒng) 元數(shù)據(jù) 單節(jié)點瓶頸 負載均衡 數(shù)據(jù)同步

【摘要】：在大數(shù)據(jù)時代，，云存儲是數(shù)據(jù)挖掘、分析和研究的基礎(chǔ)，成為研究的熱點問題。分布式文件系統(tǒng)作為云存儲中的重要核心，有了新的研究價值。本文綜合分析了國內(nèi)外關(guān)于分布式文件系統(tǒng)的研究現(xiàn)狀，以增加系統(tǒng)的可靠性與吞吐量為目標，提出了一種基于動態(tài)多中心的分布式文件系統(tǒng)架構(gòu)模型，并針對其中涉及到的關(guān)鍵技術(shù)進行了深入研究。 首先，針對集中式元數(shù)據(jù)服務(wù)模型存在的單節(jié)點失效與單節(jié)點瓶頸問題，設(shè)計了一種基于動態(tài)多中心的分布式文件系統(tǒng)的架構(gòu)模型。該模型通過采用全對等式的元數(shù)據(jù)服務(wù)模型來提高系統(tǒng)的可靠性與吞吐量。采用N重Hash與分層思想相結(jié)合的方法來組織元數(shù)據(jù)在內(nèi)存中的存儲結(jié)構(gòu)，使用日志策略對元數(shù)據(jù)進行持久化，并提出了一種基于三重循環(huán)鏈式的故障切換方案。 其次，對新模型中的元數(shù)據(jù)服務(wù)器之間的負載均衡問題進行了分析與研究，針對新模型中負載任務(wù)的特點，提出了一種帶“參謀”的動態(tài)自適應負載平衡策略。該策略將負載均衡器與客戶端解耦合，收集不同的負載信息指標，并賦予不同權(quán)值來處理負載信息，通過自適應的閾值來判定系統(tǒng)的負載狀態(tài)。 最后，對新模型中多節(jié)點之間的數(shù)據(jù)同步問題進行了分析與研究，針對經(jīng)典的Paxos算法存在的“活鎖”問題，提出了一種帶Leader選舉的Paxos算法；為解決系統(tǒng)中存在的“不一致性窗口時間”的問題，在Paxos算法的基礎(chǔ)上提出了一種數(shù)據(jù)同步方案，該方案采用周期性同步與隨機性同步相結(jié)合的策略，并設(shè)計實現(xiàn)了一個數(shù)據(jù)一致性原型系統(tǒng)。
【關(guān)鍵詞】：云存儲 分布式文件系統(tǒng) 元數(shù)據(jù) 單節(jié)點瓶頸 負載均衡 數(shù)據(jù)同步
【學位授予單位】：燕山大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-15
• 1.1 研究背景及意義9-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.3 本文主要研究內(nèi)容13-14
• 1.4 論文結(jié)構(gòu)安排14-15
• 第2章 相關(guān)知識概述15-24
• 2.1 引言15
• 2.2 典型的分布式文件系統(tǒng)架構(gòu)15-18
• 2.2.1 HDFS 的主要特性15-16
• 2.2.2 HDFS 的體系結(jié)構(gòu)16-17
• 2.2.3 HDFS 的工作流程17-18
• 2.2.4 HDFS 評價18
• 2.3 負載均衡相關(guān)知識18-20
• 2.3.1 負載均衡策略分類18-20
• 2.3.2 負載均衡評價標準20
• 2.4 分布式數(shù)據(jù)一致性與 Paxos 算法20-23
• 2.4.1 分布式數(shù)據(jù)一致性20-21
• 2.4.2 Paxos 算法21-23
• 2.5 本章小結(jié)23-24
• 第3章 基于動態(tài)多中心的 MDS 架構(gòu)設(shè)計24-40
• 3.1 引言24
• 3.2 基于動態(tài)多中心的 MDS 模型架構(gòu)設(shè)計24-28
• 3.2.1 動態(tài)多中心的元數(shù)據(jù)管理模型設(shè)計目標24-25
• 3.2.2 動態(tài)多中心架構(gòu)模型整體設(shè)計25-27
• 3.2.3 動態(tài)多中心架構(gòu)模型工作流程27-28
• 3.3 動態(tài)多中心模型架構(gòu)關(guān)鍵技術(shù)28-34
• 3.3.1 動態(tài)多中心模型元數(shù)據(jù)模塊設(shè)計28-32
• 3.3.2 可靠性保證策略32-34
• 3.4 動態(tài)多中心架構(gòu)模型性能分析34-39
• 3.4.1 可靠性建模與分析34-38
• 3.4.2 吞吐量建模與分析38-39
• 3.4.3 動態(tài)多中心架構(gòu)模型存在的問題分析39
• 3.5 本章小結(jié)39-40
• 第4章 動態(tài)多中心模型負載均衡問題及解決方案40-54
• 4.1 引言40
• 4.2 動態(tài)多中心架構(gòu)模型負載均衡問題的特點40-41
• 4.3 動態(tài)自適應負載均衡策略41-47
• 4.3.1 負載信息收集與處理43-45
• 4.3.2 負載狀態(tài)評價45
• 4.3.3 負載任務(wù)遷移45-47
• 4.3.4 算法流程47
• 4.4 負載均衡策略可行性分析47-48
• 4.5 系統(tǒng)模型構(gòu)建與仿真結(jié)果分析48-53
• 4.5.1 實驗環(huán)境48
• 4.5.2 系統(tǒng)模型構(gòu)建48-50
• 4.5.3 業(yè)務(wù)創(chuàng)建與統(tǒng)計量收集50-51
• 4.5.4 仿真結(jié)果分析51-53
• 4.6 本章小結(jié)53-54
• 第5章 動態(tài)多中心模型數(shù)據(jù)一致性問題及解決方案54-68
• 5.1 引言54
• 5.2 基于 Paxos 算法的數(shù)據(jù)同步方案54-60
• 5.2.1 數(shù)據(jù)一致性問題分析54-55
• 5.2.2 Leader 選舉算法55-58
• 5.2.3 數(shù)據(jù)同步方案58-60
• 5.3 多節(jié)點數(shù)據(jù)一致性原型系統(tǒng)的設(shè)計與實現(xiàn)60-66
• 5.3.1 原型系統(tǒng)設(shè)計與實現(xiàn)60-63
• 5.3.2 原型系統(tǒng)測試63-66
• 5.3.3 系統(tǒng)測試結(jié)果分析66
• 5.4 本章小結(jié)66-68
• 結(jié)論68-70
• 參考文獻70-74
• 攻讀碩士學位期間承擔的科研任務(wù)與主要成果74-75
• 致謝75-76
• 作者簡介76

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 楊際祥;譚國真;王榮生;;并行與分布式計算動態(tài)負載均衡策略綜述[J];電子學報;2010年05期

2 吳吉義;傅建慶;平玲娣;謝琪;;一種對等結(jié)構(gòu)的云存儲系統(tǒng)研究[J];電子學報;2011年05期

3 周婧;王意潔;阮煒;李思昆;;面向海量數(shù)據(jù)的數(shù)據(jù)一致性研究[J];計算機科學;2006年04期

4 鐘志偉，王廣芳，趙先武;分布式計算機系統(tǒng)（DCS）負載平衡算法20年[J];計算機工程;1995年06期

5 曹薊光,王申康;元數(shù)據(jù)管理策略的比較研究[J];計算機應用;2001年02期

6 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

7 侯建;帥仁俊;侯文;;基于云計算的海量數(shù)據(jù)存儲模型[J];通信技術(shù);2011年05期

8 呂驥;張堯?qū)W;周悅芝;;云計算環(huán)境中P2P計算的優(yōu)化組織模型[J];清華大學學報(自然科學版);2011年11期

9 陳如明;;大數(shù)據(jù)時代的挑戰(zhàn)、價值與應對策略[J];移動通信;2012年17期

本文編號：553229