本文關(guān)鍵詞：基于HDFS的云存儲關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 云存儲 分布式文件系統(tǒng) HDFS 元數(shù)據(jù) 負(fù)載均衡 副本

【摘要】：云存儲系統(tǒng)為存儲大規(guī)模數(shù)據(jù)應(yīng)運(yùn)而生,其底層采用分布式文件系統(tǒng)作為存儲平臺。HDFS(Hadoop Distributed File Sysytem)是開源的云計(jì)算平臺Hadoop提出的分布式文件系統(tǒng),其設(shè)計(jì)簡單,應(yīng)用廣泛。但是隨著數(shù)據(jù)量的指數(shù)型增長,在可用性、可靠性、擴(kuò)展性和數(shù)據(jù)訪問性能等方面已經(jīng)難以滿足日益增長的數(shù)據(jù)量的存儲需求。HDFS采用單一的元數(shù)據(jù)服務(wù)器(MetaData Server, MDS)來管理整個(gè)系統(tǒng)的元數(shù)據(jù)信息,這樣雖然設(shè)計(jì)簡單,但是單一的元數(shù)據(jù)服務(wù)器經(jīng)常成為整個(gè)系統(tǒng)性能的瓶頸,限制元數(shù)據(jù)的數(shù)量,可擴(kuò)展性差,并且單一的服務(wù)器節(jié)點(diǎn)也會(huì)帶來單點(diǎn)失效問題,當(dāng)其發(fā)生故障時(shí),整個(gè)系統(tǒng)將不能工作,影響系統(tǒng)可用性。同時(shí),在現(xiàn)有的HDFS中,系統(tǒng)將默認(rèn)保存三個(gè)文件副本來保證數(shù)據(jù)可靠性,但是副本分配數(shù)量固定,副本放置時(shí)位置的選擇可能會(huì)帶來負(fù)載不均衡等問題,影響系統(tǒng)效率。針對以上問題,本文進(jìn)行了如下研究：對HDFS的系統(tǒng)架構(gòu)設(shè)計(jì)和工作原理進(jìn)行了深入了解。本文提出一種集群化元數(shù)據(jù)服務(wù)器架構(gòu),在此基礎(chǔ)上,提出了一種引入虛擬節(jié)點(diǎn)的改進(jìn)一致性Hash算法,采用目錄子樹劃分和改進(jìn)的一致性Hash算法相結(jié)合的方式對元數(shù)據(jù)進(jìn)行劃分。為解決數(shù)據(jù)訪問引起的局部過熱問題,提出一種基于改進(jìn)的一致性Hash算法中虛擬節(jié)點(diǎn)遷移的動(dòng)態(tài)負(fù)載均衡算法,動(dòng)態(tài)調(diào)整運(yùn)行過程中數(shù)據(jù)訪問熱度差異引起的局部過熱問題。實(shí)驗(yàn)證明該算法在負(fù)載均衡性能方面具有較好的效果。為解決云數(shù)據(jù)可靠性,針對現(xiàn)有的文件系統(tǒng)中副本數(shù)量固定,副本放置位置選擇可能帶來負(fù)載不均衡等問題,提出了一種動(dòng)態(tài)的副本數(shù)量調(diào)整策略,該策略可以隨用戶訪問熱度和訪問請求響應(yīng)時(shí)間的變化而動(dòng)態(tài)調(diào)整副本的數(shù)量。為了使訪問效率更高,提出基于傳輸代價(jià)的副本放置算法,在放置副本時(shí),選擇訪問效率最高的最佳放置位置。最后實(shí)驗(yàn)證明了副本策略的有效性。
【關(guān)鍵詞】：云存儲 分布式文件系統(tǒng) HDFS 元數(shù)據(jù) 負(fù)載均衡 副本
【學(xué)位授予單位】：廣西大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-11
• 第一章 緒論11-14
• 1.1 研究背景11-12
• 1.2 研究意義12
• 1.3 論文研究內(nèi)容12-13
• 1.4 論文組織結(jié)構(gòu)13-14
• 第二章 云存儲相關(guān)技術(shù)研究14-29
• 2.1 云存儲14-15
• 2.1.1 云存儲的概念14
• 2.1.2 云存儲發(fā)展現(xiàn)狀14-15
• 2.2 分布式文件系統(tǒng)與HDFS15-16
• 2.2.1 分布式文件系統(tǒng)簡介15-16
• 2.2.2 HDFS簡介16
• 2.3 HDFS基本原理與工作流程16-22
• 2.3.1 HDFS系統(tǒng)架構(gòu)16-17
• 2.3.2 HDFS主要數(shù)據(jù)結(jié)構(gòu)17-20
• 2.3.3 HDFS讀寫工作流程20-22
• 2.4 分布式文件系統(tǒng)的可用性與元數(shù)據(jù)管理22-27
• 2.4.1 分布式文件系統(tǒng)可用性22-23
• 2.4.2 HDFS的單點(diǎn)失效問題23-24
• 2.4.3 HDFS的單點(diǎn)失效問題解決方案24-25
• 2.4.4 去中心化元數(shù)據(jù)服務(wù)器架構(gòu)及元數(shù)據(jù)管理25-27
• 2.5 分布式文件系統(tǒng)的可靠性與副本管理27-29
• 2.5.1 分布式文件系統(tǒng)的可靠性27-28
• 2.5.2 分布式文件系統(tǒng)的副本管理28-29
• 第三章 基于高可用的NameNode集群元數(shù)據(jù)管理方案研究29-43
• 3.1 相關(guān)研究背景29-31
• 3.1.1 多元數(shù)據(jù)服務(wù)器分布式文件系統(tǒng)29-30
• 3.1.2 多元數(shù)據(jù)服務(wù)器架構(gòu)的元數(shù)據(jù)管理30-31
• 3.2 基于雙機(jī)高可用的分布式文件系統(tǒng)架構(gòu)31-33
• 3.3 基于目錄子樹劃分和一致性Hash算法的元數(shù)據(jù)管理方案33-36
• 3.3.1 一致性Hash算法33-35
• 3.3.2 目錄子樹劃分算法35-36
• 3.4 元數(shù)據(jù)服務(wù)器集群的負(fù)載均衡36-41
• 3.4.1 靜態(tài)負(fù)載均衡37-39
• 3.4.2 動(dòng)態(tài)負(fù)載均衡39-41
• 3.5 實(shí)驗(yàn)及結(jié)果分析41-43
• 3.5.1 實(shí)驗(yàn)環(huán)境41
• 3.5.2 實(shí)驗(yàn)過程及結(jié)果41-43
• 第四章 云存儲系統(tǒng)中動(dòng)態(tài)副本策略研究43-52
• 4.1 相關(guān)研究背景43-44
• 4.2 動(dòng)態(tài)副本數(shù)量調(diào)整的依據(jù)44-46
• 4.2.1 文件熱度44-45
• 4.2.2 請求響應(yīng)時(shí)間45-46
• 4.2.3 副本數(shù)量調(diào)整的依據(jù)46
• 4.3 動(dòng)態(tài)調(diào)整副本數(shù)量46-48
• 4.3.1 確定需要調(diào)整的副本46-47
• 4.3.2 確定需要調(diào)整的副本的數(shù)量47-48
• 4.4 基于傳輸代價(jià)的副本放置算法48-49
• 4.4.1 集群節(jié)點(diǎn)負(fù)載率48-49
• 4.4.2 放置節(jié)點(diǎn)選擇49
• 4.5 實(shí)驗(yàn)及結(jié)果分析49-52
• 4.5.1 實(shí)驗(yàn)環(huán)境49-50
• 4.5.2 實(shí)驗(yàn)過程及結(jié)果50-52
• 第五章 總結(jié)與展望52-54
• 5.1 論文總結(jié)52-53
• 5.2 下一步工作53-54
• 參考文獻(xiàn)54-59
• 致謝59-60
• 攻讀碩士學(xué)位期間發(fā)表論文情況60

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉健;張軍偉;張浩;邵冰清;楊洪章;劉振軍;;藍(lán)鯨元數(shù)據(jù)服務(wù)器集群的細(xì)粒度負(fù)載遷移[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

2 王強(qiáng);李雄飛;王婧;;云計(jì)算中的數(shù)據(jù)放置與任務(wù)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2014年11期

3 英昌甜;于炯;廖彬;魯亮;;一種面向低延遲的內(nèi)存HDFS數(shù)據(jù)存儲策略[J];微電子學(xué)與計(jì)算機(jī);2014年11期

4 孫知信;黃涵霞;;基于云計(jì)算的數(shù)據(jù)存儲技術(shù)研究[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年04期

5 師明;劉軼;唐歌實(shí);;一種面向分布式文件系統(tǒng)的文件預(yù)取模型的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2014年07期

6 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年02期

7 魏光輝;李杰斌;王程玉;何震瀛;汪衛(wèi);;一種分布式系統(tǒng)上的元數(shù)據(jù)管理系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2013年S1期

8 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計(jì)算數(shù)據(jù)副本動(dòng)態(tài)管理研究[J];小型微型計(jì)算機(jī)系統(tǒng);2013年07期

9 陳濤;肖儂;劉芳;;對象存儲系統(tǒng)中自適應(yīng)的元數(shù)據(jù)負(fù)載均衡機(jī)制[J];軟件學(xué)報(bào);2013年02期

10 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計(jì)算機(jī)系統(tǒng);2013年02期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 李夢楠;基于HDFS的名字節(jié)點(diǎn)的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學(xué);2015年

2 李鐵;面向海量小文件存取的HDFS優(yōu)化研究[D];東華大學(xué);2015年

3 劉通;基于HDFS的小文件處理與副本策略優(yōu)化研究[D];中國海洋大學(xué);2014年

4 季錢飛;高可用HDFS管理平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2013年

5 劉曉偉;一種基于P2P的云存儲模型研究[D];西安電子科技大學(xué);2012年

，

本文編號：1059646