【摘要】：云計算機(jī)系統(tǒng)是一種分布式系統(tǒng),分布式計算是云計算的基礎(chǔ)模型。通常用分布式存儲系統(tǒng)來支撐高效的分布式計算,而常用的數(shù)據(jù)復(fù)制技術(shù),例如三副本策略、糾刪碼技術(shù),都可以用來提高分布式系統(tǒng)的可靠性、可用性以及擴(kuò)展性。HDFS(Hadoop Distributed File System)是由Apache基金會開發(fā)的分布式文件系統(tǒng)。HDFS存儲系統(tǒng)的三副本策略會占用大量的存儲資源并有可能耗光所有存儲空間,數(shù)據(jù)因熱度增加導(dǎo)致需求增加,固定的副本策略無法無法維持?jǐn)?shù)據(jù)的高可用性,并且會使得節(jié)點(diǎn)負(fù)載失衡。系統(tǒng)采用糾刪碼技術(shù)來解決存儲系統(tǒng)資源消耗過多過快的問題,但需要消耗大量的網(wǎng)絡(luò)帶寬去和數(shù)據(jù)節(jié)點(diǎn)交互,下載恢復(fù)文件所需的數(shù)據(jù)塊,對數(shù)據(jù)塊進(jìn)行解碼操作恢復(fù)成原數(shù)據(jù)的過程中,都需要消耗CPU資源、內(nèi)存資源,資源消耗代價較高。為了解決HDFS存儲系統(tǒng)中出現(xiàn)的問題,本文進(jìn)行了相關(guān)研究。本文主要貢獻(xiàn)如下:首先,根據(jù)副本調(diào)度影響因子,包括文件的熱度值、靜態(tài)影響因子,也考慮到文件的可用系數(shù),設(shè)計了動態(tài)副本調(diào)度算法。通過分析副本調(diào)度影響因子,來求出副本需求數(shù)量,通過與現(xiàn)有副本數(shù)進(jìn)行比較,進(jìn)行動態(tài)調(diào)整,以適應(yīng)因數(shù)據(jù)熱度變化帶來的副本需求變化。通過動態(tài)調(diào)節(jié)副本數(shù)量提高節(jié)點(diǎn)的可用性,依據(jù)文件的可用性,在節(jié)點(diǎn)過載時,主動增加節(jié)點(diǎn)來放置副本,保持了文件的高可用性,又保持了系統(tǒng)的負(fù)載平衡。當(dāng)系統(tǒng)較空閑時,現(xiàn)有副本數(shù)大于需求的副本數(shù),通過減少副本數(shù),從而減少了資源的消耗,提供了系統(tǒng)資源的利用率。其次,為了解決好糾刪碼恢復(fù)數(shù)據(jù)塊帶來資源消耗代價較高的問題,本文通過對影響數(shù)據(jù)讀取時延、影響系統(tǒng)負(fù)載平衡的各種性能指標(biāo)進(jìn)行分析,找出具有代表性的指標(biāo)——系統(tǒng)吞吐量,并通過對節(jié)點(diǎn)的負(fù)載進(jìn)行判斷,而設(shè)計了多用戶請求調(diào)度算法。該調(diào)度算法能夠有效降低存儲系統(tǒng)中用糾刪碼編碼文件獲得的平均時延,達(dá)到負(fù)載平衡優(yōu)化的目的,還能夠提高數(shù)據(jù)獲取的穩(wěn)定性,給用戶更好的體驗(yàn)。最后,在HDFS分布式文件系統(tǒng)的基礎(chǔ)上,采用了副本和糾刪碼混合存儲策略。該策略采用糾刪碼技術(shù)提高了數(shù)據(jù)安全性,降低了存儲成本;采用動態(tài)副本策略來調(diào)節(jié)分布式集群運(yùn)行時對節(jié)點(diǎn)資源的利用,調(diào)節(jié)系統(tǒng)負(fù)載平衡,使數(shù)據(jù)保持高可用性。通過實(shí)驗(yàn)分析,本文采用的混合存儲策略與HDFS原有的三副本策略相比,有更強(qiáng)的負(fù)載均衡能力、降低了存儲成本、提高了安全性,使數(shù)據(jù)處于高可用狀態(tài)。
【圖文】：

圖 2.3 集群存儲系統(tǒng)中數(shù)據(jù)復(fù)制模型的模塊組成2.5 本章小結(jié)本章介紹了數(shù)據(jù)復(fù)制相關(guān)的一些概念和技術(shù)，數(shù)據(jù)復(fù)制是一種增強(qiáng)系統(tǒng)性能的技術(shù)，可以提高系統(tǒng)的可用性，具有容錯性。HDFS 存儲系統(tǒng)中數(shù)據(jù)復(fù)制相關(guān)技術(shù)，HDFS 存儲系統(tǒng)由一個 NameNode 和若干 DataNode 組成，系統(tǒng)采用多數(shù)據(jù)副本策略來存放熱點(diǎn)數(shù)據(jù)，而采用糾刪碼來存儲冷門數(shù)據(jù)作為 HDFS 系統(tǒng)的一種存儲補(bǔ)充。對 HDFS 存儲系統(tǒng)中副本存儲策略和糾刪碼策略進(jìn)行分析比較。最后對存儲數(shù)據(jù)進(jìn)行劃分，本章采用數(shù)據(jù)的訪問頻度來區(qū)分熱冷結(jié)點(diǎn)。

MICS 將一個數(shù)據(jù)對象進(jìn)行兩種形式的存儲，，一種用糾刪碼。MICS 的糾刪碼部分引入了編碼和譯碼模塊數(shù)據(jù)塊(block)進(jìn)行編碼，生成更多數(shù)量的數(shù)據(jù)分片( se中的隨機(jī)數(shù)據(jù)節(jié)點(diǎn)上，比三副本策略具有更好的容災(zāi)能的情況下，收集與失效數(shù)據(jù)塊相關(guān)的數(shù)據(jù)分片總量中任標(biāo)數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行恢復(fù)操作，恢復(fù)成完整的原始數(shù)據(jù)。群運(yùn)行情況以及對副本數(shù)目需求的不同采用動態(tài)副本策，MICS 與原 HDFS 實(shí)驗(yàn)比較得出，MICS 在容災(zāi)效率及安全性上對 HDFS 作了相應(yīng)的優(yōu)化。5.2 MICS 系統(tǒng)實(shí)現(xiàn)副本存儲
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋寶燕;王俊陸;王妍;;基于范德蒙碼的HDFS優(yōu)化存儲策略研究[J];計算機(jī)學(xué)報;2015年09期

2 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計算機(jī)學(xué)報;2013年05期

3 郭向陽;;基于數(shù)據(jù)庫復(fù)制技術(shù)的數(shù)據(jù)交換平臺研究與實(shí)現(xiàn)[J];計算機(jī)與現(xiàn)代化;2011年08期

4 熊潤群;羅軍舟;宋愛波;金嘉暉;;云計算環(huán)境下QoS偏好感知的副本選擇策略[J];通信學(xué)報;2011年07期

5 羅軍舟;金嘉暉;宋愛波;東方;;云計算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報;2011年07期

6 孫金津;朱玉全;陳耿;;基于重復(fù)熱點(diǎn)數(shù)據(jù)的CF廣播結(jié)構(gòu)改進(jìn)算法[J];計算機(jī)應(yīng)用研究;2010年12期

7 付雄;王汝傳;鄧松;;數(shù)據(jù)網(wǎng)格中一種啟發(fā)式副本放置算法[J];系統(tǒng)工程與電子技術(shù);2010年07期

8 陳康;鄭緯民;;云計算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

9 劉德輝;周寧;尹剛;王懷民;鄒鵬;;QFMA:一種支持負(fù)載均衡的多屬性資源定位方法[J];計算機(jī)學(xué)報;2008年08期

10 鄭靜,盧錫城,王意潔;移動自組網(wǎng)中基于分簇的數(shù)據(jù)復(fù)制算法(英文)[J];軟件學(xué)報;2005年08期

相關(guān)博士學(xué)位論文 前1條

1 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 梁成良;基于HDFS的輕量級數(shù)據(jù)安全存儲的研究[D];南京郵電大學(xué);2017年

2 劉文杰;云存儲系統(tǒng)中數(shù)據(jù)復(fù)制研究[D];南京郵電大學(xué);2017年

3 趙磊;基于HDFS默認(rèn)副本選擇機(jī)制的改進(jìn)和實(shí)現(xiàn)[D];北京交通大學(xué);2017年

4 管仲洋;基于糾刪碼的分布式文件系統(tǒng)數(shù)據(jù)塊管理技術(shù)研究[D];電子科技大學(xué);2017年

5 張程;基于HDFS的文件存儲與讀取的優(yōu)化策略研究與應(yīng)用[D];北京工業(yè)大學(xué);2016年

6 李元超;面向冷數(shù)據(jù)存儲的分布式編碼技術(shù)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2016年

7 崔園;基于HDFS的分布式存儲系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

8 孟密密;基于HDFS的文件管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];東南大學(xué);2016年

9 程名;面向海量數(shù)據(jù)的分布式文件系統(tǒng)設(shè)計和實(shí)現(xiàn)[D];華中科技大學(xué);2010年

10 葛建清;異質(zhì)結(jié)構(gòu)化對等網(wǎng)絡(luò)動態(tài)副本訪問負(fù)載均衡策略研究[D];華東師范大學(xué);2010年

本文編號：2597782