【摘要】：云計(jì)算是并行計(jì)算、網(wǎng)格計(jì)算、虛擬化、分布式計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等技術(shù)融合發(fā)展的產(chǎn)物。云計(jì)算技術(shù)的出現(xiàn),將原本用戶端的工作放在云端執(zhí)行,云數(shù)據(jù)中心承擔(dān)著復(fù)雜忙碌的工作。對(duì)于云數(shù)據(jù)存儲(chǔ),云數(shù)據(jù)中心涉及成千上萬(wàn)臺(tái)服務(wù)器和網(wǎng)絡(luò)設(shè)備,這些節(jié)點(diǎn)分布不均、節(jié)點(diǎn)的配置存在差異、資源訪問(wèn)熱度不同,用戶的需求多樣、實(shí)時(shí)、復(fù)雜,造成云數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)不均衡。例如一些節(jié)點(diǎn)存儲(chǔ)了大量數(shù)據(jù)而另一些節(jié)點(diǎn)負(fù)載較輕;一些節(jié)點(diǎn)存儲(chǔ)的文件訪問(wèn)熱度高,需要頻繁地應(yīng)對(duì)用戶的訪問(wèn)請(qǐng)求,而另一些節(jié)點(diǎn)非�？臻e等。數(shù)據(jù)存儲(chǔ)的不均衡將影響系統(tǒng)的性能、降低系統(tǒng)的響應(yīng)時(shí)間,更嚴(yán)重地會(huì)引起節(jié)點(diǎn)的宕機(jī)。對(duì)于云資源調(diào)度,云中的節(jié)點(diǎn)的異構(gòu)性及用戶需求的多樣性、不確定性,導(dǎo)致某些節(jié)點(diǎn)負(fù)載重,非常忙碌,相反另一些節(jié)點(diǎn)負(fù)載輕,非常輕松,將影響整個(gè)系統(tǒng)的性能及資源利用率。因此必須解決云存儲(chǔ)及云資源調(diào)度的負(fù)載均衡問(wèn)題�；谏鲜鰧�(duì)云計(jì)算負(fù)載均衡的必要性的分析,本文提出Hadoop的云存儲(chǔ)負(fù)載均衡的優(yōu)化策略、多因素優(yōu)化的云存儲(chǔ)負(fù)載均衡模型、基于動(dòng)態(tài)副本的負(fù)載均衡策略、基于虛擬機(jī)遷移的資源調(diào)度負(fù)載均衡策略。本文的主要貢獻(xiàn)如下:1.Hadoop的HDFS文件存儲(chǔ)系統(tǒng)以數(shù)據(jù)塊為單位存儲(chǔ)數(shù)據(jù),每個(gè)數(shù)據(jù)塊用副本保證數(shù)據(jù)的冗余,數(shù)據(jù)塊的不斷存放、刪除導(dǎo)致各節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)不均衡。HDFS為了解決負(fù)載不均衡的問(wèn)題,將存儲(chǔ)空間負(fù)載重的節(jié)點(diǎn)的數(shù)據(jù)遷移到負(fù)載輕的節(jié)點(diǎn)。均衡過(guò)程首先在機(jī)架內(nèi)進(jìn)行,然后在機(jī)架間進(jìn)行,經(jīng)研究發(fā)現(xiàn)這種負(fù)載均衡策略會(huì)延誤負(fù)載重的機(jī)架的均衡時(shí)機(jī),本文以超負(fù)載機(jī)架的優(yōu)先處理為核心思想提出兩個(gè)方面的優(yōu)化。第一個(gè)優(yōu)化是優(yōu)先處理負(fù)載超重的機(jī)架。超過(guò)負(fù)載閾值的為超負(fù)載機(jī)架,對(duì)這些機(jī)架設(shè)計(jì)優(yōu)先處理策略。第二個(gè)優(yōu)化是負(fù)載重的節(jié)點(diǎn)按未使用空間大小升序排序,負(fù)載輕的節(jié)點(diǎn)按未使用空間降序排列,均衡時(shí)分別從兩個(gè)隊(duì)列中順次選取節(jié)點(diǎn),將負(fù)載重的節(jié)點(diǎn)的負(fù)載遷移到負(fù)載輕的節(jié)點(diǎn)。2.在解決云數(shù)據(jù)存儲(chǔ)負(fù)載均衡的問(wèn)題時(shí),很多算法均僅僅考慮存儲(chǔ)空間一個(gè)因素,將剩余存儲(chǔ)空間少的節(jié)點(diǎn)的數(shù)據(jù)遷移到剩余存儲(chǔ)空間多的節(jié)點(diǎn)上。但實(shí)際上每個(gè)節(jié)點(diǎn)的配置存在差異性,配置高的節(jié)點(diǎn)的處理能力顯然比配置低的節(jié)點(diǎn)的處理能力強(qiáng);節(jié)點(diǎn)間的網(wǎng)絡(luò)帶寬存在差異性,網(wǎng)絡(luò)帶寬大的節(jié)點(diǎn)能夠響應(yīng)更多的用戶需求;文件的訪問(wèn)熱度不相同,存儲(chǔ)空間利用率低的節(jié)點(diǎn)存儲(chǔ)了較多的熱點(diǎn)文件,也會(huì)造成該節(jié)點(diǎn)的負(fù)載重。本文提出了多因素優(yōu)化的負(fù)載均衡模型,綜合文件大小、文件訪問(wèn)熱度、節(jié)點(diǎn)CPU處理能力、節(jié)點(diǎn)內(nèi)存大小、帶寬等多種因素,評(píng)價(jià)節(jié)點(diǎn)的負(fù)載,根據(jù)綜合負(fù)載進(jìn)行數(shù)據(jù)的遷移。3.云存儲(chǔ)系統(tǒng)中,為了避免數(shù)據(jù)失效,通常用副本機(jī)制實(shí)現(xiàn)數(shù)據(jù)冗余,副本分布在不同的機(jī)架、不同的節(jié)點(diǎn)上。文件副本的訪問(wèn)頻率將直接影響節(jié)點(diǎn)的性能,對(duì)于訪問(wèn)頻率高的副本,增加它的數(shù)量能夠減輕節(jié)點(diǎn)的負(fù)擔(dān),實(shí)現(xiàn)各節(jié)點(diǎn)的負(fù)載均衡;反之,對(duì)于訪問(wèn)頻率低的副本,減少它的數(shù)量能夠降低節(jié)點(diǎn)的存儲(chǔ)空間使用率。本文提出了基于文件熱度的副本管理策略解決負(fù)載均衡問(wèn)題。該策略根據(jù)文件訪問(wèn)熱度、節(jié)點(diǎn)的存儲(chǔ)空間、網(wǎng)絡(luò)帶寬、副本維護(hù)一致性成本等因素確定副本的數(shù)量、副本的位置。當(dāng)文件副本的訪問(wèn)頻率低或者長(zhǎng)時(shí)間不被訪問(wèn)時(shí)進(jìn)行副本的刪除,釋放節(jié)點(diǎn)的存儲(chǔ)空間。4.云計(jì)算中各個(gè)節(jié)點(diǎn)共同合作響應(yīng)用戶的需求,這些節(jié)點(diǎn)數(shù)量龐大、地理位置分散、異構(gòu)性很強(qiáng),同時(shí)用戶的應(yīng)用多樣、復(fù)雜、實(shí)時(shí)。本文提出了基于虛擬機(jī)遷移的資源調(diào)度負(fù)載均衡策略應(yīng)對(duì)這些問(wèn)題。該策略包括采集模塊、監(jiān)測(cè)模塊、預(yù)測(cè)模塊、選擇模塊、遷移模塊等。采集模塊負(fù)責(zé)采集各節(jié)點(diǎn)的負(fù)載值,負(fù)載值主要包括CPU利用率、內(nèi)存利用率及帶寬利用率,采用中央節(jié)點(diǎn)定時(shí)讀取及各節(jié)點(diǎn)主動(dòng)發(fā)送相結(jié)合的方式采集節(jié)點(diǎn)負(fù)載值。監(jiān)測(cè)模塊負(fù)責(zé)判定高負(fù)載節(jié)點(diǎn)及低負(fù)載節(jié)點(diǎn),設(shè)定高位閾值、自適應(yīng)閾值及低位閾值作為判定條件。預(yù)測(cè)模塊輔助監(jiān)測(cè)模塊決定是否啟動(dòng)遷移,使用一次指數(shù)平滑法作為預(yù)測(cè)算法預(yù)測(cè)未來(lái)數(shù)值,避免負(fù)載的瞬時(shí)峰值啟動(dòng)不必要的遷移。選擇模塊負(fù)責(zé)選擇遷移源機(jī)及目標(biāo)機(jī),使用基于信息熵的選擇策略,根據(jù)節(jié)點(diǎn)的實(shí)時(shí)狀況客觀確定各個(gè)分量的權(quán)值。
【圖文】：

HDFS架構(gòu)模型

橫坐標(biāo)表示節(jié)點(diǎn)編號(hào)，，縱的空間使用率，點(diǎn)虛線表示 Hado表示本文算法均衡后的各節(jié)點(diǎn)的，圖 3.3 的 threshold 的值為 15表 3.1 節(jié)點(diǎn)的初始數(shù)據(jù)存儲(chǔ)率
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫德印;孫鐵強(qiáng);;彩電檢修的新方法——“節(jié)點(diǎn)”分析法[J];家電檢修技術(shù);2003年08期

2 李斌,張陽(yáng);節(jié)點(diǎn)與屏幕墻[J];現(xiàn)代電視技術(shù);2004年06期

3 劉茂立;鄧忠良;;基于選擇關(guān)鍵節(jié)點(diǎn)的網(wǎng)絡(luò)易損性評(píng)估法[J];艦船電子工程;2011年01期

4 張啟忠;席旭剛;;基于粗糙集分解的傳感器網(wǎng)絡(luò)節(jié)點(diǎn)故障診斷方法[J];杭州電子科技大學(xué)學(xué)報(bào);2010年04期

5 高志鵬;黃日茂;陳穎慧;芮蘭蘭;;一種無(wú)線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)故障的檢測(cè)方法(英文)[J];中國(guó)通信;2011年01期

6 王俊;劉剛;;基于時(shí)間序列和神經(jīng)網(wǎng)絡(luò)的溫室傳感器節(jié)點(diǎn)故障診斷[J];中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào);2011年06期

7 李宏慧;付學(xué)良;;可擴(kuò)展的節(jié)點(diǎn)保護(hù)的預(yù)連接圓的設(shè)計(jì)[J];內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年02期

8 張R

本文編號(hào)：2547166