本文選題：節(jié)能高效　切入點：負載均衡　出處：《南京大學》2016年博士論文　論文類型：學位論文

【摘要】：虛擬化技術(shù)作為云計算中最關(guān)鍵的核心技術(shù),使得商用云數(shù)據(jù)中心可以向用戶提供按需配置的彈性計算資源。然而,在數(shù)據(jù)中心的部署中,高性能計算往往是評價的最主要標準,缺少對能源消耗和碳排放的關(guān)注。隨著云數(shù)據(jù)中心的規(guī)模越來越大,其消耗的電能也十分巨大,這不僅帶來了較高的運行成本,而且還產(chǎn)生了較高的二氧化碳排放量。導致數(shù)據(jù)中心耗電量巨大的一個很重要的原因是計算資源的低效利用。大量數(shù)據(jù)表明,數(shù)據(jù)中心中大部分服務(wù)器設(shè)備事實上處于低負載運行狀態(tài),即處于滿負荷的10%-50%,而這些設(shè)備卻要消耗滿負載運行時能耗的70%。不僅如此,還帶來了額外的冷卻系統(tǒng)能耗。在倡導綠色節(jié)能、降低碳排放從而實現(xiàn)可持續(xù)發(fā)展的今天,云數(shù)據(jù)中心應(yīng)該不僅僅關(guān)注用戶服務(wù)質(zhì)量,而應(yīng)該更加重視提高資源利用率對能耗的影響,實現(xiàn)綠色節(jié)能高效的可持續(xù)發(fā)展目標。但是,除非開發(fā)并應(yīng)用先進的節(jié)能資源管理解決方案,否則這些數(shù)據(jù)預(yù)計將進一步快速增長。本論文重點圍繞以綠色節(jié)能為目標的的云數(shù)據(jù)中心資源管理問題進行研究,在滿足用戶服務(wù)質(zhì)量的前提下,通過建立能耗模型,對比分析云環(huán)境下主機負載數(shù)據(jù)的新特點,提出一系列的主機負載檢測、虛擬機安置等動態(tài)虛擬機均衡算法,使用真實云環(huán)境下的主機負載數(shù)據(jù)進行仿真實驗,結(jié)果表明,本文提出的多個算法組合與基準參考算法相比,都有明顯的性能提升。具體而言,本文的主要工作內(nèi)容和創(chuàng)新點如下：1.針對高能耗問題,對云計算系統(tǒng)的節(jié)能技術(shù)進行了分類研究。從靜態(tài)和動態(tài)功率管理,硬件和軟件層面,操作系統(tǒng)級、虛擬機級和數(shù)據(jù)中心級等多個類別展開了深入的分析。在研究過程中,重點從系統(tǒng)資源、優(yōu)化目標、節(jié)能技術(shù)、負載特性等多個方面進行展開。重點分析了操作系統(tǒng)級、虛擬機以及云數(shù)據(jù)中心級三方面節(jié)能高效的關(guān)鍵技術(shù)。相關(guān)分類研究對本文進一步開展以綠色節(jié)能為目標的動態(tài)虛擬機均衡算法研究具有很強的指導意義。2.提出了云計算環(huán)境下一整套分布式動態(tài)虛擬機均衡的啟發(fā)式算法。提出利用中值絕對偏差和四分差來改進傳統(tǒng)的設(shè)定靜態(tài)閾值,進一步利用局部回歸LR和強局部回歸LRR的動態(tài)自適應(yīng)算法進行過載主機探測。提出利用最短遷移時間策略、隨機選擇策略和最大相關(guān)性策略等三種遷移選擇算法進行虛擬機遷移選擇。將云計算環(huán)境中的虛擬機安置問題定義為一個一維裝箱問題,設(shè)計基于功耗的改進降序最佳自適應(yīng)啟發(fā)式算法BFD-PA進行虛擬機安置。通過使用真實Planetlab云數(shù)據(jù)中心工作負載數(shù)據(jù)進行仿真實驗。結(jié)果表明,所提出的結(jié)合局部回歸算法和最短遷移時間策略來實現(xiàn)虛擬機均衡的綜合算法顯著優(yōu)于其他動態(tài)虛擬機均衡算法,能夠大大降低SLA違例情況和并減少虛擬機遷移的數(shù)量。3.提出了基于相空間重構(gòu)(PSR)和數(shù)據(jù)組合處理進化方法(EA-GMDH)的組合算法,首次將其用于云計算環(huán)境下的主機負載預(yù)測領(lǐng)域。利用PSR方法,將一維工作負載的時間序列重構(gòu)成了多維空間中的時間序列,送入EA-GMDH神經(jīng)網(wǎng)絡(luò),通過訓練和學習得到最終的預(yù)測結(jié)果。通過使用真實Google云數(shù)據(jù)中心工作負載數(shù)據(jù)進行仿真實驗。本文提出的EA-GMDH算法在平均負載預(yù)測和精確負載預(yù)測兩個方面都好于對比的基準算法：Bayes, EMA, LWMA, LMA, AR, ANN和PP等。4.提出了一種全新的實現(xiàn)云環(huán)境下主機負載預(yù)測的方法,利用Autoencoder自編碼網(wǎng)絡(luò)和Softmax分類器,將回歸問題轉(zhuǎn)換成分類問題,再次提升了負載預(yù)測的準確度。通過無監(jiān)督學習方法成功地將歷史窗口中的負載數(shù)據(jù)特征提取出來�；谶@些提取的特征,利用分類器,成功地獲得了負載數(shù)據(jù)的預(yù)測結(jié)果。同樣,通過使用Google云數(shù)據(jù)中心的工作負載數(shù)據(jù)作為數(shù)據(jù)源進行仿真。與基準參照算法ANN、Bayes以及EA-GMDH算法相比,提出的新算法可以獲得更高的準確度性能,從而更好地為實現(xiàn)云環(huán)境下更為精確的動態(tài)虛擬機均衡提供服務(wù)和支撐,最終達到在滿足QoS要求下降低系統(tǒng)整體能耗的目的。
[Abstract]:Virtualization technology as the core technology of the key cloud computing, makes the commercial cloud data center can provide on-demand computing resources allocation flexibility to the user. However, in the data center deployment, high performance computing often is the main evaluation standard, lack of energy consumption and carbon emissions. With the cloud data center the increasingly large scale, its power consumption is also very great, which not only brings higher operating costs, but also produce carbon dioxide emissions higher. Lead to huge data center power consumption is a very important reason is the inefficient use of computational resources. A large amount of data shows that, in a state of low load operation most in fact, the data center server device, which is in full load 10%-50%, and these devices are consumed at full load energy consumption 70%. not only that, but also brought additional cooling system The system energy consumption. In promoting green energy, reduce carbon emissions and achieve sustainable development today, cloud data center should not only pay attention to customer service, but should pay more attention to improving the utilization rate of resources impact on energy consumption, realize sustainable development of green energy saving and high efficiency. However, unless such resource management the development and application of advanced solutions otherwise, the data is expected to further rapid growth. This thesis focuses on the study of the green energy-saving goal of the cloud data center resource management issues, in order to meet the demand of customer service quality, through the establishment of energy consumption model, comparative analysis of the host cloud environment load characteristics data, put forward a series of host load detection. The virtual machine placement virtual machine dynamic balancing algorithm, using real host cloud environment simulation results show that the load data. Compared with proposed algorithm combined with reference datum, have significantly better performance. Specifically, the main contents and innovations of this paper are as follows: 1.. Aiming at the problem of high energy consumption, energy saving calculation technology system classified research on cloud. From the static and dynamic power management, hardware and software level, operating system class, virtual machine level and data center level and other categories in-depth analysis. In the course of the study, focusing on the system resources, the optimization goal, energy-saving technology, many aspects of the load characteristics were analyzed. The operating system level, three key technologies of energy efficient virtual machine and cloud data center level. Classification of equalization algorithm has a strong guiding significance of.2. put forward a set of distributed cloud computing environment for the further dynamic virtual machine to green energy-saving target The heuristic algorithm of dynamic equilibrium. This virtual machine uses the median absolute deviation and four points to improve the traditional static threshold setting, the further use of dynamic adaptive local regression algorithm LR and strong local regression LRR overload detection. Using the shortest host migration time strategy, random selection strategy and the maximum correlation of three kinds of migration strategies selection algorithm for virtual machine migration. Cloud computing environment of virtual machine placement problem is defined as a one-dimensional packing problem, improved design of descending optimal adaptive heuristic algorithm BFD-PA power based on virtual machine placement. Through the use of real Planetlab cloud data center work load data simulation experiments. The results show that the combination of local regression algorithm and the shortest time migration strategy to achieve comprehensive and balanced algorithm of virtual machine is significantly better than that of the other dynamic virtual machine Equalization algorithm, which can greatly reduce the SLA violation and.3. reduced the number of virtual machine migration is proposed based on phase space reconstruction (PSR) and the combination of data processing methods (EA-GMDH) combination of evolutionary algorithm, for the first time for cloud computing environment of host load prediction. By using the PSR method, the time series of one dimensional work load the form of time series in a multidimensional space, into the EA-GMDH neural network, the forecasting results through training and learning. Through the use of real Google cloud data center work load data by simulation experiment. This paper presents the EA-GMDH algorithm in average load forecasting and accurate load forecasting algorithm benchmark two aspects are better than the contrast Bayes, EMA, LWMA, LMA, AR, ANN and PP.4. proposed a new implementation of the cloud environment host load prediction method, using Autoencoder network and self encoding The Softmax classifier will return problem into a classification problem, again to enhance the load forecasting accuracy. Through an unsupervised learning method successfully the history window in the load data feature extraction. Using these extracted feature classifier, based on the successful prediction results of load data. Also, through the use of Google cloud the data center work load data as the data source for simulation. With the reference algorithm ANN, compared with Bayes and EA-GMDH algorithm, the proposed algorithm can obtain higher accuracy performance, to better realize the cloud environment for dynamic virtual machine precise balance to provide service and support, to reduce the overall system in the energy consumption to meet the requirements of QoS.

【學位授予單位】：南京大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP308

【相似文獻】

相關(guān)期刊論文 前10條

1 曹曉剛;;Java虛擬機的10年[J];程序員;2005年07期

2 宋韜;盤細平;羅元柯;倪國軍;;Java虛擬機在嵌入式DSP系統(tǒng)上的實現(xiàn)[J];計算機應(yīng)用與軟件;2007年04期

3 劉黎波;;Java虛擬機攔截原理研究[J];科技風;2008年21期

4 劉治波;;Java虛擬機簡析[J];濟南職業(yè)學院學報;2008年01期

5 郝帥;;Java虛擬機中相關(guān)技術(shù)的探討[J];成功(教育);2008年08期

6 李霞;;系統(tǒng)虛擬機關(guān)鍵技術(shù)研究[J];微型電腦應(yīng)用;2010年03期

7 鄭曉瓏;孔挺;;虛擬機的安全風險與管理[J];硅谷;2010年16期

8 李學昌;平淡;;為速度而戰(zhàn),虛擬機內(nèi)外兼修[J];電腦愛好者;2010年18期

9 王惠萍;張海龍;馮帆;王建華;;Java虛擬機使用及優(yōu)化[J];計算機與網(wǎng)絡(luò);2010年21期

10 鄭婷婷;武延軍;賀也平;;云計算環(huán)境下的虛擬機快速克隆技術(shù)[J];計算機工程與應(yīng)用;2011年13期

相關(guān)會議論文 前10條

1 孟廣平;;虛擬機漂移網(wǎng)絡(luò)連接方法探討[A];中國計量協(xié)會冶金分會2011年會論文集[C];2011年

2 段翼真;王曉程;;可信安全虛擬機平臺的研究[A];第26次全國計算機安全學術(shù)交流會論文集[C];2011年

3 李明宇;張倩;呂品;;網(wǎng)絡(luò)流量感知的虛擬機高可用動態(tài)部署研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 林紅;;Java虛擬機面向數(shù)字媒體的應(yīng)用研究[A];計算機技術(shù)與應(yīng)用進展——全國第17屆計算機科學與技術(shù)應(yīng)用（CACIS）學術(shù)會議論文集（上冊）[C];2006年

5 楊旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虛擬機的備份系統(tǒng)實現(xiàn)[A];中國高等教育學會教育信息化分會第十二次學術(shù)年會論文集[C];2014年

6 沈敏虎;查德平;劉百祥;趙澤宇;;虛擬機網(wǎng)絡(luò)部署與管理研究[A];中國高等教育學會教育信息化分會第十次學術(shù)年會論文集[C];2010年

7 李英壯;廖培騰;孫夢;李先毅;;基于云計算的數(shù)據(jù)中心虛擬機管理平臺的設(shè)計[A];中國高等教育學會教育信息化分會第十次學術(shù)年會論文集[C];2010年

8 朱欣焰;蘇科華;毛繼國;龔健雅;;GIS符號虛擬機及實現(xiàn)方法研究[A];《測繪通報》測繪科學前沿技術(shù)論壇摘要集[C];2008年

9 于洋;陳曉東;俞承芳;李旦;;基于FPGA平臺的虛擬機建模與仿真[A];2007'儀表，自動化及先進集成技術(shù)大會論文集（一）[C];2007年

10 丁濤;郝沁汾;張冰;;內(nèi)核虛擬機調(diào)度策略的研究與分析[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學術(shù)會議論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 ;虛擬機的生與死[N];網(wǎng)絡(luò)世界;2008年

2 本報記者 卜娜;高性能Java虛擬機將在中國云市場釋能[N];中國計算機報;2012年

3 本報記者 邱燕娜;如何告別虛擬機管理煩惱[N];中國計算機報;2012年

4 ;首批通過云計算產(chǎn)品虛擬機管理測評名單[N];中國電子報;2014年

5 申琳;虛擬機泛濫 系統(tǒng)安全怎么辦[N];中國計算機報;2008年

6 Tom Henderson邋沈建苗 編譯;虛擬機管理的五大問題[N];計算機世界;2008年

7 盆盆;真實的虛擬機[N];中國電腦教育報;2004年

8 本版編輯　綜合 編譯整理 田夢;管理好虛擬機的全生命周期[N];計算機世界;2008年

9 李婷;中國研制出全球最快反病毒虛擬機[N];人民郵電;2009年

10 張弛;虛擬機遷移走向真正自由[N];網(wǎng)絡(luò)世界;2010年

相關(guān)博士學位論文 前10條

1 宋翔;多核虛擬環(huán)境的性能及可伸縮性研究[D];復旦大學;2014年

2 王桂平;云環(huán)境下面向可信的虛擬機異常檢測關(guān)鍵技術(shù)研究[D];重慶大學;2015年

3 周真;云平臺下運行環(huán)境感知的虛擬機異常檢測策略及算法研究[D];重慶大學;2015年

4 郭芬;面向虛擬機的云平臺資源部署與調(diào)度研究[D];華南理工大學;2015年

5 周傲;高可靠云服務(wù)供應(yīng)關(guān)鍵技術(shù)研究[D];北京郵電大學;2015年

6 代煒琦;云計算執(zhí)行環(huán)境可信構(gòu)建關(guān)鍵技術(shù)研究[D];華中科技大學;2015年

7 劉圣卓;面向虛擬集群的鏡像存儲與傳輸優(yōu)化[D];清華大學;2015年

8 彭成磊;云數(shù)據(jù)中心綠色節(jié)能需求的虛擬機負載均衡技術(shù)研究[D];南京大學;2016年

9 趙長名;IaaS云中基于資源感知的虛擬機資源管埋[D];電子科技大學;2016年

10 陳彬;分布環(huán)境下虛擬機按需部署關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2010年

相關(guān)碩士學位論文 前10條

1 潘飛;負載相關(guān)的虛擬機放置策略研究[D];杭州電子科技大學;2011年

2 李子堂;面向負載均衡的虛擬機動態(tài)遷移優(yōu)化研究[D];遼寧大學;2015年

3 張煜;基于OpenStack的“實驗云”平臺的研究與開發(fā)[D];西南交通大學;2015年

4 曾文琦;面向應(yīng)用服務(wù)的云規(guī)模虛似機性能監(jiān)控與負載分析技術(shù)研究[D];復旦大學;2013年

5 施繼成;面向多核處理器的虛擬機性能優(yōu)化[D];復旦大學;2014年

6 于暉;基于ARM平臺的Java智能卡虛擬機研究與實現(xiàn)[D];上海交通大學;2015年

7 王志遠;多數(shù)據(jù)中心的虛擬機調(diào)度算法研究和實現(xiàn)[D];上海交通大學;2015年

8 毛亞強;基于Xen虛擬化技術(shù)的混合監(jiān)控度量框架研究[D];上海交通大學;2015年

9 李傳云;KVM虛擬機熱遷移算法分析及優(yōu)化[D];浙江大學;2016年

10 曲曉雅;負載感知的虛擬機初始化放置和遷移時機判決機制的研究[D];北京交通大學;2016年

，

本文編號：1611185