本文關(guān)鍵詞：數(shù)據(jù)中心中的虛擬化資源管理—部署與使用

  更多相關(guān)文章： 數(shù)據(jù)中心 虛擬化 資源利用率 作業(yè)完成時間

【摘要】：隨著大數(shù)據(jù)與云計算技術(shù)的發(fā)展,數(shù)據(jù)中心已經(jīng)成為了我們便捷生活背后一個必不可少的基礎(chǔ)。生物醫(yī)學(xué)、智能交通、各領(lǐng)域的個性化推薦背后巨大的數(shù)據(jù)量和計算量都需要集中有大量計算和存儲資源的數(shù)據(jù)中心的支持。提高數(shù)據(jù)中心的使用效率不僅能夠為上層應(yīng)用提供更好的支持,也能夠為服務(wù)提供商節(jié)約巨額成本,獲得更大收益。因此,如何提高數(shù)據(jù)中心的資源利用率是一個值得研究的問題。近年來,隨著虛擬化技術(shù)的發(fā)展,對數(shù)據(jù)中心的研究工作已經(jīng)步入了一個新的階段。數(shù)據(jù)中心不再只是放置服務(wù)器和其他相關(guān)組件的基礎(chǔ)設(shè)施,而是逐漸將服務(wù)器提供的邏輯資源和物理實體剝離開來,以云服務(wù)的方式向第三方提供虛擬化資源。本文分公有云和私有云兩部分對現(xiàn)有數(shù)據(jù)中心的虛擬化資源管理存在的問題進行了討論。對于公有云共享的虛擬機資源,現(xiàn)有多租戶數(shù)據(jù)中心的虛擬機部署算法對有軟件形式中間件的存在的情況并未給出對租戶的帶寬保障。本文的工作考慮了租戶對軟件中間件的需求,提出了一種基于網(wǎng)絡(luò)功能虛擬化環(huán)境的多租戶數(shù)據(jù)中心虛擬機資源部署方法MISSILE,使得租戶的需求得到保障的同時最大化數(shù)據(jù)中心的虛擬機利用率,以最大化數(shù)據(jù)中心的收益。通過仿真實驗,我們驗證了我們算法在對租戶的接收率、虛擬機資源利用率以及帶寬利用率上的有效性。對于私有云上運行的大數(shù)據(jù)處理框架的資源共享,現(xiàn)有工作大多把精力放在部署于資源管理平臺上的調(diào)度算法上。然而,上層數(shù)據(jù)處理框架申請的資源可能并不能正確描述任務(wù)執(zhí)行所需要的實際資源。一方面,用戶可能并不了解自己的應(yīng)用需要多少資源,另一方面,隨著要處理的數(shù)據(jù)量和時間的不同,應(yīng)用需要資源是動態(tài)變化的。這就導(dǎo)致了上層框架向資源管理平臺請求的資源不一定能滿足當(dāng)前需要執(zhí)行任務(wù)的需求。雖然現(xiàn)在已有一些能夠隨數(shù)據(jù)動態(tài)調(diào)整資源需求的方法,但這些方法會帶來較大的額外開銷。本文針對之前工作的這些局限性,基于大數(shù)據(jù)處理平臺Spark原有的資源管理模式提出了一種改進的"動態(tài)資源申請"方法,有效減少了向大數(shù)據(jù)處理平臺提交的作業(yè)(Job)的平均作業(yè)完成時間(Job Completion Time,JCT)。通過在一個有72個CPU內(nèi)核,185.2GB內(nèi)存的集群上的實驗,驗證了我們工作比起現(xiàn)有的其他3種資源申請方法能夠更快獲得運行用戶作業(yè)需要的資源從而更快完成用戶作業(yè)。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP308

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡化管理挑戰(zhàn)——惠普推實用數(shù)據(jù)中心解決方案[J];每周電腦報;2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國銀行華北信息中心計劃處處長云恩善談數(shù)據(jù)中心運行、管理[J];中國金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報;2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報;2004年21期

9 包東智;新熱點:創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點[J];中國計算機用戶;2005年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 姚，

本文編號：1278900