發(fā)布時間：2020-08-03 09:50

【摘要】：在現(xiàn)代數(shù)據(jù)中心中,異構(gòu)機器的數(shù)量成千上萬,且它們之間的硬件資源細粒度異構(gòu)性表現(xiàn)明顯,如不同的處理器體系架構(gòu)、CPU主頻、CPU緩存大小、內(nèi)存型號、內(nèi)存容量以及硬盤的I/O讀寫速度等等。然而,當前數(shù)據(jù)中心對資源的度量是粗粒度的,如CPU個數(shù)和內(nèi)存大小的組合。這種粗粒度的資源度量方式忽略了不同機器之間硬件的細粒度異構(gòu)性,沒有考量異構(gòu)機器的實際計算能力。因此,它不能使資源分配和任務(wù)調(diào)度達到性能最優(yōu),減慢了任務(wù)處理的時間。針對上述問題,本文提出 SMHC(a synthetic metric for heterogeous cloud resources)—一個合成的云資源度量方式,它的主要作用有:1.SMHC考慮了五種細粒度硬件資源(CPU型號、CPU主頻大小、CPU三級緩存大小以及內(nèi)存頻率、硬盤I/O讀寫速度),它們通過加權(quán)的方式組合起來,比較準確地反映出一臺服務(wù)器的計算能力。2.SMHC通過線性組合的數(shù)學(xué)模型,綜合評估了粗粒度和細粒度的異構(gòu)硬件資源對大數(shù)據(jù)處理任務(wù)的加速效果。3.集群資源管理系統(tǒng)可以基于SMHC,設(shè)計出根據(jù)異構(gòu)機器實際計算能力比較的任務(wù)調(diào)度策略,有效利用異構(gòu)機器的計算能力,加速任務(wù)運行。為了驗證SMHC的有效性,針對Spark大數(shù)據(jù)處理任務(wù),本文提出一種通過異構(gòu)機器之間SMHC加速因子比較的任務(wù)調(diào)度策略,并在流行的分布式資源管理系統(tǒng)Mesos上得以實現(xiàn)。在異構(gòu)的集群環(huán)境中,基于SMHC的加速因子大小比較,調(diào)度器能夠?qū)⒋髷?shù)據(jù)處理任務(wù)優(yōu)先地調(diào)度到計算性能較好的機器上運行。實驗結(jié)果表明,與Mesos原有基于粗粒度資源度量單位的調(diào)度策略相比,基于SMHC的任務(wù)調(diào)度策略能更能有效利用異構(gòu)機器的計算能力,平均降低Spark任務(wù)運行時間約16.7%。
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進技術(shù)研究院)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP308
【圖文】：

圖２．１調(diào)度模塊總體結(jié)構(gòu)圖逡逑Ｆｉｇｕｒｅ邋２．１邋Ａ邋ｇｅｎｅｒａｌ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ｓｃｈｅｄｕｌｉｎｇ逡逑如圖２．１所示，集群資源管理系統(tǒng)中一個任務(wù)的調(diào)度過程如下？？用戶通過任逡逑務(wù)提交入口提交所需要運行的計算任務(wù)，并通過粗粒度的硬件度T岱絞轎渲稿義隙ㄋ璧募撲闋試�，例燃偯ＰＵ郝桚、脑煁z笮『陀才倘萘�。虓䦃哪葥腭被送到辶x希瑰義

本文編號：2779457