資源利用率低是現(xiàn)今云計(jì)算系統(tǒng)中普遍存在的問(wèn)題。資源利用率低不但會(huì)降低作業(yè)的執(zhí)行效率,而且會(huì)增加用戶使用集群資源的成本。如何高效地分配和使用資源是云計(jì)算系統(tǒng)中需要重點(diǎn)關(guān)注的問(wèn)題。應(yīng)用程序的多樣性和集群的異構(gòu)性是目前云計(jì)算系統(tǒng)中資源分配所面臨的主要挑戰(zhàn)。負(fù)載的多樣性和集群的異構(gòu)性使得在應(yīng)用程序運(yùn)行之前很難準(zhǔn)確預(yù)測(cè)其資源消耗。分析集群負(fù)載日志可以了解集群與任務(wù)的特性,進(jìn)而作為資源分配策略設(shè)計(jì)的依據(jù)。現(xiàn)有基于歷史信息的研究工作假定同類型任務(wù)的資源消耗與完成時(shí)間是相同,然而任務(wù)的實(shí)際資源消耗與完成時(shí)間只是相似的。為此深入分析了任務(wù)的資源消耗與完成時(shí)間的相似性特征。通過(guò)資源消耗與完成時(shí)間的概率分布能夠很好地描述任務(wù)的特性。并通過(guò)高斯擬合得出其概率分布函數(shù),用于資源分配策略的設(shè)計(jì)。根據(jù)任務(wù)的資源消耗概率分布函數(shù),提出了一種基于任務(wù)統(tǒng)計(jì)特征的資源分配策略。分析表明,該資源分配策略可以達(dá)到資源利用率在理論上的極值。實(shí)驗(yàn)結(jié)果表明,該策略在異構(gòu)集群中的多種應(yīng)用中都取得了良好的性能,可以最大限度地縮小資源分配與資源消耗之間的差距,可以使資源利用率達(dá)到85%以上,能夠縮短應(yīng)用程序25%以上的執(zhí)行時(shí)間。此外,隨著...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1兩次Terasort作業(yè)map任務(wù)的CPU與內(nèi)存的消耗量

次測(cè)試的Map任務(wù)CPU的實(shí)際消耗量，CPU的消耗量在占分配量的0.51左右。從資源消耗的情況中，可以得出實(shí)際的使用量處于較低水平，使得集群資源使用率較低。圖2.2a、2.2b為T(mén)erasort1與Terasort2的map任務(wù)的完成時(shí)間的統(tǒng)計(jì)圖。從....

圖2.2兩次terasort作業(yè)的map任務(wù)的完成時(shí)間

(a)Terasort1map任務(wù)完成時(shí)間(b)Terasort2map任務(wù)完成時(shí)間圖2.2兩次terasort作業(yè)的map任務(wù)的完成時(shí)間2.2相同節(jié)點(diǎn)上的不同類型的任務(wù)不同類型的應(yīng)用資源需求存在差異，在同一服務(wù)器節(jié)點(diǎn)上表現(xiàn)出不同資源消耗。通過(guò)對(duì)w....

圖2.4wordcount在NODE1上Map任務(wù)的完成時(shí)間

2.4wordcount在NODE1上Map任務(wù)的完成2.2中的Terasort的map任務(wù)資源消耗量與任務(wù)rdcount，wordcount的CPU消耗量多于Terasorasort。測(cè)試表明不同的應(yīng)用在相同的服務(wù)器節(jié)異。統(tǒng)一的資源分配方案并不能適用于復(fù)雜1....

圖2.6Terasort1在NODE2上的任務(wù)完成時(shí)間

圖2.6Terasort1在NODE2上的任務(wù)完成時(shí)間rt的Map任務(wù)在NODE1和NODE2上CPU資群服務(wù)器節(jié)點(diǎn)的處理能力不同，同一應(yīng)用在不在差異。Teasort的Map任務(wù)在NODE1與N。異構(gòu)服務(wù)器節(jié)點(diǎn)使用相同的資源分配方案并分布....

本文編號(hào)：3915657