發(fā)布時間：2017-10-08 20:47

  本文關(guān)鍵詞：異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略

  更多相關(guān)文章： Spark平臺 異構(gòu)集群 自適應(yīng) 任務(wù)調(diào)度 監(jiān)測 權(quán)值

【摘要】：Spark是一種基于內(nèi)存的類Hadoop MapReduce高效大數(shù)據(jù)處理平臺,但其默認(rèn)的任務(wù)調(diào)度策略在異構(gòu)Spark集群下未考慮到節(jié)點的能力差異,降低了系統(tǒng)性能。為此,提出一種基于異構(gòu)Spark集群的自適應(yīng)任務(wù)調(diào)度策略。該策略通過監(jiān)測節(jié)點的負(fù)載及資源利用率,分析監(jiān)測得到的參數(shù),自適應(yīng)動態(tài)調(diào)整節(jié)點任務(wù)分配權(quán)值。實驗結(jié)果表明,在異構(gòu)節(jié)點情況下,該策略在作業(yè)完成時間、節(jié)點工作狀態(tài)及資源利用率方面的性能均優(yōu)于默認(rèn)的任務(wù)調(diào)度策略。
【作者單位】： 中國科學(xué)技術(shù)大學(xué)自動化系;
【關(guān)鍵詞】： Spark平臺 異構(gòu)集群 自適應(yīng) 任務(wù)調(diào)度 監(jiān)測 權(quán)值
【基金】：國家自然科學(xué)基金資助項目(61174062)
【分類號】：TP311.13
【正文快照】： 斷更新?lián)Q代,Spark集群很容易產(chǎn)生異構(gòu)性。由于異1概述構(gòu)集群下各節(jié)點計算能力不一致,因此同一任務(wù)分近年來,大數(shù)據(jù)的普及使得大數(shù)據(jù)計算平臺配在不同節(jié)點上將會對節(jié)點負(fù)載造成不同的影響。Spark[1]備受關(guān)注。Spark是提出的繼Hadoop[2]后的默認(rèn)的Spark任務(wù)調(diào)度方式?jīng)]有考慮集群

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉心松,陳勇,劉艷紅;一種啟發(fā)式任務(wù)調(diào)度策略[J];電子學(xué)報;1992年02期

2 晏燕;引入任務(wù)滿意度探討任務(wù)調(diào)度策略[J];福建電腦;2004年12期

3 吳小惠;;分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的任務(wù)調(diào)度策略改進[J];上饒師范學(xué)院學(xué)報;2010年03期

4 蘇蕊,徐煒民,錢曉競;基于雙向匹配模型的任務(wù)調(diào)度策略的研究[J];計算機工程與設(shè)計;2005年08期

5 王朋;;云計算環(huán)境下任務(wù)調(diào)度策略研究[J];計算機與現(xiàn)代化;2013年07期

6 吳榮華;邵時;楊早;;基于中斷的實時任務(wù)調(diào)度策略[J];計算機應(yīng)用與軟件;2007年01期

7 王永貴;張偉;韓瑞蓮;;云環(huán)境下綠色任務(wù)調(diào)度策略[J];計算機工程與應(yīng)用;2012年34期

8 徐露露;陳俊;馮鐘葵;李安;;一種衛(wèi)星地面系統(tǒng)中實現(xiàn)任務(wù)調(diào)度策略可配置的方法[J];遙感信息;2012年06期

9 高強;;一種結(jié)合優(yōu)先級和QoS的任務(wù)調(diào)度策略[J];現(xiàn)代計算機(專業(yè)版);2013年01期

10 謝長生,馬進德,黃浩;基于μC__OS-II的任務(wù)調(diào)度策略研究[J];計算機工程與科學(xué);2004年08期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 薛景文;基于免疫算法的云計算任務(wù)調(diào)度策略研究[D];太原理工大學(xué);2013年

2 吳鈞超;基于云用戶應(yīng)用評估的云平臺任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

3 楊煥;云計算環(huán)境下任務(wù)調(diào)度策略的研究[D];河南大學(xué);2013年

4 王芳;云計算環(huán)境下任務(wù)調(diào)度策略的研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2015年

5 唐小龍;基于PVM的任務(wù)調(diào)度策略的研究與實現(xiàn)[D];中南大學(xué);2002年

6 吳世山;面向節(jié)能的云計算任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

7 張?zhí)?云計算環(huán)境下節(jié)能任務(wù)調(diào)度策略研究[D];新疆大學(xué);2013年

8 黎煌達(dá);信息物理融合系統(tǒng)優(yōu)化調(diào)度算法的研究[D];廣東工業(yè)大學(xué);2015年

9 孫世明;Linux集群系統(tǒng)任務(wù)調(diào)度策略的研究與設(shè)計[D];河海大學(xué);2006年

10 李春豹;企業(yè)IT閑散資源整合系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號：996198