本文選題：Hadoop云平臺(tái) + 任務(wù)調(diào)度��； 參考：《計(jì)算機(jī)應(yīng)用研究》2017年10期

【摘要】：針對(duì)異構(gòu)Hadoop云計(jì)算平臺(tái)中任務(wù)調(diào)度問題進(jìn)行了研究,并分析了現(xiàn)有推測(cè)執(zhí)行調(diào)度和LATE調(diào)度方案的缺陷,提出一種基于任務(wù)進(jìn)度感知的自適應(yīng)任務(wù)調(diào)度方案。首先,根據(jù)當(dāng)前計(jì)算節(jié)點(diǎn)上的任務(wù)進(jìn)度情況,估計(jì)任務(wù)近似完成時(shí)間(ATE),以此確定掉隊(duì)者(straggler)任務(wù);然后,以平均節(jié)點(diǎn)任務(wù)進(jìn)度的25%為閾值,將節(jié)點(diǎn)分為慢節(jié)點(diǎn)和快節(jié)點(diǎn)。當(dāng)straggler后備任務(wù)達(dá)到一定閾值時(shí),將其優(yōu)先分配到快節(jié)點(diǎn)中執(zhí)行。實(shí)驗(yàn)結(jié)果表明,提出的方案能夠?yàn)楫悩?gòu)Hadoop平臺(tái)合理分配任務(wù),有效降低了任務(wù)完成時(shí)間和響應(yīng)延遲,同時(shí)提高了平臺(tái)吞吐量。
[Abstract]:The task scheduling problem in heterogeneous Hadoop cloud computing platform is studied, and the shortcomings of existing conjecture execution scheduling and LATE scheduling schemes are analyzed, and an adaptive task scheduling scheme based on task schedule awareness is proposed. First, according to the current calculation of the task progress on the node, the task is estimated to be approximately completed time and ATEI, so as to determine the straggler task, and then the node is divided into slow node and fast node with a threshold of 25% of the average progress of the node task. When the straggler backup task reaches a certain threshold, it is preferentially assigned to execute in the fast node. The experimental results show that the proposed scheme can allocate tasks reasonably for heterogeneous Hadoop platforms, reduce the task completion time and response delay, and improve the throughput of the platform.
【作者單位】： 重慶郵電大學(xué)移通學(xué)院計(jì)算機(jī)科學(xué)系;重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1502003) 重慶市本科高�！叭匦袆�(dòng)計(jì)劃”特殊專業(yè)建設(shè)項(xiàng)目(渝教高(2013)49號(hào))
【分類號(hào)】：TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前3條

1 謝天宇;曹奇英;;基于Hadoop集群的分布式入侵檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2012年09期

2 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

3 王志力;;云計(jì)算下Hadoop平臺(tái)的搭建與實(shí)踐[J];中國科技信息;2014年09期

相關(guān)碩士學(xué)位論文 前8條

1 淦作知;基于Hadoop的大規(guī)模中文網(wǎng)站聚類的設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2016年

2 任福帥;基于Hadoop區(qū)域智慧教育云平臺(tái)研究與應(yīng)用[D];吉林大學(xué);2016年

3 張興平;基于Hadoop的微博用戶情感分類研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

4 鄭天紅;基于Hadoop的網(wǎng)絡(luò)流量分流并行化設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2012年

5 孫佳;基于Hadoop的郵件敏感詞檢測(cè)與告警技術(shù)研究[D];東華大學(xué);2015年

6 關(guān)文斌;基于Hadoop的微博用戶及微博影響力排名研究[D];暨南大學(xué);2015年

7 黃興;基于微博信息分析對(duì)旅游景點(diǎn)熱度預(yù)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];杭州電子科技大學(xué);2014年

8 呂峰;基于Hadoop海量數(shù)據(jù)微博系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2013年

，

本文編號(hào)：1866110