本文關(guān)鍵詞：基于加速收斂蜂群算法的資源感知調(diào)度器　出處：《計算機工程與科學(xué)》2016年08期 　論文類型：期刊論文

  更多相關(guān)文章： 云計算 Hadoop 作業(yè)調(diào)度器 人工蜂群 資源感知

【摘要】：為了能有效處理海量數(shù)據(jù),進行關(guān)聯(lián)分析、商業(yè)預(yù)測等,Hadoop分布式云計算平臺應(yīng)運而生。但隨著Hadoop的廣泛應(yīng)用,其作業(yè)調(diào)度方面的不足也顯現(xiàn)出來,現(xiàn)有的多種作業(yè)調(diào)度器存在參數(shù)設(shè)置復(fù)雜、啟動時間長等缺陷。借助于人工蜂群算法的自組織性強、收斂速度快的優(yōu)勢,設(shè)計并實現(xiàn)了能實時檢測Hadoop內(nèi)部資源使用情況的資源感知調(diào)度器。相比于原有的作業(yè)調(diào)度器,該調(diào)度器具有參數(shù)設(shè)置少、啟動速度快等優(yōu)勢�；鶞�(zhǔn)測試結(jié)果表明,該調(diào)度器在異構(gòu)集群上,調(diào)度資源密集型作業(yè)比原有調(diào)度器快10%~20%左右。
[Abstract]:In order to deal with large amounts of data effectively, business prediction and other Hadoop distributed cloud computing platform emerge as the times require, but with the wide application of Hadoop. The shortcomings of the job scheduling are also revealed. The existing multiple job schedulers have the disadvantages of complex parameter setting and long start-up time. The advantages of artificial bee colony algorithm are strong self-organization and fast convergence speed. This paper designs and implements a resource aware scheduler which can detect the internal resource usage of Hadoop in real time. Compared with the original job scheduler, the scheduler has fewer parameters. The benchmark test results show that the scheduler can schedule resource-intensive jobs about 10% or 20% faster than the original scheduler on heterogeneous clusters.
【作者單位】： 武漢理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院;湖北省咸寧市公安局;
【基金】：國家自然科學(xué)基金(61303029) 教育部留學(xué)回國啟動基金([2012]1707) 湖北省自然科學(xué)基金(2014CFB836)
【分類號】：TP18;TP338.8
【正文快照】： 1引言隨著信息技術(shù)的蓬勃發(fā)展與移動互聯(lián)的普及,各行各業(yè)每天產(chǎn)生海量的數(shù)據(jù)。為了能及時處理這些海量信息,具有高可擴展性、高容錯性,能及時處理數(shù)據(jù)密集型計算任務(wù)的分布式平臺——Ha-doop應(yīng)運而生�；诜植际降腍adoop,實現(xiàn)了MapReduce編程模型和分布式文件系統(tǒng)HDFS(Hadoop

【參考文獻】

相關(guān)期刊論文 前6條

1 徐曉飛;劉志中;王忠杰;閔尋優(yōu);劉睿霖;王海芳;;S-ABC——面向服務(wù)領(lǐng)域的人工蜂群算法范型[J];計算機學(xué)報;2015年11期

2 吉鵬飛;齊建東;朱文飛;;改進人工魚群算法在Hadoop作業(yè)調(diào)度算法的應(yīng)用[J];計算機應(yīng)用研究;2014年12期

3 梁靜;許波;葛宇;;基于改進蛙跳策略的Map-Reduce作業(yè)調(diào)度算法[J];計算機應(yīng)用研究;2013年07期

4 張海燕;吳凡;王建新;;基于蟻群算法的Hadoop資源感知調(diào)度器研究[J];計算機工程與應(yīng)用;2014年15期

5 畢曉君;王艷嬌;;加速收斂的人工蜂群算法[J];系統(tǒng)工程與電子技術(shù);2011年12期

6 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計算編程模型[J];計算機工程與科學(xué);2011年03期

相關(guān)碩士學(xué)位論文 前1條

1 夏yN;Hadoop平臺下的作業(yè)調(diào)度算法研究與改進[D];華南理工大學(xué);2010年

【共引文獻】

相關(guān)期刊論文 前10條

1 高繼平;馬崢;潘云濤;張玉華;;大數(shù)據(jù)領(lǐng)域代表性專家識別與分析——文獻計量學(xué)視角[J];科技管理研究;2016年16期

2 周晟R，

本文編號：1439118