【摘要】：為了克服Hadoop中基于槽的資源模型對集群資源的浪費,提高Hadoop集群的資源利用率,提出了一種基于動態(tài)資源采集的Hadoop作業(yè)調(diào)度算法.通過在作業(yè)運行過程中動態(tài)采集部分任務(wù)的CPU,內(nèi)存和IO的資源利用率來評估同一作業(yè)中其他任務(wù)的資源需求,然后根據(jù)任務(wù)的實際資源需求以及TaskTracker節(jié)點的負(fù)載情況進行任務(wù)調(diào)度,以充分利用各TaskTracker節(jié)點的計算資源.通過對比實驗表明該調(diào)度算法能明顯提高集群的資源利用率,縮短作業(yè)的完成時間.

【相似文獻】

相關(guān)期刊論文 前10條

1 陶永才;薛正元;石磊;;基于MapReduce的貝葉斯垃圾郵件過濾機制[J];計算機應(yīng)用;2011年09期

2 代棟;周學(xué)海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機群自動配置工具[J];中國科學(xué)院研究生院學(xué)報;2011年06期

3 梁正友;孫宇;;基于ProActive的容錯調(diào)度器設(shè)計與實現(xiàn)[J];計算機應(yīng)用;2008年02期

4 黃志蘭;丁圣勇;楊國良;羅頌鋒;;基于MapReduce的PCA異常流量檢測系統(tǒng)實現(xiàn)[J];電信科學(xué);2010年06期

5 徐娟娟;朱成亮;;NOSQL在WEB日志分析中的應(yīng)用[J];中國新技術(shù)新產(chǎn)品;2011年10期

6 辛潔;崔志明;趙朋朋;張廣銘;鮮學(xué)豐;;基于MapReduce虛擬機的Deep Web數(shù)據(jù)源發(fā)現(xiàn)方法[J];通信學(xué)報;2011年07期

7 石海潛;陳犖;劉義;;一種網(wǎng)絡(luò)空間數(shù)據(jù)集成訪問方法[J];兵工自動化;2011年10期

8 王雪蓮;鄭曉薇;劉青昆;;LVS集群負(fù)載調(diào)度機制的研究[J];中國科技信息;2011年05期

9 金嘉暉;羅軍舟;宋愛波;東方;;基于數(shù)據(jù)中心負(fù)載分析的自適應(yīng)延遲調(diào)度算法[J];通信學(xué)報;2011年07期

10 丁敏敏;賈永庫;;基于插件機制的網(wǎng)格作業(yè)調(diào)度研究[J];計算機工程;2010年21期

相關(guān)會議論文 前3條

1 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

2 王琴;曾文華;史文，

本文編號：2582912