【摘要】：通過實驗對FIFO、CAP和FAIR三種調度算法的特點與性能進行了對比分析,得出了它們各自優(yōu)點和存在的問題.針對公平調度算法Fair Scheduler不適用于內存密集型作業(yè)調度的缺點,提出一種基于內存平衡的公平調度算法FMScheduler,在整個調度的過程中考慮作業(yè)的內存使用和計算節(jié)點的內存情況,通過加入內存比較機制、調整作業(yè)公平權重計算方法以及引入作業(yè)預留機制,對原有Hadoop公平調度算法進行改進與優(yōu)化.最后,通過仿真實驗對FMScheduler進行測試分析,實驗結果表明,FMScheduler在高內存作業(yè)調度環(huán)境下的獨立響應時間和作業(yè)整體的平均響應時間都比Fair Scheduler有所減少;并且在多用戶多作業(yè)且包含內存密集型作業(yè)的環(huán)境中,FMScheduler與Hadoop原有的三種調度算法相比,在處理數(shù)據(jù)密集型作業(yè)和內存密集型作業(yè)的混合場景時,能夠更合理公平地調度作業(yè).
[Abstract]:The characteristics and performance of FIFO,CAP and FAIR scheduling algorithms are compared and analyzed through experiments, and their respective advantages and problems are obtained. Aiming at the disadvantage that fair scheduling algorithm Fair Scheduler is not suitable for memory-intensive job scheduling, a fair scheduling algorithm based on memory balance (FMScheduler,) is proposed to consider the memory usage of jobs and the memory situation of nodes in the whole scheduling process. By adding the memory comparison mechanism, adjusting the calculation method of job fair weight and introducing the job reservation mechanism, the original Hadoop fair scheduling algorithm is improved and optimized. Finally, the FMScheduler is tested and analyzed by simulation experiments. The experimental results show that the independent response time of FMScheduler and the average response time of the whole job in high memory job scheduling environment are lower than that of Fair Scheduler. Moreover, in the environment of multi-user and multi-job and including memory-intensive jobs, FMScheduler can schedule jobs more reasonably and fairly than the three original scheduling algorithms of Hadoop when dealing with the mixed scenarios of data-intensive jobs and memory-intensive jobs.
【作者單位】： 海南大學信息科學技術學院;
【基金】：國家自然科學基金項目(71161007)資助 海南省國際科技合作專項項目(KJHZ2014-16)資助 海南省重點科技計劃項目(ZDXM20130078)資助
【分類號】：TP333;TP301.6

【參考文獻】

相關期刊論文 前2條

1 陳全;鄧倩妮;;異構環(huán)境下自適應的Map-Reduce調度[J];計算機工程與科學;2009年S1期

2 高瞻;羅四維;;基于資源-預留圖的動態(tài)網(wǎng)格資源預留機制[J];軟件學報;2011年10期

【共引文獻】

相關期刊論文 前10條

1 開華東;田琪;;基于MapReduce集群的加權公平隊列調度算法研究[J];電腦知識與技術;2011年09期

2 李鑫;張鵬;;Hadoop集群公平調度算法的改進與實現(xiàn)[J];電腦知識與技術;2012年01期

3 王皎;劉閆鋒;;Hadoop集群參數(shù)的自動調優(yōu)[J];電腦知識與技術;2012年12期

4 鄒世軍;趙紅武;;基于Hadoop集群的加權循環(huán)算法的研究[J];工業(yè)控制計算機;2012年10期

5 郎波;張博宇;;面向大數(shù)據(jù)的非結構化數(shù)據(jù)管理平臺關鍵技術[J];信息技術與標準化;2013年10期

6 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構建[J];紡織器材;2013年06期

7 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內蒙古科技大學學報;2013年03期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

9 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學院學報;2014年01期

10 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學院學報;2014年01期

相關會議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[A];2013年全國通信軟件學術會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應用技術論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學術年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調度算法的改進[A];第十九屆全國青年通信學術年會論文集[C];2014年

相關博士學位論文 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調度技術研究[D];北京郵電大學;2013年

2 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

3 程祥;高效可靠的虛擬網(wǎng)絡映射技術研究[D];北京郵電大學;2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術研究[D];重慶大學;2013年

5 盧風順;面向CPU/GPU異構體系結構的并行計算關鍵技術研究[D];國防科學技術大學;2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關鍵技術研究[D];中國鐵道科學研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學;2013年

8 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學;2013年

9 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學習、推理及應用[D];云南大學;2013年

10 韓海雯;MapReduce計算任務調度的資源配置優(yōu)化研究[D];華南理工大學;2013年

相關碩士學位論文 前10條

1 唐磊;基于云計算的網(wǎng)絡化操作系統(tǒng)平臺任務調度的研究[D];北京郵電大學;2012年

2 周楊;Hadoop平臺下調度算法和下載機制的優(yōu)化[D];中南大學;2012年

3 顧宇;船舶監(jiān)控系統(tǒng)中海量數(shù)據(jù)處理技術研究[D];南京航空航天大學;2012年

4 張建平;云計算中基于MapReduce集群模型的調度優(yōu)化與研究[D];南京郵電大學;2013年

5 李筱;面向異構多核系統(tǒng)的并行計算模型和調度算法研究[D];湖南大學;2012年

6 李麗英;面向一種云計算平臺的任務調度技術研究[D];湖南大學;2011年

7 呂明育;Hadoop架構下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)的設計與實現(xiàn)[D];上海交通大學;2013年

8 郭銳;MapReduce故障恢復機制設計與實現(xiàn)[D];華中科技大學;2012年

9 魏炎炎;異構Hadoop平臺性能分析及其調度算法優(yōu)化研究[D];合肥工業(yè)大學;2013年

10 吳崇正;基于MapReduce的分布式搜索引擎研究[D];蘭州理工大學;2013年

【二級參考文獻】

相關期刊論文 前2條

1 胡春明;懷進鵬;沃天宇;;一種基于松弛時間的服務網(wǎng)格資源能力預留機制[J];計算機研究與發(fā)展;2007年01期

2 胡春明;懷進鵬;沃天宇;雷磊;;一種支持端到端QoS的服務網(wǎng)格體系結構[J];軟件學報;2006年06期

【相似文獻】

相關期刊論文 前10條

1 毛友發(fā),楊明福;并行存儲反應調度算法研究[J];計算機工程與應用;2004年12期

2 王保進;搶占閾值調度算法的分析與研究[J];微計算機信息;2005年08期

3 汪錦嶺,金蓓弘,李京;一種基于強可有序化標準的長事務調度算法[J];計算機研究與發(fā)展;2005年08期

4 董薇;張淑麗;張玲君;;基于剩余函數(shù)的單件車間調度算法的研究[J];東北電力大學學報;2006年02期

5 李丹;張宏國;;資源約束下多項目再調度算法[J];信息技術;2007年04期

6 劉娟;徐峰;俞承芳;李旦;;時間約束條件下改進力向調度算法[J];信息與電子工程;2009年02期

7 夏亮;祝永新;;溫度感知的調度算法研究與實現(xiàn)[J];微電子學與計算機;2009年07期

8 廖春科;羅莉;何鴻君;;基于優(yōu)先級的訪存調度算法研究[J];計算機與數(shù)字工程;2009年08期

9 彭鼎祥;;一種多端口數(shù)據(jù)調度算法[J];中國高新技術企業(yè);2010年24期

10 湯e，

本文編號：2387921