發(fā)布時間：2019-01-17 20:30

【摘要】：越來越多的MapReduce計算由運行在云中虛擬機組成的虛擬集群完成,為增強虛擬MapReduce集群計算中任務的數(shù)據(jù)本地性,充分利用云計算的資源可動態(tài)配置的優(yōu)勢,提出了一種基于隊列的動態(tài)資源調(diào)度算法,并模擬了云計算平臺進行測試,實驗結果表明動態(tài)資源調(diào)度算法提高了虛擬MapReduce集群的計算性能.
[Abstract]:More and more MapReduce computing is accomplished by a virtual cluster of virtual machines running in the cloud. In order to enhance the data locality of tasks in virtual MapReduce cluster computing, the resources of cloud computing can be dynamically configured. A dynamic resource scheduling algorithm based on queue is proposed and tested on cloud computing platform. The experimental results show that the dynamic resource scheduling algorithm improves the computing performance of virtual MapReduce cluster.
【作者單位】： 空軍工程大學信息與導航學院;
【基金】：陜西省自然科學基金項目(2011JM8035)
【分類號】：TP393.01

【參考文獻】

相關期刊論文 前1條

1 李明;胥光輝;戢瑤;;MapReduce編程模型在網(wǎng)絡I/O密集型程序中的應用研究[J];計算機應用研究;2011年09期

【共引文獻】

相關期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結構化數(shù)據(jù)管理平臺關鍵技術[J];信息技術與標準化;2013年10期

2 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學學報;2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學院學報;2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學院學報;2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應用[J];桂林電子科技大學學報;2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學學報;2014年04期

9 孟令璽;李洪亮;;基于CA-PSO算法的云計算資源調(diào)度策略[J];計算機仿真;2013年10期

10 夏秀峰;趙小磊;孔慶云;;MBE與大數(shù)據(jù)給PDM帶來的思考[J];制造業(yè)自動化;2013年20期

相關會議論文 前1條

1 華中杰;徐錫山;楊樹強;田勝利;;MapReduce本地優(yōu)先作業(yè)調(diào)度策略研究與實現(xiàn)[A];第九屆中國通信學會學術年會論文集[C];2012年

相關博士學位論文 前10條

1 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術研究[D];北京郵電大學;2013年

2 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

3 程祥;高效可靠的虛擬網(wǎng)絡映射技術研究[D];北京郵電大學;2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術研究[D];重慶大學;2013年

5 盧風順;面向CPU/GPU異構體系結構的并行計算關鍵技術研究[D];國防科學技術大學;2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關鍵技術研究[D];中國鐵道科學研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學;2013年

8 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學;2013年

9 馬馮;數(shù)據(jù)密集型計算環(huán)境下貝葉斯網(wǎng)的學習、推理及應用[D];云南大學;2013年

10 韓海雯;MapReduce計算任務調(diào)度的資源配置優(yōu)化研究[D];華南理工大學;2013年

相關碩士學位論文 前10條

1 王娜;云計算在素性檢測中的應用[D];成都理工大學;2012年

2 陳貞;HDFS環(huán)境下的訪問控制技術研究[D];重慶大學;2013年

3 張丹;HDFS中文件存儲優(yōu)化的相關技術研究[D];南京師范大學;2013年

4 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應用[D];南京信息工程大學;2013年

5 趙洪昌;云計算下的關聯(lián)分析和模糊聚類研究[D];南京信息工程大學;2013年

6 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學;2013年

7 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關鍵技術研究[D];河南大學;2013年

8 但光祥;云計算環(huán)境下混合加密算法研究與實現(xiàn)[D];重慶大學;2013年

9 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學;2013年

10 程偉;海量信令并行即時分析系統(tǒng)的研究與設計[D];中國海洋大學;2013年

【二級參考文獻】

相關期刊論文 前4條

1 欒亞建;黃爛，

本文編號：2410359