基于Map-Reduce模型的云資源調(diào)度方法研究
本文關(guān)鍵詞: 云計(jì)算 Map-Reduce 資源調(diào)度 粒子群算法 信息熵 混沌擾動(dòng) 出處:《計(jì)算機(jī)科學(xué)》2015年08期 論文類型:期刊論文
【摘要】:為提高M(jìn)ap-Reduce模型資源調(diào)度問(wèn)題的求解效能,分別考慮Map和Reduce階段的調(diào)度過(guò)程,建立帶服務(wù)質(zhì)量(QoS)約束的多目標(biāo)資源調(diào)度模型,并提出用于模型求解的混沌多目標(biāo)粒子群算法。算法采用信息熵理論來(lái)維護(hù)非支配解集,以保持解的多樣性和分布均勻性;在利用Sigma方法實(shí)現(xiàn)快速收斂的基礎(chǔ)上,引入混沌擾動(dòng)機(jī)制,以提高種群多樣性和算法全局尋優(yōu)能力,避免算法陷入局部最優(yōu)。實(shí)驗(yàn)表明,算法求解所需的迭代次數(shù)少,得到的非支配解分布均勻。Map-Reduce資源調(diào)度問(wèn)題的求解過(guò)程中,在收斂性和解集的多樣性方面,所提算法均明顯優(yōu)于傳統(tǒng)多目標(biāo)粒子群算法。
[Abstract]:In order to improve the efficiency of resource scheduling problem in Map-Reduce model, considering the scheduling process in Map and Reduce stages, a multi-objective resource scheduling model with QoS constraints is established. A chaotic multi-objective particle swarm optimization algorithm is proposed to solve the model. The information entropy theory is used to maintain the non-dominated solution set in order to maintain the diversity and distribution uniformity of the solution. Chaotic perturbation mechanism is introduced to improve population diversity and global optimization ability of the algorithm, and to avoid the algorithm falling into local optimum. The experimental results show that the algorithm requires less iterations to solve the problem. The proposed algorithm is superior to the traditional multi-objective particle swarm optimization algorithm in terms of convergence and diversity of solution sets in the process of solving the undominated solution uniformly distributed .Map-Reduce resource scheduling problem.
【作者單位】: 解放軍信息工程大學(xué)三院;
【基金】:國(guó)家自然科學(xué)基金項(xiàng)目(61303074,61309013) 國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(“973”計(jì)劃)基金項(xiàng)目(2012CB315900)資助
【分類號(hào)】:TP18;TP393.01
【參考文獻(xiàn)】
相關(guān)期刊論文 前8條
1 孫大為;常桂然;李鳳云;王川;王興偉;;一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J];電子學(xué)報(bào);2011年08期
2 孫黎陽(yáng);林劍檸;毛少杰;劉中;;基于改進(jìn)粒子群優(yōu)化算法的網(wǎng)絡(luò)化仿真任務(wù)共同體服務(wù)選擇[J];兵工學(xué)報(bào);2012年11期
3 李建鋒;彭艦;;云計(jì)算環(huán)境下基于改進(jìn)遺傳算法的任務(wù)調(diào)度算法[J];計(jì)算機(jī)應(yīng)用;2011年01期
4 張春艷;劉清林;孟珂;;基于蟻群優(yōu)化算法的云計(jì)算任務(wù)分配[J];計(jì)算機(jī)應(yīng)用;2012年05期
5 梁靜;許波;葛宇;;基于改進(jìn)蛙跳策略的Map-Reduce作業(yè)調(diào)度算法[J];計(jì)算機(jī)應(yīng)用研究;2013年07期
6 裴勝玉;周永權(quán);;一種基于混沌變異的多目標(biāo)粒子群優(yōu)化算法[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2010年07期
7 羅軍舟;金嘉暉;宋愛(ài)波;東方;;云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報(bào);2011年07期
8 ;Cloud Computing(4)[J];ZTE Communications;2010年04期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 孫傳明;路紅;廖龍龍;;基于云操作系統(tǒng)的網(wǎng)絡(luò)互動(dòng)學(xué)習(xí)平臺(tái)開(kāi)發(fā)研究[J];中國(guó)遠(yuǎn)程教育;2012年06期
2 王杰;;基于云計(jì)算的實(shí)驗(yàn)機(jī)房解決方案[J];電腦知識(shí)與技術(shù);2011年31期
3 許知博;劉釗;;基于云計(jì)算的工廠信息監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J];電子科技;2012年05期
4 趙英;李棟;;改進(jìn)的Min-Min網(wǎng)格任務(wù)調(diào)度算法[J];電子設(shè)計(jì)工程;2012年12期
5 楊金花;;云計(jì)算關(guān)鍵技術(shù)的探討[J];電子設(shè)計(jì)工程;2012年15期
6 劉愉;趙志文;李小蘭;孔令榮;于淑環(huán);于妍芳;;云計(jì)算環(huán)境中優(yōu)化遺傳算法的資源調(diào)度策略[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年04期
7 林強(qiáng);羅歡;;跨數(shù)據(jù)中心一體化協(xié)同分布式云管理平臺(tái)建設(shè)[J];廣東電力;2012年08期
8 過(guò)志宏;劉文杰;劉大勇;王文明;;基于管控一體化的企業(yè)私有云平臺(tái)建設(shè)研究[J];電力信息化;2012年07期
9 陳金華;李忠;;基于云計(jì)算的農(nóng)村社區(qū)教育信息化架構(gòu)設(shè)計(jì)研究[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期
10 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤(pán)節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期
相關(guān)會(huì)議論文 前10條
1 ;Typical Cloud Computing System Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年
2 關(guān)亞?wèn)|;;財(cái)經(jīng)傳媒數(shù)據(jù)中心的發(fā)展趨勢(shì)[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2013年學(xué)術(shù)年會(huì)、五屆五次理事會(huì)暨第六屆“王選新聞科學(xué)技術(shù)獎(jiǎng)”和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集(廣電篇)[C];2013年
3 LI Yongxiang;YAO Xifan;ZHANG Jie;LI Bin;;Cloud Manufacturing Service Composition Modeling and Formal Verification Based on Calculus for Orchestration of Web Service[A];第25屆中國(guó)控制與決策會(huì)議論文集[C];2013年
4 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年
5 孫英華;郭振波;吳哲輝;杜樂(lè)樂(lè);;基于混合云市場(chǎng)的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年
6 劉海光;潘毅;李立新;;基于云計(jì)算的智能電網(wǎng)經(jīng)濟(jì)調(diào)度研究[A];2013年中國(guó)電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2013年
7 趙天然;劉陳榮;;基于云計(jì)算技術(shù)的企業(yè)門(mén)戶[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年
8 潘送軍;周沿東;;淺談開(kāi)發(fā)測(cè)試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年
9 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];2013年中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)年會(huì)論文集[C];2013年
10 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國(guó)科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年
相關(guān)博士學(xué)位論文 前10條
1 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)與高效管理技術(shù)研究[D];浙江大學(xué);2011年
2 陳洪富;HAZ-China地震災(zāi)害損失評(píng)估系統(tǒng)設(shè)計(jì)及初步實(shí)現(xiàn)[D];中國(guó)地震局工程力學(xué)研究所;2012年
3 陳亞睿;云計(jì)算環(huán)境下用戶行為認(rèn)證與安全控制研究[D];北京科技大學(xué);2012年
4 孫偉;林業(yè)資源信息云計(jì)算服務(wù)體系研究[D];中國(guó)林業(yè)科學(xué)研究院;2012年
5 蒲汛;群集智能及其在分布式系統(tǒng)中的應(yīng)用研究[D];電子科技大學(xué);2012年
6 史恒亮;云計(jì)算任務(wù)調(diào)度研究[D];南京理工大學(xué);2012年
7 潘穎;離散制造業(yè)MES系統(tǒng)建模與調(diào)度研究[D];大連理工大學(xué);2012年
8 馬飛;云數(shù)據(jù)中心中虛擬機(jī)放置和實(shí)時(shí)遷移研究[D];北京交通大學(xué);2013年
9 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年
10 黃沈權(quán);制造云服務(wù)按需供應(yīng)模式、關(guān)鍵技術(shù)及應(yīng)用研究[D];浙江大學(xué);2013年
相關(guān)碩士學(xué)位論文 前10條
1 任萱萱;基于Hadoop平臺(tái)的作業(yè)調(diào)度研究[D];天津師范大學(xué);2011年
2 鐘海;面向云計(jì)算環(huán)境的應(yīng)用遷移策略及資源管理技術(shù)研究[D];云南大學(xué);2011年
3 葛新;基于云計(jì)算集群擴(kuò)展中的調(diào)度問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年
4 賈雄;數(shù)值天氣預(yù)報(bào)云計(jì)算環(huán)境關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年
5 郭怡;基于云計(jì)算平臺(tái)的電信業(yè)務(wù)支撐系統(tǒng)中資源提供策略的研究[D];南京郵電大學(xué);2012年
6 陳寧;基于云計(jì)算平臺(tái)的電信業(yè)務(wù)支撐系統(tǒng)中調(diào)度算法的研究[D];南京郵電大學(xué);2012年
7 楊培;虛擬桌面管理的研究及應(yīng)用[D];南京理工大學(xué);2012年
8 劉飛;基于云計(jì)算的分布式存儲(chǔ)系統(tǒng)的研究和應(yīng)用[D];西安工業(yè)大學(xué);2012年
9 唐磊;基于云計(jì)算的網(wǎng)絡(luò)化操作系統(tǒng)平臺(tái)任務(wù)調(diào)度的研究[D];北京郵電大學(xué);2012年
10 孟洋;基于云計(jì)算的人口信息系統(tǒng)數(shù)據(jù)資源架構(gòu)及調(diào)度體系研究與設(shè)計(jì)[D];北京郵電大學(xué);2012年
【二級(jí)參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 呂振肅,侯志榮;自適應(yīng)變異的粒子群優(yōu)化算法[J];電子學(xué)報(bào);2004年03期
2 張長(zhǎng)勝;孫吉貴;歐陽(yáng)丹彤;;一種自適應(yīng)離散粒子群算法及其應(yīng)用研究[J];電子學(xué)報(bào);2009年02期
3 王文彬;孫其博;趙新超;楊放春;;基于非均衡變異離散粒子群算法的QoS全局最優(yōu)Web服務(wù)選擇方法[J];電子學(xué)報(bào);2010年12期
4 華夏渝;鄭駿;胡文心;;基于云計(jì)算環(huán)境的蟻群優(yōu)化計(jì)算資源分配算法[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期
5 段海濱,王道波,于秀芬,朱家強(qiáng);基于云模型理論的蟻群算法改進(jìn)研究[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2005年01期
6 蔣海鷗;王希斌;;云計(jì)算中存儲(chǔ)資源管理策略的探究[J];程序員;2010年05期
7 李秋云;朱慶保;馬衛(wèi);;用于連續(xù)域?qū)?yōu)的分組蟻群算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年30期
8 鄭向偉;劉弘;;多目標(biāo)進(jìn)化算法研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2007年07期
9 鄭湃;崔立真;王海洋;徐猛;;云計(jì)算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J];計(jì)算機(jī)學(xué)報(bào);2010年08期
10 龍文;梁昔明;董淑華;閻綱;;動(dòng)態(tài)調(diào)整慣性權(quán)重的粒子群優(yōu)化算法[J];計(jì)算機(jī)應(yīng)用;2009年08期
相關(guān)碩士學(xué)位論文 前1條
1 趙春燕;云環(huán)境下作業(yè)調(diào)度算法研究與實(shí)現(xiàn)[D];北京交通大學(xué);2009年
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 林永毅,張智江,廖黛麗,倪凌;電信傳輸資源及調(diào)度一體化管理的研究與實(shí)現(xiàn)[J];電信科學(xué);2002年10期
2 吉軍;蔚承建;陳勝峰;陳旭;;分散式多工廠資源調(diào)度中的一種理性策略[J];計(jì)算機(jī)應(yīng)用;2010年11期
3 董紅蕓;高志棟;王登科;;基于蟻群算法的云計(jì)算資源調(diào)度研究[J];中國(guó)西部科技;2013年04期
4 儲(chǔ)雅;馬廷淮;趙立成;;云計(jì)算資源調(diào)度:策略與算法[J];計(jì)算機(jī)科學(xué);2013年11期
5 劉亞軍,王行愚;虛擬企業(yè)資源調(diào)度的灰色機(jī)會(huì)約束規(guī)劃[J];計(jì)算機(jī)工程與應(yīng)用;2002年15期
6 蔣偉進(jìn);王璞;;基于MAS市場(chǎng)機(jī)制的動(dòng)態(tài)計(jì)算資源調(diào)度模型研究[J];計(jì)算機(jī)研究與發(fā)展;2007年01期
7 趙惠良;劉建平;劉向東;;城市交通非常規(guī)突發(fā)事件的應(yīng)急資源調(diào)度最優(yōu)路徑研究[J];北京理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2010年06期
8 譚志;張振江;劉云;;基于資源調(diào)度的遠(yuǎn)程在線實(shí)驗(yàn)室設(shè)計(jì)[J];電氣電子教學(xué)學(xué)報(bào);2011年01期
9 陸建偉;;云計(jì)算網(wǎng)絡(luò)資源調(diào)度難點(diǎn)分析及解決方案[J];科技信息;2011年15期
10 傅長(zhǎng)冬,王勇;語(yǔ)音資源調(diào)度系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;1997年09期
相關(guān)會(huì)議論文 前3條
1 曹東旭;劉明陽(yáng);;基于馬爾科夫決策鏈的作戰(zhàn)資源調(diào)度[A];2014第二屆中國(guó)指揮控制大會(huì)論文集(上)[C];2014年
2 王兵;賈利民;龍慧;郭杜杜;馬玉春;;新疆公路網(wǎng)交通事故應(yīng)急救援資源調(diào)度系統(tǒng)設(shè)計(jì)及應(yīng)用[A];第七屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年
3 叢慧芳;王文生;謝能付;;農(nóng)業(yè)信息網(wǎng)格環(huán)境中數(shù)據(jù)傳輸資源調(diào)度方法研究[A];中國(guó)農(nóng)業(yè)信息科技創(chuàng)新與學(xué)科發(fā)展大會(huì)論文匯編[C];2007年
相關(guān)重要報(bào)紙文章 前1條
1 本報(bào)記者 吳挺;云計(jì)算的管理需求顯現(xiàn)[N];計(jì)算機(jī)世界;2009年
相關(guān)博士學(xué)位論文 前8條
1 王力;鐵路集裝箱中心站關(guān)鍵資源調(diào)度優(yōu)化理論與方法[D];北京交通大學(xué);2014年
2 馬滿福;基于計(jì)算經(jīng)濟(jì)的網(wǎng)格資源管理研究[D];西北工業(yè)大學(xué);2007年
3 冉泳屹;云環(huán)境下基于隨機(jī)優(yōu)化的動(dòng)態(tài)資源調(diào)度研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年
4 徐昕;基于博弈論的云計(jì)算資源調(diào)度方法研究[D];華東理工大學(xué);2015年
5 徐勁松;SLA約束下的云資源調(diào)度關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2013年
6 張靜樂(lè);網(wǎng)絡(luò)環(huán)境下協(xié)同服務(wù)關(guān)鍵技術(shù)研究[D];北京科技大學(xué);2011年
7 田國(guó)忠;多DAG共享資源調(diào)度的若干問(wèn)題研究[D];北京工業(yè)大學(xué);2013年
8 王海威;智能電視操作系統(tǒng)服務(wù)性能與資源調(diào)度關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 何明倫;基于數(shù)字有機(jī)體的資源調(diào)度系統(tǒng)[D];電子科技大學(xué);2007年
2 王U,
本文編號(hào):1513632
本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/1513632.html