發(fā)布時間：2017-07-31 21:10

  本文關鍵詞：一種兼顧負載均衡的Hadoop集群動態(tài)節(jié)能方法

  更多相關文章： 分布式計算 Hadoop 調度算法 動態(tài)負載均衡 節(jié)能調度

【摘要】：Hadoop集群廣泛應用于企業(yè)和研究機構的大數(shù)據(jù)處理和并行計算中。該文針對Hadoop集群節(jié)點管理中缺少動態(tài)負載均衡和節(jié)能相互結合的調度技術的現(xiàn)狀,提出一種動態(tài)負反饋調整算法,并設計和實現(xiàn)了一個用于Hadoop平臺節(jié)點動態(tài)管理的系統(tǒng)。通過大量Hadoop經(jīng)典測試用例測試,結果表明:該算法能夠有效提高負載均衡并通過減少節(jié)點的空閑時間以有效地節(jié)能,與未使用本算法的結果相比,節(jié)點平均空閑休眠時間增加25%,節(jié)能14%。同時通過與其他算法相比,節(jié)點間均衡度有一定程度提升,平均負載方差減少10%。
【作者單位】： 電子科技大學信息與軟件工程學院;中國科學院重慶綠色智能技術研究院;
【關鍵詞】： 分布式計算 Hadoop 調度算法 動態(tài)負載均衡 節(jié)能調度
【基金】：國家自然科學基金資助項目(61672136,61650110513) 四川省科技廳項目(2016GZ0322) 中科院西部之光項目(R51A150Z10) 重慶市基礎研究與前沿技術研究計劃項目(cstc2015jcyjB0244)
【分類號】：TP311.13
【正文快照】： (1.School of Information and Software Engineering,University of Electronic Science and Technology of China,Chengdu 610054,China;2.Chongqing Institute of Green and Intelligent Technology,Chinese Academy of Sciences,Chongqing 400714,China)隨著互聯(lián)網(wǎng)的高速

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調度算法[J];軟件學報;2001年08期

2 易云山,桂志波;分組網(wǎng)絡中包調度算法研究[J];江蘇通信技術;2004年03期

3 劉越洋,席裕庚;基于兩步滾動的單機調度算法研究[J];計算機工程;2004年24期

4 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡中實時補償型差額循環(huán)調度算法的設計和實現(xiàn)[J];電子與信息學報;2006年10期

5 劉東;張春元;;軟件容錯模型中反向與正向調度算法研究[J];計算機工程與科學;2007年09期

6 何琨;趙勇;黃文奇;;基于任務復制的分簇與調度算法[J];計算機學報;2008年05期

7 趙晶英;黃劍鋒;;基于反饋平衡的多生產(chǎn)線調度算法與仿真[J];計算機仿真;2012年02期

8 錢進;多進程組合調度算法[J];華中工學院學報;1983年06期

9 韓立毛;;調度算法性能的研究[J];鹽城工學院學報;1998年01期

10 任泰明;如何用數(shù)學模型定量評價進程調度算法的性能[J];蘭州石化職業(yè)技術學院學報;2001年01期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 彭洪;涂凍生;;面向操作的調度算法[A];1994中國控制與決策學術年會論文集[C];1994年

2 李琪林;甄威;周明天;;一種適用于Master-Worker應用的動態(tài)統(tǒng)一調度算法的研究[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

3 羅杰;陳躍躍;孫海燕;陽柳;淡孝強;辛乃軍;王霽;;基于表調度的Matrix指令調度算法的實現(xiàn)[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（B輯）[C];2011年

4 周雙娥;袁由光;熊兵周;;分布系統(tǒng)的動態(tài)容錯調度算法[A];第十屆全國容錯計算學術會議論文集[C];2003年

5 謝昊飛;蔡輝妍;王平;;μC/OS-Ⅱ調度算法在EPA應用中的改進與實現(xiàn)[A];2010中國儀器儀表學術、產(chǎn)業(yè)大會（論文集2）[C];2010年

6 陳海堅;張擁軍;;一種準靜態(tài)容錯DVS節(jié)能調度算法[A];中國通信學會第五屆學術年會論文集[C];2008年

7 王璐璐;張素偉;任頡;;網(wǎng)格調度算法[A];《制造業(yè)自動化與網(wǎng)絡化制造》學術交流會論文集[C];2004年

中國博士學位論文全文數(shù)據(jù)庫 前5條

1 馬丹;任務間相互依賴的并行作業(yè)調度算法研究[D];華中科技大學;2007年

2 吳剛;對低功耗進程調度算法的研究[D];復旦大學;2006年

3 羅威;分布式實時容錯調度算法研究[D];華中科技大學;2008年

4 蘭舟;分布式系統(tǒng)中的調度算法研究[D];電子科技大學;2009年

5 李健;云計算環(huán)境下最小化運營開銷的調度技術研究[D];北京郵電大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王德龍;Hadoop平臺下作業(yè)調度算法的研究與改進[D];南京信息工程大學;2015年

2 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調度算法的研究[D];河北工程大學;2015年

3 王彤;Xen虛擬機調度算法的實時性能研究[D];東北大學;2014年

4 曹本釗;基于位填充機制的CAN總線響應時間分析及調度算法研究[D];東北大學;2014年

5 戚展展;基于MLFQ的Hadoop作業(yè)調度算法研究與優(yōu)化[D];東北大學;2014年

6 王瑤;基于Hadoop平臺的動態(tài)自適應作業(yè)調度算法研究[D];東北大學;2014年

7 楊洋;基于資源狀況的延時等待公平調度算法的研究[D];東北大學;2014年

8 劉濤;云平臺下自適應調度算法的研究與改進[D];太原理工大學;2014年

9 王祺元;云計算下作業(yè)調度算法的研究[D];太原理工大學;2013年

10 何沖;Hadoop集群調度優(yōu)化的研究[D];上海師范大學;2015年

，

本文編號：601131