本文關(guān)鍵詞：面向流式數(shù)據(jù)處理平臺(tái)JStorm的負(fù)載均衡技術(shù)研究

  更多相關(guān)文章： 流式計(jì)算 JStorm 負(fù)載均衡 資源分配

【摘要】：大數(shù)據(jù)時(shí)代,數(shù)據(jù)的流式特征愈加顯著,很多應(yīng)用場(chǎng)景部署在流式數(shù)據(jù)處理平臺(tái)上,然而,隨著應(yīng)用場(chǎng)景的復(fù)雜化及數(shù)據(jù)量的快速增長(zhǎng),分布式計(jì)算平臺(tái)中節(jié)點(diǎn)間的負(fù)載失衡已經(jīng)成為制約流式應(yīng)用性能提升的瓶頸,因此對(duì)流式數(shù)據(jù)處理平臺(tái)上負(fù)載均衡問題的研究已經(jīng)凸顯重要的研究?jī)r(jià)值。本文以流式數(shù)據(jù)處理平臺(tái)JStorm作為研究對(duì)象,致力于解決作業(yè)資源分配不當(dāng)導(dǎo)致的JStorm平臺(tái)負(fù)載不均衡問題。論文對(duì)JStorm平臺(tái)下的作業(yè)資源分配策略進(jìn)行了深入分析,指出了在節(jié)點(diǎn)間可用資源異構(gòu)場(chǎng)景下,該作業(yè)資源分配策略將導(dǎo)致的集群負(fù)載不均衡問題,并針對(duì)這個(gè)問題提出了改進(jìn)的作業(yè)資源分配策略,通過考慮節(jié)點(diǎn)工作負(fù)載的非對(duì)稱性,合理分配計(jì)算任務(wù),提升了流式應(yīng)用的運(yùn)行性能。本文完成的主要工作有:1)詳細(xì)介紹了流式數(shù)據(jù)處理、JStorm流式數(shù)據(jù)處理平臺(tái)、分布式平臺(tái)資源分配等技術(shù)。重點(diǎn)分析JStorm中計(jì)算任務(wù)從提交到分解為具體作業(yè)任務(wù)的整個(gè)過程,研究了JStorm為作業(yè)進(jìn)行資源分配的過程,指出了在資源分配過程中因?yàn)槿狈?duì)計(jì)算資源的整體評(píng)估,而導(dǎo)致集群負(fù)載不均衡的問題。2)提出了JStorm工作節(jié)點(diǎn)負(fù)載評(píng)估模型。通過對(duì)現(xiàn)有節(jié)點(diǎn)負(fù)載評(píng)估模型的研究,結(jié)合JStorm作業(yè)處理數(shù)據(jù)的特性,從JStorm工作節(jié)點(diǎn)的計(jì)算資源利用率及節(jié)點(diǎn)本身的數(shù)據(jù)處理能力出發(fā),設(shè)計(jì)了JStorm工作節(jié)點(diǎn)負(fù)載的多權(quán)值評(píng)估模型,并對(duì)模型中的多個(gè)概念進(jìn)行了詳細(xì)說明。3)改進(jìn)了JStorm作業(yè)資源分配策略。針對(duì)JStorm作業(yè)資源分配策略中忽視工作節(jié)點(diǎn)負(fù)載非對(duì)稱的缺點(diǎn),結(jié)合提出的工作節(jié)點(diǎn)負(fù)載評(píng)估模型,在作業(yè)資源分配過程時(shí)考慮工作節(jié)點(diǎn)的負(fù)載情況,對(duì)計(jì)算資源進(jìn)行合理分配,保證集群的負(fù)載均衡,使得流式應(yīng)用能夠充分利用每個(gè)節(jié)點(diǎn)的計(jì)算資源。4)設(shè)計(jì)并實(shí)現(xiàn)了作業(yè)資源分配改進(jìn)策略。將源碼實(shí)現(xiàn)嵌入到JStorm的調(diào)度器中,搭建JStorm集群,通過實(shí)驗(yàn)驗(yàn)證了改進(jìn)策略的可行性。實(shí)驗(yàn)結(jié)果表明,本文提出的改進(jìn)作業(yè)資源分配策略解決了JStorm因?yàn)樽鳂I(yè)計(jì)算資源分配不當(dāng)導(dǎo)致的集群負(fù)載不均衡問題,同時(shí)提高了JStorm處理數(shù)據(jù)的性能,將數(shù)據(jù)的吞吐量提高了10%。
【關(guān)鍵詞】：流式計(jì)算 JStorm 負(fù)載均衡 資源分配
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP274
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-15
• 1.1 論文選題背景9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-12
• 1.3 主要研究?jī)?nèi)容12
• 1.4 論文結(jié)構(gòu)安排12-15
• 第2章 相關(guān)技術(shù)分析15-25
• 2.1 流式數(shù)據(jù)處理技術(shù)15-16
• 2.1.1 流式數(shù)據(jù)處理技術(shù)的概述15
• 2.1.2 流式數(shù)據(jù)處理的相關(guān)技術(shù)15-16
• 2.2 JStorm平臺(tái)介紹16-21
• 2.2.1 JStorm簡(jiǎn)介16-17
• 2.2.2 JStorm的核心技術(shù)和基本組成17-19
• 2.2.3 JStorm的工作原理19-21
• 2.3 常見的資源調(diào)度算法分析21-22
• 2.3.1 最大最小公平算法21
• 2.3.2 DRF算法21-22
• 2.4 Hadoop常見的資源調(diào)度算法分析22-23
• 2.5 本章小結(jié)23-25
• 第3章 JStorm Worker資源分配策略分析25-33
• 3.1 JStorm Worker資源分配策略25-29
• 3.1.1 Topology的提交以及實(shí)例化過程25-27
• 3.1.2 Worker的資源分配過程27-29
• 3.2 改進(jìn)Worker資源分配策略問題分析29-31
• 3.3 本章小結(jié)31-33
• 第4章 JStorm Worker資源分配改進(jìn)策略的設(shè)計(jì)及實(shí)現(xiàn)33-45
• 4.1 JStorm Worker資源分配改進(jìn)策略的設(shè)計(jì)33-38
• 4.1.1 相關(guān)概念定義33-34
• 4.1.2 Supervisor節(jié)點(diǎn)負(fù)載評(píng)估模型34-36
• 4.1.3 改進(jìn)的Worker資源分配策略36-38
• 4.2 JStorm Worker資源分配改進(jìn)策略的實(shí)現(xiàn)38-42
• 4.2.1 收集Supervisor節(jié)點(diǎn)相關(guān)參數(shù)的實(shí)現(xiàn)38-40
• 4.2.2 Worker資源分配改進(jìn)策略的實(shí)現(xiàn)40-42
• 4.3 對(duì)Worker資源分配改進(jìn)策略的修正42-43
• 4.4 本章小結(jié)43-45
• 第5章 實(shí)驗(yàn)及結(jié)果分析45-53
• 5.1 實(shí)驗(yàn)集群環(huán)境的搭建45-46
• 5.2 實(shí)驗(yàn)結(jié)果與分析46-51
• 5.3 本章小結(jié)51-53
• 結(jié)論53-55
• 參考文獻(xiàn)55-59
• 攻讀碩士學(xué)位期間所取得的成果59-61
• 致謝61

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 黃衛(wèi)軍;口岸城市通關(guān)數(shù)據(jù)處理平臺(tái)[J];上海信息化;2005年01期

2 林華兵;;數(shù)據(jù)處理平臺(tái)高可靠性的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2010年11期

3 胡繼軍;;淺談統(tǒng)計(jì)部門在數(shù)據(jù)處理平臺(tái)設(shè)計(jì)中應(yīng)考慮的問題[J];現(xiàn)代經(jīng)濟(jì)信息;2012年14期

4 王業(yè)斌;;省級(jí)防雷業(yè)務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[J];科技信息;2009年30期

5 龔一飛;劉萬(wàn)才;;農(nóng)作物有害生物調(diào)查項(xiàng)目數(shù)據(jù)處理平臺(tái)的構(gòu)建與實(shí)現(xiàn)[J];中國(guó)植保導(dǎo)刊;2012年03期

6 邢煜;;一種海量數(shù)據(jù)處理平臺(tái)的解決方案[J];電腦知識(shí)與技術(shù);2013年21期

7 蔡玉寶;左春;張正;鄒志強(qiáng);;數(shù)據(jù)處理平臺(tái)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年07期

8 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺(tái)的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

9 宋均;祝林;;基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];電訊技術(shù);2012年04期

10 楊凱;曹小軍;盧鶯;;控制系統(tǒng)數(shù)據(jù)處理平臺(tái)開發(fā)與應(yīng)用[J];彈箭與制導(dǎo)學(xué)報(bào);2009年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 王業(yè)斌;徐建鵬;王凱;;安徽省常規(guī)防雷業(yè)務(wù)服務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（一）[C];2005年

2 季曉林;劉海硯;;基于數(shù)據(jù)處理平臺(tái)的空間矢量數(shù)據(jù)融合[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

3 趙旭霞;劉立峰;邵起明;;智能路測(cè)系統(tǒng)中的數(shù)據(jù)處理平臺(tái)[A];2006通信理論與技術(shù)新進(jìn)展——第十一屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

4 張鵬;;基于XML/Java的數(shù)據(jù)處理平臺(tái)[A];Java技術(shù)及應(yīng)用的進(jìn)展——第八屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2005年

5 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺(tái)研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 陶金花;蘇林;李樹楷;;一種基于網(wǎng)格的LiDAR數(shù)據(jù)處理平臺(tái)架構(gòu)[A];2007年先進(jìn)激光技術(shù)發(fā)展與應(yīng)用研討會(huì)論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前5條

1 本報(bào)記者 劉書臻;山東：數(shù)據(jù)處理平臺(tái)建成[N];中國(guó)信息報(bào);2011年

2 楊小國(guó);“四大工程”助推普查資料開發(fā)提速[N];中國(guó)信息報(bào);2012年

3 董平;創(chuàng)新,永不止步[N];中國(guó)國(guó)門時(shí)報(bào);2011年

4 《網(wǎng)絡(luò)世界》記者 李夏艷;直面無(wú)線挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2012年

5 ;“康師傅”喜新厭舊[N];網(wǎng)絡(luò)世界;2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張利平;基于MPC8536的雷達(dá)嵌入式數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[D];電子科技大學(xué);2015年

2 潘思聰;基于云環(huán)境的電信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

3 嚴(yán)華;統(tǒng)計(jì)局?jǐn)?shù)據(jù)處理平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 張波;基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

5 周碧漳;面向量化交易的金融數(shù)據(jù)處理平臺(tái)研究與原型實(shí)現(xiàn)[D];電子科技大學(xué);2016年

6 張杰;面向車載信息的大規(guī)模數(shù)據(jù)處理平臺(tái)技術(shù)研究[D];電子科技大學(xué);2016年

7 王華慈;MapReduce型海量數(shù)據(jù)處理平臺(tái)中數(shù)據(jù)放置技術(shù)研究[D];北京工業(yè)大學(xué);2016年

8 樊明璐;流式大數(shù)據(jù)處理平臺(tái)中資源動(dòng)態(tài)調(diào)度技術(shù)研究[D];北京工業(yè)大學(xué);2016年

9 楊鵬;面向流式數(shù)據(jù)處理平臺(tái)JStorm的負(fù)載均衡技術(shù)研究[D];北京工業(yè)大學(xué);2016年

10 但玻;城市熱島效應(yīng)衛(wèi)星遙感數(shù)據(jù)處理平臺(tái)研發(fā)[D];電子科技大學(xué);2011年

，

本文編號(hào)：981398