本文選題：Storm + 實(shí)時計(jì)算�。� 參考：《上海交通大學(xué)》2015年碩士論文

【摘要】：以Storm、Spark等為代表的實(shí)時計(jì)算技術(shù)是目前大數(shù)據(jù)處理領(lǐng)域的一個研究熱點(diǎn)。本文以實(shí)驗(yàn)室承擔(dān)的某省交通物流云計(jì)算平臺建設(shè)項(xiàng)目為背景,該平臺包括基于批處理的大數(shù)據(jù)分析服務(wù)和基于流式計(jì)算系統(tǒng)Storm所構(gòu)建的實(shí)時數(shù)據(jù)處理服務(wù)。然而,Storm在實(shí)際應(yīng)用中仍然存在一些問題:例如,默認(rèn)調(diào)度器所采用的輪詢分配策略將導(dǎo)致工作節(jié)點(diǎn)間出現(xiàn)負(fù)載不均衡;同時默認(rèn)調(diào)度器單一的調(diào)度策略不能滿足靈活多變的業(yè)務(wù)需求;而Nimbus控制節(jié)點(diǎn)存在的單點(diǎn)失效問題,容易導(dǎo)致Storm集群中出現(xiàn)任務(wù)提交、分配的失敗。針對上述問題,本文通過分析交通物流云計(jì)算平臺中實(shí)時數(shù)據(jù)處理的需求,在研究流式計(jì)算系統(tǒng)Storm和相關(guān)技術(shù)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個基于Storm的大數(shù)據(jù)實(shí)時分析系統(tǒng)。該系統(tǒng)為物流企業(yè)的Saa S應(yīng)用提供實(shí)時的數(shù)據(jù)分析處理服務(wù),并解決了Storm中默認(rèn)調(diào)度器工作節(jié)點(diǎn)任務(wù)分配不均勻、調(diào)度策略單一和Nimbus控制節(jié)點(diǎn)單點(diǎn)失效的問題。測試及應(yīng)用的情況表明,該系統(tǒng)是可行且有效的。與同類型的系統(tǒng)相比,本文工作具有以下特點(diǎn):1)為了提高系統(tǒng)的性能,針對Storm中默認(rèn)調(diào)度器工作節(jié)點(diǎn)任務(wù)分配不均勻、調(diào)度策略單一等問題,提出了基于節(jié)點(diǎn)資源監(jiān)控的RBS(Resource Based Schedule)任務(wù)調(diào)度算法和支持單節(jié)點(diǎn)的SNS(Single Node Schedule)任務(wù)調(diào)度算法。并在RBS算法和SNS算法的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了相應(yīng)的Topology任務(wù)調(diào)度器。實(shí)驗(yàn)情況表明,基于RBS算法的任務(wù)調(diào)度器可根據(jù)工作節(jié)點(diǎn)資源的使用情況,將工作進(jìn)程調(diào)度到資源利用率較低的節(jié)點(diǎn)上;而基于SNS算法的調(diào)度器可將一些只執(zhí)行簡單運(yùn)算并且沒有太多中間狀態(tài)的Topology的多個工作進(jìn)程調(diào)度到一個單一的物理節(jié)點(diǎn)上運(yùn)行。2)為了提高系統(tǒng)的可用性,針對Storm中控制節(jié)點(diǎn)的單點(diǎn)失效問題提出了解決方案。該方案通過Zookeeper協(xié)調(diào)服務(wù)實(shí)現(xiàn)主控制節(jié)點(diǎn)選舉和主從控制節(jié)點(diǎn)之間的狀態(tài)同步。實(shí)驗(yàn)表明,由三個節(jié)點(diǎn)組成的控制節(jié)點(diǎn)集群,當(dāng)主控制節(jié)點(diǎn)宕機(jī)時,某個從控制節(jié)點(diǎn)能夠順利選為主節(jié)點(diǎn),保證Topology任務(wù)可不中斷地運(yùn)行。3)在上述工作的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個基于Storm的實(shí)時大數(shù)據(jù)分析系統(tǒng),為物流企業(yè)的Saas應(yīng)用提供實(shí)時的大數(shù)據(jù)分析服務(wù)。該系統(tǒng)包括流計(jì)算應(yīng)用開發(fā)環(huán)境和流計(jì)算應(yīng)用運(yùn)行環(huán)境。流計(jì)算應(yīng)用運(yùn)行環(huán)境包括:基于Storm的流計(jì)算應(yīng)用任務(wù)運(yùn)行環(huán)境,包括:輸入流組件、基于Ganglia監(jiān)控服務(wù)的Topology任務(wù)調(diào)度器、基于Zookeeper協(xié)調(diào)服務(wù)的控制節(jié)點(diǎn)集群協(xié)調(diào)器、持久化輸出組件;流計(jì)算應(yīng)用的數(shù)據(jù)輸入/輸出服務(wù)運(yùn)行環(huán)境,包括:數(shù)據(jù)采集與預(yù)處理器、Kafka中間件、No SQL數(shù)據(jù)庫;應(yīng)用開發(fā)環(huán)境包括集成開發(fā)工具、測試工具和部署工具:集成開發(fā)工具以Eclipse為基礎(chǔ),為應(yīng)用開發(fā)人員提供數(shù)據(jù)采集與預(yù)處理器API庫、輸入流組件API庫、持久化輸出組件API庫等;測試工具在封裝單機(jī)版storm基礎(chǔ)上,為流計(jì)算應(yīng)用提供模擬運(yùn)行環(huán)境。
[Abstract]:The real-time computing technology represented by Storm, Spark and so on is a research hotspot in the field of large data processing. This paper is based on the construction project of a provincial traffic logistics cloud computing platform, which includes batch processing based large data analysis service and real-time data processing based on flow computing system Storm. However, there are still some problems in the practical application of Storm: for example, the polling allocation strategy used by the default scheduler will lead to a load imbalance between the work nodes; at the same time, the default scheduler single scheduling strategy can not meet the flexible business needs; and the single point failure problem existing in the Nimbus control node is easy. In view of the problems mentioned above, this paper designs and implements a real-time analysis system of large data based on Storm based on the analysis of the demand of real-time data processing in the traffic logistics cloud computing platform, based on the analysis of the requirements of the real-time data processing in the traffic logistics cloud computing platform. This system is a logistics enterprise for the logistics enterprise. The system is based on the Storm based real-time analysis system for the logistics enterprises. The Saa S application provides real-time data analysis and processing services, and solves the problem of uneven assignment of task nodes in the default scheduler, single scheduling strategy and single point failure of Nimbus control nodes in Storm. The test and application show that the system is feasible and effective. Compared with the same type system, the work has a good performance. Characteristics: 1) in order to improve the performance of the system, the task scheduling algorithm based on RBS (Resource Based Schedule) based on node resource monitoring and SNS (Single Node Schedule) task scheduling algorithm based on node resource monitoring is proposed in order to improve the performance of the default scheduler work node in Storm, and the SNS (Single Node Schedule) task scheduling algorithm supporting single node is proposed. And RBS algorithm and SNS. On the basis of the algorithm, the corresponding Topology task scheduler is designed and implemented. The experiment shows that the task scheduler based on the RBS algorithm can schedule the working process to a node with lower resource utilization according to the usage of the working node resources; and the SNS algorithm based regulator can only perform simple operations and do not. In order to improve the availability of the Topology, a solution to the single point failure of the control nodes in Storm is proposed in order to improve the availability of the system. This scheme implements the state of the main control node election and the state of the master slave nodes through the Zookeeper coordination service. The experiment shows that the control node cluster consists of three nodes. When the main control node is down, one of the nodes can choose the main node from the control node and the Topology task can run.3 without interruption. On the basis of the above work, a real-time large data analysis system based on Storm is designed and implemented, which is the Saa of the logistics enterprise. The s application provides real-time large data analysis services. The system includes the flow computing application development environment and the flow computing application running environment. The flow computing application running environment includes the Storm based flow computing application task running environment, including the input stream components, the Topology task scheduler based on the Ganglia monitoring service, and the Zookeeper coordination suit. Control node cluster coordinator, persistent output component; data input / output service running environment for flow computing applications, including data acquisition and preprocessor, Kafka middleware, No SQL database; application development environment including integrated development tools, test tools and department tools: integrated development tools are based on Eclipse and are applied to applications The server provides a data collection and preprocessor API library, an input stream component API library, a persistent output component API library, etc. the test tool provides an analog running environment for streaming computing applications on the basis of a package single version of storm.
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報;2011年04期

2 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

3 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

4 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(理工版);2009年05期

5 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術(shù)新產(chǎn)品;2013年17期

6 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(理工版);2008年03期

7 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國藥物警戒;2007年04期

8 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國高新技術(shù)企業(yè);2008年08期

9 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

10 章璐;;人民幣跨境結(jié)算業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國金融電腦;2013年01期

相關(guān)會議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學(xué)學(xué)會學(xué)術(shù)年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應(yīng)用[A];中國水力發(fā)電工程學(xué)會信息化專委會2010年學(xué)術(shù)交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會第九次全國檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會議暨中國醫(yī)院協(xié)會臨床檢驗(yàn)管理專業(yè)委員會第六屆全國臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術(shù)與冶金流程節(jié)能減排——全國冶金自動化信息網(wǎng)2008年會論文集[C];2008年

相關(guān)重要報紙文章 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報;2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國計(jì)算機(jī)報;2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務(wù)報;2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國工商報;2007年

8 本報記者 鞏國強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日報;2004年

相關(guān)碩士學(xué)位論文 前10條

1 夷臻;學(xué)生事務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

3 翟羽佳;萊蕪供電公司經(jīng)營數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 韓繼軍;金卡科技公司業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 龍少杭;基于Storm的實(shí)時大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

8 馮偉;基于云計(jì)算的海量數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

9 王浩;內(nèi)蒙聯(lián)通公司基礎(chǔ)數(shù)字?jǐn)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與開發(fā)[D];復(fù)旦大學(xué);2011年

10 周曉敏;鋼鐵企業(yè)化驗(yàn)報告數(shù)據(jù)分析系統(tǒng)[D];電子科技大學(xué);2011年

，

本文編號：2062087