近幾年來,大數(shù)據(jù)已經(jīng)滲透到人類生活的方方面面。隨著移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展,我國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展也進入爆發(fā)期,大數(shù)據(jù)已經(jīng)上升為國家戰(zhàn)略。大數(shù)據(jù)處理系統(tǒng)也有了更多樣的業(yè)務(wù)需求,導(dǎo)致支撐大數(shù)據(jù)處理的各項技術(shù)逐步走向成熟。把不同的技術(shù)融合成一個大型的大數(shù)據(jù)處理系統(tǒng),這樣的系統(tǒng)架構(gòu)在實際生產(chǎn)中得到了廣泛應(yīng)用。但是其學習成本和維護成本非常高,同一個開發(fā)者很難維護和擴展這么多復(fù)雜技術(shù)融合而成的系統(tǒng)。針對以上問題,結(jié)合課題組的項目,本文設(shè)計并實現(xiàn)了支持工作流的實時大數(shù)據(jù)處理系統(tǒng)。本文首先研究了mxGraph框架的組織結(jié)構(gòu)和底層實現(xiàn)原理,將其與Web技術(shù)結(jié)合,搭建了支持工作流的大數(shù)據(jù)管理平臺。在此基礎(chǔ)上,總結(jié)了大數(shù)據(jù)處理關(guān)鍵技術(shù)Flume、Kafka的相關(guān)配置和Spark Streaming的工作原理,部署了大數(shù)據(jù)處理系統(tǒng)。最后將可視化信息管理平臺與大數(shù)據(jù)處理系統(tǒng)結(jié)合在一起,實現(xiàn)了支持工作流的實時大數(shù)據(jù)處理系統(tǒng)。系統(tǒng)設(shè)計的核心功能體現(xiàn)在可以通過支持工作流的大數(shù)據(jù)管理平臺實現(xiàn)大數(shù)據(jù)處理的可視化配置。將大數(shù)據(jù)處理系統(tǒng)的配置信息統(tǒng)一提取出來,交由大數(shù)據(jù)管理平臺統(tǒng)一配置管理。大數(shù)據(jù)管理平臺使用XML格式的數(shù)據(jù)... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?ｍｘＧｒａｐｈ組件關(guān)系圖??７??

ｍｘＧｒａｐｈ是一系列以不同技術(shù)開發(fā)的工具庫，可以方便地與其它技術(shù)結(jié)合搭??建后臺管理系統(tǒng)，ｍｘＧｒａｐｈ可用于工作流設(shè)計［１Ｇ］。ｍｘＧｒａｐｈ的各個組件關(guān)系圖如??圖２－１所示。??作為一個開發(fā)庫，ｍｘＧｒａｐｈ沒有專門提供一個現(xiàn)成的可以使用的應(yīng)用程序，??盡管其中的許多例子都接近可以直接使用。ｍｘＧｒａｐｈ提供ｍｘＧｒａｐｈ樣式的所有??經(jīng)常所需要的繪畫功能，并且ｍｘＧｒａｐｈ自帶有許多例子，它們有助于解釋每種??技術(shù)是如何被放在一起組成一個基本的應(yīng)用程序，并展示這個工具庫的各項功能。??廣?Ｂａｃｋｅｎｄ?＾??Ｊａｖａ?．Ｎｅｔ?Ｐｈｐ??＾ｘ＾??Ｃｇｉ??＞?Ｗｅｂ?ｓｅｒｖｅｒ?１?＾??Ｈｔｍｉ?Ｘｍｌ?Ｊｓ?Ｃｓｓ?…??ｌ?ｘ?Ｊ??ＨＵｐ??廣?Ｗｅｂ?ｃｌｉｅｎｔ—，———＿——??—??——???———??、??Ｅｄｉｔｏｒ?Ｇｒａｐｈ?ｌｎｐｕＬｒＯｕｌｐｙｔ??Ｃｏｎｆ＾ｇｕｒａｌｉｏｎ?Ｖａｉｉｄａｌｉｏｎ?Ｃｏｓｔｏｍｉｚａｔｉｏｎ??Ｖ?Ｊ??圖２－１?ｍｘＧｒａｐｈ組件關(guān)系圖??７??

Ｈｕｍｅ運行的獨立進程，它的運行依賴于配置文件，配置文件中包含每個源、通??道和接收器三個核心組件的屬性，屬性包括名稱、類型和一些其他實例化屬性。??通過這三個組件，就可以完成數(shù)據(jù)流的正常流轉(zhuǎn)，如圖２－３所示。??Ｓｉｎｋ??董疆〇??Ｃ?Ｃｈａｎｎｅｌ?）??Ａｇｅｎｔ?．…獨－??圖２－３?Ａｇｅｎｔ結(jié)構(gòu)示意圖??Ｓｏｕｒｃｅ是數(shù)據(jù)的收集端，負責將數(shù)據(jù)捕獲后進行特殊的格式化，并將數(shù)據(jù)封??裝到事件（Ｅｖｅｎｔ）里，然后將事件推入Ｃｈａｎｎｅｌ中。Ｆｌｕｍｅ提供了很多內(nèi)置的??Ｓｏｕｒｃｅ，包括?Ｅｘｅｃ?Ｓｏｕｒｃｅ、Ａｖｒｏ?Ｓｏｕｒｃｅ、Ｔｈｒｉｆｔ?Ｓｏｕｒｃｅ?等，可以讓應(yīng)用程序同這??些內(nèi)置的Ｓｏｕｒｃｅ直接進行數(shù)據(jù)交換。如果內(nèi)置的Ｓｏｕｒｃｅ無法滿足需要，Ｆｌｕｍｅ??還支持自定義Ｓｏｕｒｃｅ。常用的Ｓｏｕｒｃｅｓ類型如表２－１所示。??表２－１?Ｓｏｕｒｃｅｓ類型及說明??Ｓｏｕｒｃｅ類型?說明??Ａｖｒｏ?Ｓｏｕｒｃｅ?監(jiān)聽Ａｖｒｏ端口，接收外部Ａｖｒｏ?Ｃｌｉｅｎｔ數(shù)據(jù)流??１０??

【參考文獻】：
期刊論文
[1]XML在網(wǎng)頁設(shè)計中的應(yīng)用與研究[J]. 向澤林.  電子技術(shù)與軟件工程. 2019(02)
[2]基于Kafka的分布式能效管理平臺的設(shè)計與實現(xiàn)[J]. 朱幼普,盧軍.  計算機與數(shù)字工程. 2018(12)
[3]基于Java的Mybaits生成持久層配置文件[J]. 管才路,葉剛,耿偉,王立河.  電子技術(shù)與軟件工程. 2018(22)
[4]A Scheduling Optimization Technique Based on Reuse in Spark to Defend Against APT Attack[J]. Jianchao Tang,Ming Xu,Shaojing Fu,Kai Huang.  Tsinghua Science and Technology. 2018(05)
[5]基于Spark Streaming的實時交通數(shù)據(jù)處理平臺[J]. 譚亮,周靜.  計算機系統(tǒng)應(yīng)用. 2018(10)
[6]Spark Streaming在實時計算中的應(yīng)用研究[J]. 謝艷晴.  電腦知識與技術(shù). 2018(25)
[7]大數(shù)據(jù)日志分析平臺應(yīng)用探索與實踐[J]. 胡沐創(chuàng).  金融科技時代. 2018(01)
[8]基于SpringMVC的圖片處理系統(tǒng)的研究與設(shè)計[J]. 王曉薇,張勇,李金振.  電子設(shè)計工程. 2017(24)
[9]基于Spark的分布式實時推薦系統(tǒng)[J]. 王佳嫻,王中杰.  系統(tǒng)仿真技術(shù). 2017(02)
[10]分布式流數(shù)據(jù)加載和查詢技術(shù)優(yōu)化[J]. 易佳,薛晨,王樹鵬.  計算機科學. 2017(05)

碩士論文
[1]基于SparkStreaming的網(wǎng)絡(luò)資源管理系統(tǒng)設(shè)計與實現(xiàn)[D]. 黃哲.南京郵電大學 2018
[2]基于Spark的數(shù)據(jù)實時分析處理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 陳鵬.電子科技大學 2018
[3]物聯(lián)網(wǎng)資源模型輔助的組態(tài)系統(tǒng)的研究與實現(xiàn)[D]. 李啟波.北京郵電大學 2018
[4]基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)的研究與實現(xiàn)[D]. 李俊杰.江西師范大學 2017
[5]基于Spark技術(shù)的實時網(wǎng)絡(luò)流量異常檢測研究[D]. 周超.蘭州交通大學 2016
[6]基于hadoop的網(wǎng)站用戶行為分析系統(tǒng)設(shè)計與實現(xiàn)[D]. 王電輕.中國科學院大學(工程管理與信息技術(shù)學院) 2016
[7]基于WEB的制造服務(wù)管理系統(tǒng)研究與開發(fā)[D]. 呂占東.電子科技大學 2014



本文編號：2991155