當(dāng)今時代是一個信息大爆炸的時代,生產(chǎn)生活中的每一個角落充滿各種各樣的信息,企事業(yè)單位在信息獲取上具有天然優(yōu)勢,是各種各樣數(shù)據(jù)的擁有者。通過數(shù)據(jù)的高效共享,能夠最大限度的挖掘出數(shù)據(jù)的潛在價值,有助于企事業(yè)單位科學(xué)管理、創(chuàng)新經(jīng)營、長遠(yuǎn)規(guī)劃。然而現(xiàn)有的數(shù)據(jù)共享系統(tǒng)存在著各種各樣的弊端,要么技術(shù)老舊無法適應(yīng)大數(shù)據(jù)時代的數(shù)據(jù)共享需求,要么價格高昂性價比低下,因此,一款支持采集各種異構(gòu)數(shù)據(jù),海量數(shù)據(jù)高效共享,滿足流批一體化數(shù)據(jù)分析,且成本低廉的數(shù)據(jù)總線系統(tǒng)極為必要。本論文依托各種開源技術(shù)設(shè)計開發(fā)了一款基于Kafka的數(shù)據(jù)總線系統(tǒng)。對系統(tǒng)進(jìn)行了需求分析,詳細(xì)闡述了用戶對數(shù)據(jù)采集、實時計算、數(shù)據(jù)轉(zhuǎn)儲、總線元數(shù)據(jù)管理、運維監(jiān)測的功能需求和性能需求,給出了功能模塊圖、系統(tǒng)架構(gòu)圖、數(shù)據(jù)流程圖,詳細(xì)闡述了系統(tǒng)具體設(shè)計與實現(xiàn),給出了核心算法與代碼,系統(tǒng)完成后通過黑盒測試的方法,對照需求設(shè)計測試驗證了每一個模塊的功能與性能。系統(tǒng)采用微服務(wù)體系架構(gòu),在JVM開發(fā)平臺下,以Flume為數(shù)據(jù)采集組件,Kafka為數(shù)據(jù)管道,kettle為ETL工具,Spring Cloud為微服開發(fā)實施框架,使用JAVA代碼實現(xiàn)各個功能... 

【文章來源】：鄭州大學(xué)河南省 211工程院校

【文章頁數(shù)】：55 頁

【學(xué)位級別】：碩士

【部分圖文】：

Kettle新建Kafka輸入源

第4章系統(tǒng)設(shè)計與實現(xiàn)22打開Kettle設(shè)計工具新建一個轉(zhuǎn)換，在Input下選擇ApacheKafkaConsume：圖4-7Kettle新建Kafka輸入源在選中的組件里配置Topic、zookeeper、Group等配置信息:圖4-8Kettle配置Kafka相關(guān)信息Kettle提供了多達(dá)120多種的內(nèi)置數(shù)據(jù)處理，而且還可以方便的擴展出更多，我們選

第4章系統(tǒng)設(shè)計與實現(xiàn)23擇一個字符串替換，用來把抽取中的某個數(shù)據(jù)定義為業(yè)務(wù)需求數(shù)據(jù)：圖4-9Kettle配置字符串替換處理數(shù)據(jù)處理完成后，根據(jù)業(yè)務(wù)需求選擇合適的輸出，加載到目標(biāo)系統(tǒng),這里我們選擇加到Excel文件：圖4-10Kettle配置Excel輸出只需簡單拖拽，以及一些必須的配置就實現(xiàn)了一個完整的數(shù)據(jù)轉(zhuǎn)儲過程�？偩�系統(tǒng)通過可視化的操作方式為可以從Kafka數(shù)據(jù)管道整合清洗來自各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，生成業(yè)務(wù)方需要的大寬表，加載的對應(yīng)的業(yè)務(wù)系統(tǒng)，滿足業(yè)務(wù)系統(tǒng)的離線分

【參考文獻(xiàn)】：
期刊論文
[1]ETL和ESB架構(gòu)在企業(yè)信息化建設(shè)中的應(yīng)用[J]. 秦曉燕.  電子技術(shù)與軟件工程. 2019(22)
[2]一種基于微服務(wù)架構(gòu)的業(yè)務(wù)系統(tǒng)設(shè)計與實現(xiàn)[J]. 洪華軍,吳建波,冷文浩.  計算機與數(shù)字工程. 2018(01)
[3]Spring Boot研究和應(yīng)用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[4]微服務(wù)架構(gòu)和容器技術(shù)應(yīng)用[J]. 孫海洪.  金融電子化. 2016(05)
[5]基于KETTLE的數(shù)據(jù)集成研究[J]. 崔有文,周金海.  計算機技術(shù)與發(fā)展. 2015(04)
[6]基于NS3的分布式消息系統(tǒng)Kafka的仿真實現(xiàn)[J]. 馬浩然.  軟件. 2015(01)
[7]一種可擴展的網(wǎng)絡(luò)用戶行為日志獲取方法[J]. 吳茜媛,鄭慶華,王萍.  軟件. 2014(10)
[8]消息中間件傳輸模式的改進(jìn)與實現(xiàn)[J]. 尚小東,田亮,荀智德,丁峰.  指揮信息系統(tǒng)與技術(shù). 2014(05)
[9]基于Apache Flume的分布式日志收集系統(tǒng)設(shè)計與實現(xiàn)[J]. 郝璇.  軟件導(dǎo)刊. 2014(07)
[10]大數(shù)據(jù)技術(shù)研究綜述[J]. 劉智慧,張泉靈.  浙江大學(xué)學(xué)報(工學(xué)版). 2014(06)

碩士論文
[1]面向工業(yè)大數(shù)據(jù)的數(shù)據(jù)采集系統(tǒng)[D]. 謝青松.華中科技大學(xué) 2016
[2]基于ZooKeeper的分布式處理框架的研究與實現(xiàn)[D]. 譚玉靖.北京郵電大學(xué) 2014
[3]基于ESB的高校數(shù)據(jù)交換平臺的設(shè)計與實現(xiàn)[D]. 鄒偉平.南昌大學(xué) 2012



本文編號：3235170