大數(shù)據(jù)處理技術(shù)是當(dāng)代信息技術(shù)領(lǐng)域的重要發(fā)展方向之一,隨著大數(shù)據(jù)相關(guān)技術(shù)的不斷發(fā)展與應(yīng)用,實(shí)時(shí)計(jì)算領(lǐng)域越來(lái)越被關(guān)注。以Hadoop為代表的基于MapReduce計(jì)算框架的大數(shù)據(jù)處理技術(shù)往往是通過(guò)批處理方式對(duì)歷史數(shù)據(jù)進(jìn)行分析,而實(shí)時(shí)計(jì)算領(lǐng)域則強(qiáng)調(diào)的是對(duì)瞬時(shí)數(shù)據(jù)進(jìn)行在線處理。另一方面,傳統(tǒng)工業(yè)企業(yè)產(chǎn)品在生產(chǎn)過(guò)程中,無(wú)時(shí)無(wú)刻不在產(chǎn)生著海量的數(shù)據(jù),典型的如工業(yè)設(shè)備傳感器數(shù)據(jù)等。這些數(shù)據(jù)的特征是連續(xù)、無(wú)限增長(zhǎng)、無(wú)序,并且需要實(shí)時(shí)響應(yīng),被稱為流式數(shù)據(jù)。工業(yè)企業(yè)在面對(duì)這些海量的流式數(shù)據(jù)時(shí),主要有以下三點(diǎn)問(wèn)題:1)無(wú)法解決海量流式數(shù)據(jù)的大規(guī)模存儲(chǔ)問(wèn)題;2)像對(duì)待普通數(shù)據(jù)一樣處理流式數(shù)據(jù),無(wú)法發(fā)揮流式數(shù)據(jù)實(shí)時(shí)性的特點(diǎn);3)傳統(tǒng)的技術(shù)架構(gòu)無(wú)法對(duì)流式數(shù)據(jù)進(jìn)行更高維度的分析,不能應(yīng)用機(jī)器學(xué)習(xí)模型等新興技術(shù)手段去分析處理。顯然,以傳統(tǒng)的數(shù)據(jù)分析處理方法并不能對(duì)流式數(shù)據(jù)進(jìn)行有效的分析及存儲(chǔ)。如何去挖掘工業(yè)質(zhì)量流式數(shù)據(jù)更深層次的價(jià)值,對(duì)這些質(zhì)量數(shù)據(jù)進(jìn)行各個(gè)維度的分析,并且以可視化的形式動(dòng)態(tài)展現(xiàn)給普通用戶,是本文研究的主要目的�；诒菊n題（面向工業(yè)企業(yè)的質(zhì)量大數(shù)據(jù)分析云服務(wù)平臺(tái)）的實(shí)際研究背景與需求,本文從一個(gè)相對(duì)通用... 

【文章來(lái)源】：安徽工業(yè)大學(xué)安徽省

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

總體邏輯設(shè)計(jì)

圖 2.2 總體架構(gòu)設(shè)計(jì)2.1.3 設(shè)計(jì)原則前面已經(jīng)提到，本文主要研究目的之一就是提出一個(gè)高可用、高效率、高度可擴(kuò)展的面向流式數(shù)據(jù)的實(shí)時(shí)計(jì)算框架。因此，平臺(tái)需要在遵循一定原則的基礎(chǔ)上進(jìn)行設(shè)計(jì)與開(kāi)發(fā)，具體來(lái)說(shuō)，貫穿本平臺(tái)的總體設(shè)計(jì)原則主要有如下幾個(gè)方面：1）總體設(shè)計(jì)原則：高可用，高效率，通用性的設(shè)計(jì)準(zhǔn)則，在功能模塊設(shè)計(jì)上做到粗粒度，低耦合，讓每個(gè)模塊都可以獨(dú)立開(kāi)發(fā)，并且可以完成相應(yīng)的替換。2）數(shù)據(jù)存儲(chǔ)原則：在不同的業(yè)務(wù)場(chǎng)景下選擇不同的數(shù)據(jù)存儲(chǔ)模塊。3）服務(wù)化原則：盡可能地讓一個(gè)模塊作為一個(gè)服務(wù)去運(yùn)行，避免服務(wù)間的相互影響，有效降低平臺(tái)各個(gè)功能模塊間的耦合性。

圖 2.3 FlumeAgent 運(yùn)行架構(gòu)由于 Flume 本身不支持實(shí)時(shí)采集關(guān)系型數(shù)據(jù)庫(kù)的流式數(shù)據(jù)，因此需要使用 Flume 的高級(jí)自定義源的開(kāi)發(fā)，可以通過(guò) FlumeAgent 來(lái)實(shí)時(shí)監(jiān)控關(guān)系型數(shù)據(jù)庫(kù)。flume-ng-sql-source 是一個(gè)基于 Flume 組件的開(kāi)源項(xiàng)目，用來(lái)使 FlumeAgent 連接關(guān)系型數(shù)據(jù)庫(kù)，實(shí)時(shí)監(jiān)控關(guān)系型數(shù)據(jù)庫(kù)的變化，其底層是通過(guò) RowIndex 索引機(jī)制來(lái)捕捉數(shù)據(jù)的增加。通過(guò) flume-ng-sql-source 組件采集數(shù)據(jù)，只需要在 Flume Agent 的 Source 端（見(jiàn)圖 2.3）配置相應(yīng)的關(guān)系型數(shù)據(jù)庫(kù)連接信息即可。由于 flume-ng-sql-source 底層采用的是 hibernate 作為數(shù)據(jù)庫(kù)的連接，故只需要根據(jù)hibernate 的官方文檔給出的格式進(jìn)行配置即可，但是由于該組件官方并不支持本文的實(shí)時(shí)數(shù)據(jù)庫(kù) InSql，因此本文對(duì)其進(jìn)行重新編譯開(kāi)發(fā)以使其支持 InSql 數(shù)據(jù)源的采集，這也是本文大量采用開(kāi)源組件進(jìn)行開(kāi)發(fā)設(shè)計(jì)的主要原因。2.2.2 Kafka 消息隊(duì)列中間件使用 Flume 采集數(shù)據(jù)的關(guān)鍵在于配置 FlumeSource、FlumeChannel、FlumeSink 這三個(gè)組件，其中FlumeSource的配置源的選區(qū)在上一節(jié)已經(jīng)提到。FlumeChannel一般設(shè)置為Memory，

【參考文獻(xiàn)】：
期刊論文
[1]基于Spark Streaming的實(shí)時(shí)交通數(shù)據(jù)處理平臺(tái)[J]. 譚亮,周靜.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(10)
[2]基于Spark Streaming的在線KMeans聚類(lèi)模型研究[J]. 侯敬儒,吳晟,李英娜.  計(jì)算機(jī)與數(shù)字工程. 2018(04)
[3]流式大數(shù)據(jù)實(shí)時(shí)處理技術(shù)、平臺(tái)及應(yīng)用[J]. 陳純.  大數(shù)據(jù). 2017(04)
[4]基于Spark Streaming流回歸的煤礦瓦斯?jié)舛葘?shí)時(shí)預(yù)測(cè)[J]. 吳海波,施式亮,念其鋒.  中國(guó)安全生產(chǎn)科學(xué)技術(shù). 2017(05)
[5]分布式流數(shù)據(jù)加載和查詢技術(shù)優(yōu)化[J]. 易佳,薛晨,王樹(shù)鵬.  計(jì)算機(jī)科學(xué). 2017(05)
[6]流式數(shù)據(jù)查詢系統(tǒng)[J]. 王棟,張瀟,武延軍.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(09)
[7]基于Hadoop的大數(shù)據(jù)計(jì)算技術(shù)[J]. 查禮.  科研信息化技術(shù)與應(yīng)用. 2012(06)

碩士論文
[1]基于Kubemetes的大數(shù)據(jù)流式計(jì)算Spark平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 杜威科.南京郵電大學(xué) 2017
[2]基于Spark Streaming的流聚類(lèi)算法StreamCKS的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張玉俠.華僑大學(xué) 2017
[3]一種基于STORM的交通流數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 南海京.北方工業(yè)大學(xué) 2015



本文編號(hào)：3255176