檔案是企業(yè)的重要信息資源之一,在網(wǎng)絡(luò)信息化趨勢越來越明顯的如今,南通市檔案館的“庫存”數(shù)據(jù)量也早已遠勝先前,檔案館存有來自全國各省份的檔案,對南通市檔案館大數(shù)據(jù)的管理和應(yīng)用顯得尤其重要。其中,南通市檔案館大數(shù)據(jù)實時分析是其關(guān)鍵應(yīng)用之一�；诖�,對于南通市檔案館大數(shù)據(jù)管理核心需實現(xiàn)存儲、自動備份、易于處理等重要目標,然而這些目標基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫來實現(xiàn)會造成南通市檔案館大數(shù)據(jù)的管理即在容量、存儲效率、處理性能和查詢優(yōu)化方面存在一定的瓶頸問題。對傳統(tǒng)研究方式涉及到的問題總結(jié)概括以下三點,第一,存儲性能方面,傳統(tǒng)關(guān)系型數(shù)據(jù)中存儲的數(shù)據(jù)越來越多,可擴展性也因此而顯得較低,性能較低,并對于半結(jié)構(gòu)化、非結(jié)構(gòu)話的數(shù)據(jù)存儲效果不理想。第二,分析效率查詢這一層面上,對于有相對較大數(shù)據(jù)量的表,其往往查詢效率較低且延遲高。第三,并發(fā)高這一方面,因其關(guān)系型庫帶來的諸多關(guān)聯(lián)導(dǎo)致的慢查詢造成服務(wù)器cpu負載較高,無響應(yīng)。從傳統(tǒng)研究方式表現(xiàn)出的各種不足,提出優(yōu)化分析平臺用于南通市檔案館層面的大數(shù)據(jù)管理,本研究的主要工作包括:⑴對于南通市檔案館大數(shù)據(jù)的管理,首先提出面向南通市檔案館的大數(shù)據(jù)管理平臺方面的系統(tǒng)架構(gòu)。其... 

【文章來源】：上海師范大學(xué)上海市

【文章頁數(shù)】：54 頁

【學(xué)位級別】：碩士

【部分圖文】：

面向南通市檔案館大數(shù)據(jù)管理平臺系統(tǒng)架構(gòu)圖

第4章南通市檔案館大數(shù)據(jù)管理平臺詳細設(shè)計與實現(xiàn)上海師范大學(xué)碩士學(xué)位論文18第4章南通市檔案館大數(shù)據(jù)管理平臺詳細設(shè)計與實現(xiàn)在本章我們將一步一步詳細地介紹架構(gòu)的設(shè)計與實現(xiàn)，從圖4-1中的流程圖中我們可以發(fā)現(xiàn)需要做各個系統(tǒng)的搭建及其之間的整合配置，包括Flume與Kafka的整合配置，Kafka與sparkstreaming的整合配置等。圖4-1總體架構(gòu)流程圖4.1通過Flume采集數(shù)據(jù)發(fā)送到Kafka4.1.1Flume和Kafka整合概述對于Flume而言，關(guān)鍵在于如何采集數(shù)據(jù)，并且將其發(fā)送到Kafka上，并且由于我們這里使用了Flume集群的方式，F(xiàn)lume集群的配置也是十分關(guān)鍵的。而對于Kafka，關(guān)鍵就是如何接收來自Flume的數(shù)據(jù)。從整體上講，邏輯應(yīng)該是比較簡單的，首先可以在Kafka中創(chuàng)建一個用于我們實時處理系統(tǒng)的topic，然后Flume將其采集到的數(shù)據(jù)發(fā)送到該topic上即可，如圖4-2。

上海師范大學(xué)碩士學(xué)位論文第4章南通市檔案館大數(shù)據(jù)管理平臺詳細設(shè)計與實現(xiàn)19圖4-2flume集群結(jié)構(gòu)圖4.1.2Flume集群配置與KafkaTopic創(chuàng)建4.1.2.1Flume集群配置在我們的場景中，兩個FlumeAgent分別部署在兩臺Web服務(wù)器上，用來采集Web服務(wù)器上的日志數(shù)據(jù)，然后將其數(shù)據(jù)的下沉方式都發(fā)送到另外一個FlumeAgent上，所以這里我們需要配置三個FlumeAgent.（1）FlumeAgent01該FlumeAgent部署在第一臺Web服務(wù)器上，用來采集產(chǎn)生的檔案出入庫日志，然后發(fā)送到FlumeConsolidationAgent上，并創(chuàng)建一個新的配置文件flume-sink-avro.conf，其主要配置內(nèi)容如下：1.主要作用是監(jiān)聽文件中的新增數(shù)據(jù)，采集到數(shù)據(jù)之后，輸出到avro2.注意Flumeagent的運行，主要就是配置sourcechannelsink3.下面的a1就是agent的代號，source叫r1channel叫c1sink叫k1a1.sources=r1a1.sinks=k1a1.channels=c14.對于source的配置描述，監(jiān)聽文件中的新增數(shù)據(jù)execa1.sources.r1.type=execa1.sources.r1.command=tail-F/home/uplooking/data/data-clean/data-access.log5.對于sink的配置描述，使用avro日志做數(shù)據(jù)的消費


本文編號：3409186