【摘要】：伴隨著科學(xué)技術(shù)的發(fā)展與進(jìn)步,大數(shù)據(jù)處理技術(shù)開始在很多的行業(yè)內(nèi)部得到了深度的研究以及廣泛的應(yīng)用。本文以淮安市物流平臺(tái)建設(shè)為研究對(duì)象,采用Map Reduce作為基本的結(jié)構(gòu),以Hadoop作為技術(shù)的支撐,可以為交通以及政府部門開展相關(guān)的服務(wù),對(duì)于SaaS基礎(chǔ)技術(shù)的應(yīng)用開展大數(shù)據(jù)處理與相關(guān)工作。因?yàn)榻煌ㄎ锪鞔髷?shù)據(jù)處理應(yīng)用開發(fā)涉及眾多領(lǐng)域,為此如何更好地綜合多數(shù)據(jù)多目標(biāo)來解決問題是本文所研究的關(guān)鍵。同時(shí)對(duì)于Map Reduce模塊含有的工作引擎以及Oozie支撐的大數(shù)據(jù)處理具有的組裝流程操作,如何避免Oozie在執(zhí)行的時(shí)候因?yàn)槠涔?jié)點(diǎn)間的數(shù)據(jù)依據(jù)導(dǎo)致執(zhí)行效率低的情況,也是本文所研究的關(guān)鍵內(nèi)容所在。對(duì)于上述的背景分析,本文利用在Map Reduce、Hadoop、Oozie等相關(guān)技術(shù)開展介紹的層面下,通過提出上下游節(jié)點(diǎn)模塊部分并行的Map Reduce工作流程,繼而優(yōu)化交通物流大數(shù)據(jù)的處理模式。通過最后的測(cè)試與實(shí)際的應(yīng)用我們可以看出這個(gè)系統(tǒng)是有效及可行的。同其他的系統(tǒng)比較,本文特點(diǎn)如下:首先是對(duì)于Map Reduce工作流程具有的利用效率較低的問題,采用Map Reduce內(nèi)部具有的Reduce Task作業(yè)特征進(jìn)而實(shí)現(xiàn)對(duì)于不同時(shí)間的操作模式,下游節(jié)點(diǎn)可以部分優(yōu)先于上游節(jié)點(diǎn)工作操作,進(jìn)而實(shí)現(xiàn)上下游節(jié)點(diǎn)模塊可以同時(shí)的開展,使得系統(tǒng)的工作效率大幅度的提升。其次在原有的Hadoop基礎(chǔ)之上,采用的是支持實(shí)現(xiàn)并追加輸入的Map Reduce基本操作的結(jié)構(gòu)。對(duì)于正在執(zhí)行的Map Reduce操作就可追加輸入數(shù)據(jù),使得上下游的模塊可以并行操作,為自身的工作提供保證。在原有的Oozie模塊上,開展的支持上下游并行操作的Map Reduce工作模式,這個(gè)模塊具有的雙執(zhí)行器結(jié)構(gòu),進(jìn)而可以識(shí)別得到內(nèi)部含有的Map Reduce作業(yè)的上下游模塊開展執(zhí)行并分析。通過實(shí)際的測(cè)試結(jié)果我們可以看到,對(duì)于Reduce Task數(shù)量大于集群的Reduce Slot含有的并發(fā)數(shù)的時(shí)候,通過部分的執(zhí)行模式使得自身的工作效率提升的幅度在20%左右。最后是對(duì)于多決策模塊具有的大數(shù)據(jù)處理問題開展研究,研究的重點(diǎn)是開發(fā)者提出大數(shù)據(jù)處理模塊含有的集成開發(fā)操作。基于這個(gè)集成模塊含有的HadoopEclipse插件,提出測(cè)試沙箱模塊,使得開發(fā)人員可以在這一個(gè)環(huán)境之下實(shí)現(xiàn)本文的具體測(cè)試、實(shí)際部署等操作。
【圖文】：

如圖2-1 所示就是這幾種分支具有的三層概念模式[18]。圖 2-1 企業(yè)元數(shù)據(jù)模型在業(yè)務(wù)員數(shù)據(jù)模塊，主題域模式（頂層表示）本質(zhì)上屬于業(yè)務(wù)需求方面的具體規(guī)定分析。中層模塊各主題域可以向交易實(shí)體或自身業(yè)務(wù)實(shí)體分解，同時(shí)通過底層模塊所含有的業(yè)務(wù)數(shù)據(jù)將自身實(shí)際功能提供出來。例如，，交通物流模塊中的元數(shù)據(jù)主題通常包括運(yùn)輸模式、綜合執(zhí)行方法、實(shí)際信息（貨運(yùn)市場(chǎng)）[32]等。其業(yè)務(wù)實(shí)體采用的是車輛、違章案例等開展實(shí)際分析。技術(shù)元數(shù)據(jù)模塊和元數(shù)據(jù)模

對(duì)于系統(tǒng)內(nèi)部的 ETL 元數(shù)據(jù)，指的是在 ETL 結(jié)構(gòu)內(nèi)部，通過數(shù)據(jù)的抽取、剔除以及轉(zhuǎn)換等得到自身的元數(shù)據(jù)，這些元數(shù)據(jù)組內(nèi)部得到 ETL 任務(wù)，儲(chǔ)存在自身的資料庫(kù)內(nèi)部。ETL 實(shí)際操作利用的聲明模式的框架實(shí)現(xiàn)，也就是用戶需求ETL 任務(wù)采用前將有關(guān)控制信息、描述信息得到，且完成設(shè)置，無需人工操作任務(wù)執(zhí)行模塊。因此如果是理想操作模式，一律通過元數(shù)據(jù)開始點(diǎn)到點(diǎn)數(shù)據(jù)加載過程[29]，控制元數(shù)據(jù)與 ETL 任務(wù)元數(shù)據(jù)等的實(shí)現(xiàn)通常可以包括在這些元數(shù)據(jù)中。2.1.3 元數(shù)據(jù)管理模式系統(tǒng)實(shí)際操作（比如獲得、存儲(chǔ)、維護(hù)元數(shù)據(jù)等）實(shí)質(zhì)上屬于元數(shù)據(jù)管理模塊中的操作，而在交通物流系統(tǒng)模塊中，元數(shù)據(jù)在各個(gè)企業(yè)應(yīng)用的內(nèi)部，通過研究我們可以看到，元數(shù)據(jù)的獲得以及處理模式包括如圖 2-2 所示的分布式、集中式[19]等：
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 蘇剛;王堅(jiān);凌衛(wèi)青;;基于大數(shù)據(jù)的智能交通分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2015年36期

2 金英華;張巖;;基于Hadoop云平臺(tái)的智能匹配物流系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];山東工業(yè)技術(shù);2015年18期

3 洪運(yùn)國(guó);;電子商務(wù)物流的大數(shù)據(jù)處理分析[J];中國(guó)新通信;2015年08期

4 白玲玲;韓天鵬;;大數(shù)據(jù)在智能交通系統(tǒng)中的應(yīng)用研究[J];電腦知識(shí)與技術(shù);2015年10期

5 王鑫龍;;大數(shù)據(jù)環(huán)境下的物流開放平臺(tái)業(yè)務(wù)及應(yīng)用方案研究[J];中國(guó)商貿(mào);2014年18期

6 曲建科;;物流企業(yè)運(yùn)輸崗位目標(biāo)管理制度設(shè)計(jì)與推行[J];價(jià)值工程;2013年04期

相關(guān)碩士學(xué)位論文 前3條

1 王一鳴;基于知識(shí)圖譜的推薦技術(shù)研究及應(yīng)用[D];電子科技大學(xué);2018年

2 朱晨杰;MapReduce作業(yè)組合系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

3 孫安健;通用ETL工具的研究與設(shè)計(jì)[D];復(fù)旦大學(xué);2012年

本文編號(hào)：2660557