在信息化時代背景下,每天都會產(chǎn)生大量的數(shù)據(jù),需要處理的數(shù)據(jù)量越來越大,對處理時間的要求卻越來越短。面對如此繁雜眾多的信息系統(tǒng)以及海量的數(shù)據(jù),如何從這些復(fù)雜信息系統(tǒng)中提取有用的數(shù)據(jù)進(jìn)行分析決策是當(dāng)下面臨的一大難題。在此背景下,本文將研究交通警察信息系統(tǒng)中數(shù)據(jù)的提取以及建模應(yīng)用。本文選取交通警察信息系統(tǒng)的數(shù)據(jù)進(jìn)行應(yīng)用研究,首先確定好交通數(shù)據(jù)的新型存儲平臺——數(shù)據(jù)倉庫,這將存儲散落在原先各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。為保證交通警察數(shù)據(jù)倉庫中數(shù)據(jù)的同步性和準(zhǔn)確性,本文結(jié)合gpload的特性設(shè)計實現(xiàn)了數(shù)據(jù)導(dǎo)入的ETL工具,將抽取出來的數(shù)據(jù),進(jìn)行轉(zhuǎn)換后再并行加載。還設(shè)計了調(diào)度中心來對生產(chǎn)環(huán)境中的ETL任務(wù)集群進(jìn)行調(diào)度,其使用高響應(yīng)比優(yōu)先策略搭配蟻群算法來負(fù)責(zé)處理ETL任務(wù)的調(diào)度安排,使用quartz負(fù)責(zé)實際調(diào)度執(zhí)行,從而將數(shù)據(jù)提取到數(shù)據(jù)倉庫中。然后對交通警察數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行分析,例如在卡點采集的車輛經(jīng)過數(shù)據(jù)中尋找其中的套牌車輛。先對卡口數(shù)據(jù)集的結(jié)構(gòu)進(jìn)行了分析,找出其中跟套牌車分析有關(guān)的屬性信息,并將業(yè)務(wù)上的分析方法轉(zhuǎn)化成定量的數(shù)學(xué)模型。再引入時空矛盾的新約束,設(shè)計基于時空矛盾的車牌套牌算法,將相關(guān)套牌... 

【文章來源】：浙江理工大學(xué)浙江省

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

論文體系結(jié)構(gòu)

、數(shù)據(jù)存儲與分析層、數(shù)據(jù)共享層和數(shù)據(jù)應(yīng)用層組成。源頭層是數(shù)據(jù)倉庫的基礎(chǔ)，也是整個數(shù)據(jù)倉庫數(shù)據(jù)的源頭，主要來源于交通系統(tǒng)和道路卡點監(jiān)測系統(tǒng)等業(yè)務(wù)系統(tǒng)的實際業(yè)務(wù)數(shù)據(jù)。 ETL 層主要負(fù)責(zé)將數(shù)據(jù)源頭層中分布廣泛的各種業(yè)務(wù)數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換、后加載到數(shù)據(jù)倉庫的存儲層中。存儲與分析層是負(fù)責(zé)交通警察數(shù)據(jù)的組織、管理以及相關(guān)分析，通過數(shù)據(jù)分進(jìn)行情報研判、車輛軌跡分析以及對數(shù)據(jù)的實時分析處理來進(jìn)行交通誘導(dǎo)。共享層是將數(shù)據(jù)倉庫中的數(shù)據(jù)提供給其他系統(tǒng)和部門來使用，比如情報部門數(shù)據(jù)分析來對嫌疑人員進(jìn)行有重點的布控和抓捕。應(yīng)用層主要是各種數(shù)據(jù)查詢分析界面，如只需在交通警察數(shù)據(jù)倉庫就可查詢據(jù)而無需跨部門協(xié)調(diào)查詢，還可將車輛的所有信息可視化的展示出來，做到知方位，并對應(yīng)上不同的標(biāo)簽，來對不同類型的車輛進(jìn)行個性化分析和預(yù)測

圖 2.2 交通警察數(shù)據(jù)倉庫特征1）面向主題性，是指交通警察數(shù)據(jù)倉庫的設(shè)計和規(guī)劃是按照一定的主題進(jìn)行推動通警察會對車輛的相關(guān)信息更為敏感，因此在數(shù)據(jù)存儲和數(shù)據(jù)模塊的劃分時更注這一主題。特別是其中數(shù)據(jù)量最大、關(guān)系最為復(fù)雜的車輛經(jīng)過卡點識別信息表，儲時就應(yīng)該按照車輛這個主體的相關(guān)信息這個分類進(jìn)行存儲[18]，而不是按照卡點 集時間來進(jìn)行存儲，這樣才能針對性的提供決策分析時的數(shù)據(jù)支持。2）集成性，交通警察數(shù)據(jù)倉庫的數(shù)據(jù)來自于不同業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)和現(xiàn)場執(zhí)法據(jù)，在對源頭的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取后，需要對不一致性的數(shù)據(jù)進(jìn)行加工和集成[19]輛經(jīng)過卡點識別信息中的號牌號碼和車輛登記系統(tǒng)中的號牌號碼格式不一致，需格式統(tǒng)一化后再進(jìn)行保存。3）穩(wěn)定性，交通警察數(shù)據(jù)倉庫主要是將存儲的數(shù)據(jù)對用戶提供頻繁的數(shù)據(jù)獲取析展示，和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比而言少了數(shù)據(jù)的修改，因此數(shù)據(jù)倉庫的數(shù)據(jù)

【參考文獻(xiàn)】：
期刊論文
[1]2017年全國機(jī)動車和駕駛?cè)吮３指呶辉鲩L[J].   道路交通管理. 2018(02)
[2]基于聚類分組和屬性綜合權(quán)值的SNM改進(jìn)算法[J]. 楊巧巧,郭振波,王開西.  工業(yè)控制計算機(jī). 2017(09)
[3]基于開源代碼的ETL工具的實現(xiàn)[J]. 汪洋,韓寧.  微型機(jī)與應(yīng)用. 2016(24)
[4]基于計算機(jī)軟件開發(fā)的JAVA編程語言解析[J]. 樸宏波.  科技創(chuàng)新導(dǎo)報. 2016(30)
[5]海量車牌識別數(shù)據(jù)集上基于時空劃分的旅行時間計算方法[J]. 趙卓峰,丁維龍,張帥.  電子學(xué)報. 2016(05)
[6]基于歷史車牌識別數(shù)據(jù)的套牌車并行檢測方法[J]. 李悅,劉晨.  計算機(jī)應(yīng)用. 2016(03)
[7]智慧搜索中的實體與關(guān)聯(lián)關(guān)系建模與挖掘[J]. 王曉陽,鄭驍慶,肖仰華.  通信學(xué)報. 2015(12)
[8]基于任務(wù)合并的并行大數(shù)據(jù)清洗過程優(yōu)化[J]. 楊東華,李寧寧,王宏志,李建中,高宏.  計算機(jī)學(xué)報. 2016(01)
[9]異構(gòu)信息空間中實體關(guān)聯(lián)關(guān)系挖掘算法CFRQ4A[J]. 楊丹,申德榮,聶鐵錚,于戈,寇月.  計算機(jī)研究與發(fā)展. 2014(04)
[10]BI系統(tǒng)從規(guī)劃、實施到持續(xù)改進(jìn)[J]. 王小玲.  信息系統(tǒng)工程. 2013(08)

碩士論文
[1]基于ETL的數(shù)據(jù)集成及交換系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 李磊.北方工業(yè)大學(xué) 2018
[2]工業(yè)大數(shù)據(jù)相似重復(fù)記錄數(shù)據(jù)清洗關(guān)鍵技術(shù)研究[D]. 楊巧巧.青島大學(xué) 2018
[3]基于SpringBoot和Vue框架的電子招投標(biāo)系統(tǒng)的設(shè)計與實現(xiàn)[D]. 焦鵬琿.南京大學(xué) 2018
[4]基于大數(shù)據(jù)的實時交通流預(yù)測方法研究[D]. 白亞男.廣東工業(yè)大學(xué) 2018
[5]基于Kettle集群的ETL管理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 張懿.山東大學(xué) 2018
[6]基于數(shù)據(jù)倉庫的社保統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 唐磊.電子科技大學(xué) 2018
[7]基于機(jī)器學(xué)習(xí)的多源異構(gòu)大數(shù)據(jù)清洗技術(shù)研究[D]. 楊尚林.廣西大學(xué) 2017
[8]基于B/S的教學(xué)培訓(xùn)信息管理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 位超.電子科技大學(xué) 2017
[9]基于Storm的海量交通數(shù)據(jù)實時處理平臺的研究[D]. 喬通.北方工業(yè)大學(xué) 2017
[10]基于企業(yè)信息資源目錄的多源ETL模型的研究[D]. 于洋.東北石油大學(xué) 2017



本文編號：2951677