目前綿陽市共建設超過700個公路卡口,每天的過車記錄數(shù)據(jù)信息超過600萬條,并伴隨有大量的圖片和視頻數(shù)據(jù)信息。但是隨著更多新建的卡口接入原有的緝查布控系統(tǒng),系統(tǒng)產(chǎn)生的問題也日趨嚴重,因此需要對原有緝查布控系統(tǒng)進行改進。在原有緝查布控系統(tǒng)中,采用Servlet接口接收從前端卡口系統(tǒng)上傳的數(shù)據(jù),然后經(jīng)過比對分析后存入Oracle數(shù)據(jù)庫。這樣的架構導致了一個很嚴重的問題,即由于在接口中數(shù)據(jù)會進行比對分析,接口處理數(shù)據(jù)的速度與卡口上傳數(shù)據(jù)的速度之間存在差異,因此很容易造成數(shù)據(jù)在接口處不斷的積壓,導致業(yè)務端的數(shù)據(jù)實時性非常低。原有緝查布控系統(tǒng)中卡口數(shù)量少的時候,此問題不是很明顯,但是隨著城市的發(fā)展,卡口數(shù)量不斷增長,問題也日趨嚴重。在問題剛開始出現(xiàn)的時候,提供的解決方式是增加緝查布控系統(tǒng)的服務器數(shù)量,問題也得到了暫時的解決,但是關系型數(shù)據(jù)庫在數(shù)據(jù)量大增的情況下,業(yè)務端的查詢與統(tǒng)計效率也大幅度降低,無法滿足業(yè)務系統(tǒng)的正常業(yè)務需求。因此經(jīng)過分析,提出以Hadoop框架及大數(shù)據(jù)分析方法來構建緝查布控系統(tǒng)。面對海量的過車記錄數(shù)據(jù),本系統(tǒng)采用大數(shù)據(jù)存儲和大數(shù)據(jù)分析技術來對其進行處理。系統(tǒng)通過Kafka分布... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：90 頁

【學位級別】：碩士

【部分圖文】：

SpringMVC底層執(zhí)行原理

電子科技大學碩士學位論文10角度分為完全備份、增量備份和差異備份。完全備份是指每次備份完整的數(shù)據(jù)；增量備份是指每次在完全備份或增量備份的基礎上只備份修改過數(shù)據(jù)，當需要恢復數(shù)據(jù)時，依賴于上次完整備份和每次增量備份；差異備份是指每次在完全備份的基礎上只備份修改過數(shù)據(jù)，當需要恢復數(shù)據(jù)時，依賴于上次完整備份和最后一次差異備份。圖2-2Oracle備份分類圖2.4HbaseHbase數(shù)據(jù)庫全稱HadoopDatabase，是一種構建在HDFS之上的分布式數(shù)據(jù)庫，其優(yōu)點在于超大規(guī)模數(shù)據(jù)集的時候?qū)崟r讀寫和隨機訪問速度都非常的快[18]。Hbase可以直接定位要查數(shù)據(jù)所在的服務器，然后在這個服務器的一個區(qū)域里查找需要匹配的數(shù)據(jù)，也就可以在保證一些實時計算方法能夠快速讀取到數(shù)據(jù)并對數(shù)據(jù)進行處理。Hbase是一種“NoSQL”數(shù)據(jù)庫，意味著Hbase不支持SQL語句，這點與以SQL語句作為其主要訪問語言的RDBMS不同。從技術上講，HBASE實際上更像是一個“數(shù)據(jù)存儲”而不是“數(shù)據(jù)庫”，因為它缺少RDBMS中的許多特性，例如類型化列、輔助索引、觸發(fā)器和高級查詢語言等。Hbase可以通過增加RegionServers來線性擴展。例如，如果集群中RegionServers的數(shù)量從10擴展到20個，那么它的存儲能力和處理能力都會加倍。關系型數(shù)據(jù)庫也可以有很好的擴展性，但是擴展有限度，并且為了保證最佳的性能，需要專門的硬件和存儲設備。什么時候應該使用Hbase？首先，確保系統(tǒng)有足夠的數(shù)據(jù)，卡口每月產(chǎn)生數(shù)億

電子科技大學碩士學位論文12出來的結(jié)果進行預測性分析，例如系統(tǒng)中的落腳點分析，從每天的落腳點中預測哪個卡點為真實落腳點；SemanticEngines（語義引擎），指的是設計語義引擎來識別非結(jié)構化數(shù)據(jù)，例如系統(tǒng)中接入的卡口過車數(shù)據(jù)不止一個廠商，每個廠商給出的卡口數(shù)據(jù)格式也存在差異；DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理），指的是通過一些標準化的流程來保證結(jié)果的質(zhì)量，例如系統(tǒng)對過車數(shù)據(jù)上傳的情況進行監(jiān)測，監(jiān)測內(nèi)容包括上傳成功、失敗的數(shù)據(jù)總數(shù)、卡口數(shù)據(jù)上傳時延情況以及上傳失敗的卡口排行、上傳失敗的原因排行等，有利于用戶及時發(fā)現(xiàn)異常。圖2-3大數(shù)據(jù)分析框架2.5.1Hadoop分布式架構Hadoop是由Apache開發(fā)的一個分布式系統(tǒng)，是分析大數(shù)據(jù)的領先平臺，其核心是HDFS（HadoopDistributedFileSystem）和MapReduce[23]。HDFS用于海量數(shù)據(jù)的分布式流式存儲，它可以部署在普通甚至廉價的硬件服務器上，它在處理超大文件、高可靠性和可容錯方面性能卓越[24]。MapReduce則是用于海量數(shù)據(jù)的計算，將復雜的計算抽象成Map和Reduce兩個函數(shù)，只用簡單的實現(xiàn)幾個接口，即可開發(fā)出一個分布式程序[25]。由于MapReduce在實時計算和流處理方面存在弊端，所以在緝查布控系統(tǒng)中采用SparkStream流計算框架。SparkStream采用RDD（ResilientDistributedDatasets）技術將數(shù)據(jù)集顯式的內(nèi)存中進行實時流計算，便于后續(xù)重用，因此在處理速度和靈活性上比MapReduce性能好[26]。

【參考文獻】：
期刊論文
[1]基于Kafka和Storm的車輛套牌實時分析存儲系統(tǒng)[J]. 任培花,蘇銘.  計算機系統(tǒng)應用. 2019(10)
[2]基于車輛異常行為的套牌車并行檢測方法[J]. 康晨傲,曾獻輝.  智能計算機與應用. 2019(03)
[3]基于大數(shù)據(jù)技術的智能交通管理與應用研究[J]. 楊永斌,李笑揚.  重慶工商大學學報(自然科學版). 2019(02)
[4]基于級聯(lián)多任務深度學習的卡口識別引擎研究[J]. 何霞,湯一平,袁公萍,陳朋,王麗冉.  計算機科學. 2019(01)
[5]智能交通信息物理融合云控制系統(tǒng)[J]. 夏元清,閆策,王笑京,宋向輝.  自動化學報. 2019(01)
[6]智能車輛緝查布控系統(tǒng)的設計與實現(xiàn)探討[J]. 李健.  科技經(jīng)濟導刊. 2018(33)
[7]地面交通控制的百年回顧和未來展望[J]. 李力,王飛躍.  自動化學報. 2018(04)
[8]MVC模式下多層分布式軟件系統(tǒng)架構設計[J]. 劉正,張書鋒,趙鶴鳴.  現(xiàn)代電子技術. 2018(07)
[9]基于卡口監(jiān)測數(shù)據(jù)流的套牌車檢測[J]. 李敏茜,毛嘉莉,袁培森,金澈清.  華東師范大學學報(自然科學版). 2018(02)
[10]Oracle、VB和Matlab在智能交通系統(tǒng)中的應用[J]. 李亞.  工程技術研究. 2018(02)



本文編號：3339278