本文關(guān)鍵詞：基于大數(shù)據(jù)技術(shù)的車輛監(jiān)控系統(tǒng)的優(yōu)化與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展和“互聯(lián)網(wǎng)+”熱潮的推動(dòng),傳統(tǒng)行業(yè)逐漸向信息化方向靠攏,這已成為傳統(tǒng)行業(yè)中的重要戰(zhàn)略布局,使得互聯(lián)網(wǎng)信息化在全球范圍內(nèi)的數(shù)據(jù)迅速增長(zhǎng),數(shù)據(jù)種類也越來(lái)越豐富。近年來(lái)隨著人們生活水平的提高,汽車已成主要的交通工具,汽車的銷量逐年上升,導(dǎo)致車輛所產(chǎn)生的數(shù)據(jù)也隨之不斷增長(zhǎng)。目前的車輛監(jiān)控系統(tǒng)中由車載終端上傳的數(shù)據(jù)大部分以傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)模式存儲(chǔ),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在存儲(chǔ)數(shù)據(jù)量到達(dá)一定規(guī)模后查詢效率將會(huì)大幅度下降,對(duì)系統(tǒng)的整體性能產(chǎn)生巨大的影響,因此大數(shù)據(jù)量的問題已成為目前車輛監(jiān)控系統(tǒng)中的主要性能瓶頸。本文將介紹幾種大數(shù)據(jù)處理技術(shù)并加以運(yùn)用,包括Spark分布式計(jì)算框架,Hbase數(shù)據(jù)庫(kù),Kafka消息隊(duì)列,Redis緩存服務(wù)器。充分利用這幾項(xiàng)技術(shù)的優(yōu)勢(shì),對(duì)目前的車輛監(jiān)控系統(tǒng)進(jìn)行優(yōu)化,采用Kafka作為車載終端和監(jiān)控平臺(tái)的數(shù)據(jù)橋梁,車載終端服務(wù)采集車輛信息上傳到Kafka,Spark從Kafka接收上傳的數(shù)據(jù)進(jìn)行并行處理和計(jì)算,計(jì)算過程中需要的配置信息從Redis中讀取,最后將計(jì)算的結(jié)果中臨時(shí)數(shù)據(jù)緩存到Redis中、離線數(shù)據(jù)存放在Hbase中,供監(jiān)控平臺(tái)使用;在線數(shù)據(jù)發(fā)送到Kafka中,供上級(jí)(政府)平臺(tái)使用。通過采用以上技術(shù)對(duì)車輛監(jiān)控系統(tǒng)優(yōu)化后,系統(tǒng)的吞吐量和性能有明顯的提升,并且具備良好的擴(kuò)展性可滿足日益增長(zhǎng)的數(shù)據(jù)需求,該優(yōu)化方案對(duì)車輛監(jiān)控系統(tǒng)大數(shù)據(jù)的存儲(chǔ)和效率提升上有顯著作用。
【關(guān)鍵詞】：車輛監(jiān)控系統(tǒng) Spark Hbase Kafka Redis
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP277
【目錄】：

• 摘要4-5
• abstract5-8
• 第1章 緒論8-11
• 1.1 課題背景及研究意義8-9
• 1.2 國(guó)內(nèi)外發(fā)展現(xiàn)狀9
• 1.3 論文主要工作9-10
• 1.4 本章小結(jié)10-11
• 第2章 相關(guān)理論及技術(shù)介紹11-17
• 2.1 分布式計(jì)算框架-SPARK11-12
• 2.2 非關(guān)系型數(shù)據(jù)庫(kù)- HBASE12-13
• 2.3 高吞吐量消息隊(duì)列- KAFKA13-15
• 2.4 高速緩存服務(wù)器- REDIS15-16
• 2.5 本章小結(jié)16-17
• 第3章 需求分析17-25
• 3.1 功能需求19-23
• 3.1.1 最新軌跡信息緩存19-20
• 3.1.2 拆分計(jì)算報(bào)警信息20-21
• 3.1.3 軌跡信息和報(bào)警信息存儲(chǔ)21
• 3.1.4 軌跡信息和報(bào)警信息上報(bào)21
• 3.1.5 軌跡信息和報(bào)警信息匯總21-23
• 3.2 性能需求23
• 3.3 環(huán)境需求23-24
• 3.4 本章小結(jié)24-25
• 第4章 系統(tǒng)設(shè)計(jì)25-55
• 4.1 總體設(shè)計(jì)25-28
• 4.2 詳細(xì)設(shè)計(jì)28-45
• 4.2.1 最新軌跡信息緩存28-30
• 4.2.2 拆分計(jì)算報(bào)警信息30-34
• 4.2.3 軌跡信息和報(bào)警信息存儲(chǔ)34-37
• 4.2.4 軌跡信息和報(bào)警信息上報(bào)37-40
• 4.2.5 軌跡信息和報(bào)警信息匯總40-45
• 4.3 數(shù)據(jù)庫(kù)設(shè)計(jì)45-54
• 4.3.1 Hbase表結(jié)構(gòu)設(shè)計(jì)46-47
• 4.3.2 Redis表結(jié)構(gòu)設(shè)計(jì)47-50
• 4.3.3 Oracle表結(jié)構(gòu)設(shè)計(jì)50-52
• 4.3.4 Kafka隊(duì)列結(jié)構(gòu)設(shè)計(jì)52-54
• 4.4 本章小結(jié)54-55
• 第5章 系統(tǒng)實(shí)現(xiàn)55-67
• 5.1 最新軌跡信息緩存55-56
• 5.2 拆分計(jì)算報(bào)警信息56-59
• 5.3 軌跡信息和報(bào)警信息存儲(chǔ)59-61
• 5.4 軌跡信息和報(bào)警信息上報(bào)61-64
• 5.5 軌跡信息和報(bào)警信息匯總64-66
• 5.6 測(cè)試結(jié)果及分析66
• 5.7 本章小結(jié)66-67
• 第6章 總結(jié)與展望67-68
• 參考文獻(xiàn)68-71
• 致謝71

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 陳小平;王勇;景紅;;安全車輛監(jiān)控系統(tǒng)設(shè)計(jì)[J];微計(jì)算機(jī)信息;2006年31期

2 李倫彬;;車輛監(jiān)控系統(tǒng)設(shè)計(jì)存在的問題及其對(duì)策探討[J];黑龍江科技信息;2010年33期

3 趙志勇;;市重點(diǎn)車輛監(jiān)控系統(tǒng)在道路運(yùn)輸安全監(jiān)管應(yīng)用[J];信息與電腦(理論版);2011年07期

4 楊卓敏;盧誠(chéng);;大范圍聯(lián)網(wǎng)的公路車輛監(jiān)控系統(tǒng)日常維護(hù)[J];中國(guó)交通信息化;2013年10期

5 胡吉明,霍其潤(rùn),宋培卿;移動(dòng)車輛監(jiān)控系統(tǒng)的研究與設(shè)計(jì)[J];電腦與信息技術(shù);2002年04期

6 陳淑燕,瞿高峰;網(wǎng)絡(luò)城防卡口車輛監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2002年13期

7 許志海,張昭云,王佑武;基于組件的可擴(kuò)展車輛監(jiān)控系統(tǒng)的設(shè)計(jì)[J];測(cè)繪通報(bào);2005年11期

8 別麗華;宋中山;王鑫;;車輛監(jiān)控系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù)分析[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年01期

9 沈立明;徐俊杰;盧健琦;;寶鋼危險(xiǎn)品運(yùn)輸車輛監(jiān)控系統(tǒng)的技術(shù)與實(shí)現(xiàn)[J];寶鋼技術(shù);2006年05期

10 于明飛;;車輛監(jiān)控系統(tǒng)中的定位技術(shù)分析[J];科技信息(學(xué)術(shù)研究);2007年16期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 仰燕蘭;葉樺;費(fèi)樹岷;;分布式車輛監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

2 趙升;孫愛民;周偉;;鮮奶運(yùn)輸中GPS系統(tǒng)的運(yùn)用[A];首屆中國(guó)奶業(yè)大會(huì)論文集(上冊(cè))[C];2010年

3 許志海;張昭云;王佑武;;可擴(kuò)展車輛監(jiān)控系統(tǒng)的探討與設(shè)計(jì)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

4 武玉梁;張義章;;危險(xiǎn)化學(xué)品運(yùn)輸車輛監(jiān)控系統(tǒng)設(shè)計(jì)[A];中國(guó)職業(yè)安全健康協(xié)會(huì)2013年學(xué)術(shù)年會(huì)論文集[C];2013年

5 劉征宇;張文亮;張利;;基于CDMA的車輛監(jiān)控系統(tǒng)的車載終端硬件設(shè)計(jì)[A];2005年“數(shù)字安徽”博士科技論壇論文集[C];2005年

6 張繼南;朱江;;基于WebGIS的GPS車輛監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

7 王凌;楊新照;張鳳登;;基于GPS的車輛監(jiān)控系統(tǒng)[A];中國(guó)儀器儀表學(xué)會(huì)第六屆青年學(xué)術(shù)會(huì)議論文集[C];2004年

8 余陽(yáng);;基于GPS/GIS/3G技術(shù)的警用車輛監(jiān)控系統(tǒng)[A];第十六屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2011年

9 張紅軍;;基于3G技術(shù)的小型車輛監(jiān)控系統(tǒng)設(shè)計(jì)與開發(fā)[A];首屆長(zhǎng)三角科技論壇數(shù)字區(qū)域建設(shè)與地理空間技術(shù)論壇優(yōu)秀論文集[C];2004年

10 朱麗娜;潘偉;吳曉平;;基于GIS與GPRS的車輛監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];2009中國(guó)控制與決策會(huì)議論文集（3）[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 MEB 記者 秦品;挽救了良心的車輛監(jiān)控系統(tǒng)[N];機(jī)電商報(bào);2011年

2 馬斌;“交通新時(shí)空”在南寧得到成功應(yīng)用[N];人民郵電;2005年

3 馬斌;交通新時(shí)空 為交通運(yùn)輸業(yè)保駕護(hù)航[N];人民郵電;2005年

4 通訊員 呂勇;煙臺(tái)港開通GPS車輛監(jiān)控系統(tǒng)[N];中國(guó)水運(yùn)報(bào);2005年

5 記者/何明 通訊員/黃敬良;我區(qū)長(zhǎng)途客車將全部裝上 GPS 車輛監(jiān)控系統(tǒng)[N];廣西日?qǐng)?bào);2004年

6 記者 莫艷萍 實(shí)習(xí)生 彭旭才;“交通新時(shí)空”GPS車輛監(jiān)控系統(tǒng)通過評(píng)審[N];廣西日?qǐng)?bào);2005年

7 夏雋;南京電網(wǎng)GPS車輛監(jiān)控系統(tǒng)升級(jí)[N];國(guó)家電網(wǎng)報(bào);2010年

8 本報(bào)記者 海艷麗;機(jī)械化數(shù)字化促我市環(huán)衛(wèi)工作省時(shí)省心又省力[N];呼和浩特日?qǐng)?bào)(漢);2011年

9 本報(bào)通訊員 許永賢;監(jiān)管水平靠科技提升[N];經(jīng)濟(jì)日?qǐng)?bào);2001年

10 北京靈圖軟件技術(shù)有限公司 唐裕津 劉蕾;構(gòu)筑中國(guó)的LBS體系[N];計(jì)算機(jī)世界;2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李香平;基于復(fù)合顏色空間與時(shí)空域的視頻車輛監(jiān)控系統(tǒng)的研究[D];天津大學(xué);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 侯晉瑞;車輛監(jiān)控系統(tǒng)監(jiān)控中心端設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2007年

2 張雨;安徽煙草車輛監(jiān)控系統(tǒng)的設(shè)計(jì)[D];安徽大學(xué);2007年

3 房春慶;車輛監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

4 齊光石;基于3G技術(shù)遠(yuǎn)程車輛監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2012年

5 穆斌;基于CDMA的車輛監(jiān)控系統(tǒng)終端的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

6 斯牛輝;特殊車輛監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 宋勇;基于北斗的車輛監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

8 曹帥;基于GPS/GIS的物流車輛遠(yuǎn)程監(jiān)控系統(tǒng)研究[D];安徽農(nóng)業(yè)大學(xué);2014年

9 陳寅菲;基于RFID的車輛監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2014年

10 錢科宇;基于WebGIS的車輛監(jiān)控系統(tǒng)的性能優(yōu)化研究[D];南京郵電大學(xué);2015年

  本文關(guān)鍵詞：基于大數(shù)據(jù)技術(shù)的車輛監(jiān)控系統(tǒng)的優(yōu)化與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：397074