基于Hadoop分布式計(jì)算平臺的車輛監(jiān)控系統(tǒng)數(shù)據(jù)的分析與應(yīng)用
本文選題:Hadoop分布式平臺 + 車輛監(jiān)控系統(tǒng); 參考:《北京郵電大學(xué)》2016年碩士論文
【摘要】:隨著科技的進(jìn)步和經(jīng)濟(jì)的發(fā)展,汽車行業(yè)也得到了快速發(fā)展。伴隨著汽車保有量的持續(xù)增加,諸如交通擁堵、交通事故頻發(fā)等眾多問題也顯現(xiàn)出來,給人們的生活帶來許多負(fù)面影響。智能交通系統(tǒng)應(yīng)運(yùn)而生,其利用互聯(lián)網(wǎng)技術(shù)致力于解決由于汽車數(shù)量急速增加帶來的各類交通問題。車輛監(jiān)控系統(tǒng)作為其核心組成部分負(fù)責(zé)實(shí)時(shí)記錄所監(jiān)控車輛的各項(xiàng)數(shù)據(jù),并且積累了海量的車輛監(jiān)控?cái)?shù)據(jù)。目前大部分車輛監(jiān)控?cái)?shù)據(jù)并沒有得到二次分析利用,本文擬提出一個完整的數(shù)據(jù)分析方案來充分利用這些歷史數(shù)據(jù),發(fā)掘其潛在價(jià)值。根據(jù)原始車輛監(jiān)控系統(tǒng)的數(shù)據(jù)特點(diǎn)及相關(guān)數(shù)據(jù)分析處理技術(shù)的研究,論文采用基于Hadoop分布式計(jì)算平臺,應(yīng)用其子項(xiàng)目 Hive和Pig作為數(shù)據(jù)分析工具的方式,充分利用Hadoop的分布式并行處理能力完成基于Hadoop分布式計(jì)算平臺的車輛監(jiān)控系統(tǒng)數(shù)據(jù)的分析與應(yīng)用。本文首先完成了車輛監(jiān)控平臺的設(shè)計(jì),對企業(yè)車輛的多項(xiàng)指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控并為后續(xù)研究積累源數(shù)據(jù)。隨后根據(jù)車輛監(jiān)控?cái)?shù)據(jù)的特點(diǎn)設(shè)計(jì)基于Hive數(shù)據(jù)倉庫的數(shù)據(jù)分析方式,包括主題、邏輯模型、多維度分析、粒度選擇及元數(shù)據(jù)的設(shè)計(jì)等。同時(shí)完成基于Pig平臺實(shí)現(xiàn)的靈活性更高,開發(fā)成本更小的低復(fù)雜度、低執(zhí)行延遲的數(shù)據(jù)分析方式的設(shè)計(jì),作為基于Hive分析方式的補(bǔ)充,完善基于Hadoop分布式計(jì)算平臺的車輛監(jiān)控系統(tǒng)數(shù)據(jù)的分析與應(yīng)用。最后通過搭建測試平臺對實(shí)際數(shù)據(jù)進(jìn)行分析處理,驗(yàn)證其在分析處理海量車輛監(jiān)控系統(tǒng)數(shù)據(jù)方面的性能優(yōu)勢,并且能夠?yàn)槠髽I(yè)、政府等相關(guān)用戶提供交通管理方面的決策支持。
[Abstract]:With the development of science and technology and the development of economy , the auto industry has also got the rapid development . With the continuous increase of the quantity of automobile , many problems such as traffic jam and frequent traffic accidents are put forward . The data analysis method based on the Hadoop distributed computing platform is designed based on Hadoop distributed computing platform . The data analysis method based on the Hadoop distributed computing platform is used to analyze and apply the data of vehicle monitoring system based on Hadoop distributed computing platform .
【學(xué)位授予單位】:北京郵電大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2016
【分類號】:TP311.13;TP277
【參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 崔文斌;牟少敏;王云誠;浩慶波;昌騰騰;;Hadoop大數(shù)據(jù)平臺的搭建與測試[J];山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期
2 譚潔清;毛錫軍;;Hadoop云計(jì)算基礎(chǔ)架構(gòu)的搭建和hbase和hive的整合應(yīng)用[J];貴州科學(xué);2013年05期
3 陳吉榮;樂嘉錦;;基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J];計(jì)算機(jī)工程與科學(xué);2013年10期
4 王彥明;奉國和;薛云;;近年來Hadoop國外研究綜述[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2013年06期
5 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期
6 劉博元;范文慧;肖田元;;決策支持系統(tǒng)研究現(xiàn)狀分析[J];系統(tǒng)仿真學(xué)報(bào);2011年S1期
7 張華強(qiáng);;關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫[J];電腦知識與技術(shù);2011年20期
8 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期
9 胡黎瑋;;基于Pig Latin語言的海量數(shù)據(jù)分析[J];數(shù)字技術(shù)與應(yīng)用;2010年05期
10 王立偉;;數(shù)據(jù)挖掘研究現(xiàn)狀綜述[J];圖書與情報(bào);2008年05期
相關(guān)碩士學(xué)位論文 前10條
1 唐榕蔚;基于HIVE電子商務(wù)多維分析技術(shù)應(yīng)用研究[D];北方工業(yè)大學(xué);2015年
2 王翔;基于Hadoop的電信運(yùn)營商海量數(shù)據(jù)處理方法的研究與應(yīng)用[D];南京郵電大學(xué);2014年
3 鮑駿;基于北斗定位的車輛監(jiān)控系統(tǒng)的研究[D];南京理工大學(xué);2014年
4 秦玉蘭;基于HIVE的海量數(shù)據(jù)報(bào)表服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年
5 黃佳;并行ETL工具可擴(kuò)展技術(shù)的研究和開發(fā)[D];北京郵電大學(xué);2014年
6 曹英;大數(shù)據(jù)環(huán)境下Hadoop性能優(yōu)化的研究[D];大連海事大學(xué);2013年
7 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年
8 曹芳芳;基于海量數(shù)據(jù)的實(shí)時(shí)查詢處理[D];武漢理工大學(xué);2013年
9 王永洲;基于HDFS的存儲技術(shù)的研究[D];南京郵電大學(xué);2013年
10 尹立松;基于MapReduce和編程方式的ETL框架研究與應(yīng)用[D];東華大學(xué);2013年
,本文編號:1884686
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/1884686.html