本文關(guān)鍵詞：基于Hadoop的面向海量交通流數(shù)據(jù)分析與利用

  更多相關(guān)文章： 交通流數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop 伴隨車 浮動(dòng)車聚集

【摘要】：近年來,隨著城市機(jī)動(dòng)車保有量的持續(xù)增長(zhǎng),交通違章和違法行為越來越多,如多輛車結(jié)伴作案、出租車罷工罷運(yùn)、酒駕等,對(duì)城市安全帶來了巨大隱患。如何快速識(shí)別以上交通行為模式對(duì)公安、交警主動(dòng)預(yù)警和事后偵查具有重要意義。此外,針對(duì)日益增長(zhǎng)的海量交通流數(shù)據(jù),傳統(tǒng)的處理方法在存儲(chǔ)空間和計(jì)算效率上已經(jīng)不能滿足用戶的應(yīng)用需求。因此本文重點(diǎn)研究“多車頻繁結(jié)伴——本文稱之為伴隨”和“出租車罷工罷運(yùn)——本文稱之為浮動(dòng)車聚集”兩種交通行為模式,并提出了面向交通流時(shí)空大數(shù)據(jù)的伴隨模式高效挖掘算法和基于HBase的浮動(dòng)車聚集模式實(shí)時(shí)監(jiān)測(cè)算法,然后在此基礎(chǔ)上構(gòu)建基于Hadoop的面向海量交通數(shù)據(jù)的分析和處理平臺(tái)。本文在如下方面進(jìn)行了較為有益的探索:(1)通過對(duì)海量卡口過車數(shù)據(jù)的分析和面向海量交通流數(shù)據(jù)的伴隨車行為模式的研究,首先給出了頻繁項(xiàng)集相關(guān)概念在伴隨車挖掘中的新定義,并在此基礎(chǔ)上提出了基于MapReduce的時(shí)空大數(shù)據(jù)頻繁項(xiàng)集挖掘算法FSST,實(shí)驗(yàn)證明該算法在準(zhǔn)確性、執(zhí)行時(shí)間和內(nèi)存使用等方面優(yōu)于傳統(tǒng)的Apriori和Sequence-Growth算法,最后提出了伴隨車的嫌疑度計(jì)算方法用于計(jì)算伴隨車嫌疑大小。(2)根據(jù)浮動(dòng)車聚集行為模式的特征,定義了浮動(dòng)車聚集行為模式,同時(shí)參考基于網(wǎng)格的聚類算法和HBase的數(shù)據(jù)模型,提出了基于HBase的全天候全域浮動(dòng)車聚集實(shí)時(shí)監(jiān)測(cè)算法,定時(shí)執(zhí)行該算法,在真實(shí)的、海量交通數(shù)據(jù)上的實(shí)驗(yàn)證明該算法監(jiān)測(cè)浮動(dòng)車聚集的有效性。(3)實(shí)現(xiàn)了上述研究?jī)?nèi)容的基于Hadoop的交通大數(shù)據(jù)分析平臺(tái),主要包括大數(shù)據(jù)平臺(tái)、后臺(tái)應(yīng)用程序和前臺(tái)展示。由于平臺(tái)超強(qiáng)的計(jì)算和存儲(chǔ)能力,加上良好的擴(kuò)展性,后續(xù)的交通分析都可以集成到該平臺(tái)上。
【關(guān)鍵詞】：交通流數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop 伴隨車 浮動(dòng)車聚集
【學(xué)位授予單位】：杭州電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：U491.112;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-16
• 1.1 課題研究背景及意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 面向交通流數(shù)據(jù)分析的伴隨車行為和浮動(dòng)車聚集行為研究現(xiàn)狀12-13
• 1.2.2 Hadoop技術(shù)在交通流數(shù)據(jù)分析中的應(yīng)用研究現(xiàn)狀13-14
• 1.3 本文研究?jī)?nèi)容14-15
• 1.4 本文組織結(jié)構(gòu)15-16
• 第二章 基于Hadoop的海量交通流分析相關(guān)技術(shù)16-27
• 2.1 面向交通流分析的伴隨車行為模式挖掘相關(guān)算法16-17
• 2.2 面向交通流分析的浮動(dòng)車聚集行為模式挖掘相關(guān)算法17-18
• 2.3 構(gòu)建基于Hadoop生態(tài)系統(tǒng)的交通流數(shù)據(jù)分析平臺(tái)18-24
• 2.3.1 Hadoop生態(tài)系統(tǒng)18-20
• 2.3.2 Hadoop框架研究20-22
• 2.3.3 HBase分布式數(shù)據(jù)庫(kù)研究22-23
• 2.3.4 Spark框架研究23-24
• 2.4 交通流數(shù)據(jù)預(yù)處理24-26
• 2.4.1 卡口過車數(shù)據(jù)預(yù)處理24-25
• 2.4.2 浮動(dòng)車數(shù)據(jù)預(yù)處理25-26
• 2.5 本章小結(jié)26-27
• 第三章 面向海量交通流數(shù)據(jù)的伴隨車行為模式研究27-40
• 3.1 問題描述27-28
• 3.2 伴隨車行為模式定義28-29
• 3.3 伴隨車行為模式挖掘29-33
• 3.3.1 基本思想29-31
• 3.3.2 應(yīng)用舉例31-32
• 3.3.3 伴隨嫌疑度32-33
• 3.4 實(shí)驗(yàn)結(jié)果與討論33-39
• 3.4.1 相關(guān)類實(shí)現(xiàn)33-35
• 3.4.2 實(shí)驗(yàn)結(jié)果描述35-36
• 3.4.3 實(shí)驗(yàn)結(jié)果討論36-39
• 3.5 本章小結(jié)39-40
• 第四章 面向海量交通流數(shù)據(jù)的浮動(dòng)車聚集行為模式研究40-50
• 4.1 問題描述40
• 4.2 浮動(dòng)車聚集行為模式定義40-41
• 4.3 浮動(dòng)車聚集行為模式實(shí)時(shí)監(jiān)測(cè)算法41-47
• 4.3.1 網(wǎng)格模型41-42
• 4.3.2 定時(shí)執(zhí)行42-43
• 4.3.3 歷史閾值43-44
• 4.3.4 聚集結(jié)果表44-45
• 4.3.5 具體步驟45-47
• 4.4 實(shí)驗(yàn)結(jié)果與討論47-49
• 4.4.1 實(shí)驗(yàn)環(huán)境配置47-48
• 4.4.2 實(shí)驗(yàn)結(jié)果討論48-49
• 4.5 本章小結(jié)49-50
• 第五章 基于Hadoop的交通大數(shù)據(jù)分析平臺(tái)50-59
• 5.1 大數(shù)據(jù)平臺(tái)搭建50-55
• 5.1.1 基礎(chǔ)環(huán)境搭建50-51
• 5.1.2 安裝Hadoop51-53
• 5.1.3 安裝HBase53-54
• 5.1.4 安裝Spark54-55
• 5.2 基于Hadoop的交通大數(shù)據(jù)分析平臺(tái)實(shí)現(xiàn)55-58
• 5.2.1 平臺(tái)架構(gòu)55-56
• 5.2.2 平臺(tái)實(shí)現(xiàn)56-58
• 5.3 本章小結(jié)58-59
• 第六章 總結(jié)與展望59-61
• 6.1 本文工作總結(jié)59-60
• 6.2 未來展望60-61
• 致謝61-62
• 參考文獻(xiàn)62-67
• 附錄67-68
• 詳細(xì)摘要68-70

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 胡明偉,繆立新,王耘非;北京市交通流數(shù)據(jù)采集、處理/分析和信息發(fā)布系統(tǒng)設(shè)計(jì)[J];公路交通科技;2003年02期

2 朱雷雷;張韋華;聶慶慧;;干線公路交通流數(shù)據(jù)有效性檢驗(yàn)規(guī)則[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年01期

3 王方;李華;杜金玲;;無檢測(cè)器道路交通流數(shù)據(jù)質(zhì)量檢測(cè)方法[J];計(jì)算機(jī)工程;2014年03期

4 張亞平,裴玉龍;交通流數(shù)據(jù)采集、處理及其在通行能力分析中的應(yīng)用研究[J];東北公路;2003年01期

5 黃薇;胡永舉;程正;;基于聲強(qiáng)的交通流數(shù)據(jù)采集與狀態(tài)分析[J];交通科技與經(jīng)濟(jì);2010年04期

6 趙躍偉;;交通流數(shù)據(jù)的采集及基于Kalman濾波的處理應(yīng)用[J];中國(guó)科技信息;2007年22期

7 孫亞;朱鯉;;ITS檢測(cè)器交通流數(shù)據(jù)質(zhì)量控制系統(tǒng)研究[J];測(cè)控技術(shù);2008年07期

8 郭敏;藍(lán)金輝;李娟娟;林宗術(shù);孫新榮;;基于灰色殘差GM(1,N)模型的交通流數(shù)據(jù)恢復(fù)算法[J];交通運(yùn)輸系統(tǒng)工程與信息;2012年01期

9 鄭長(zhǎng)江;路源;;基于支持向量機(jī)的城市道路交通擁堵判別算法研究[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

10 鄭濱;陳錦標(biāo);夏少生;金永興;;基于數(shù)據(jù)挖掘的海上交通流數(shù)據(jù)特征分析[J];中國(guó)航海;2009年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 胡偉超;劉君叢;浩哲;肖鵬飛;;實(shí)時(shí)交通流數(shù)據(jù)缺失修復(fù)方法對(duì)比研究[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

2 張亞平;裴玉龍;周剛;;交通流數(shù)據(jù)采集、處理及其在通行能力分析中的應(yīng)用研究[A];土木工程與高新技術(shù)——中國(guó)土木工程學(xué)會(huì)第十屆年會(huì)論文集[C];2002年

3 趙慧;于雷;陳旭梅;耿彥斌;;ITS實(shí)時(shí)交通流數(shù)據(jù)質(zhì)量控制方法研究與案例分析[A];第一屆中國(guó)智能交通年會(huì)論文集[C];2005年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 丁男;基于WSN的實(shí)時(shí)動(dòng)態(tài)交通流數(shù)據(jù)獲取相關(guān)技術(shù)研究[D];大連理工大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 陸婷;基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2016年

2 劉夢(mèng)依;基于時(shí)空相關(guān)性的高速公路交通流故障數(shù)據(jù)修復(fù)方法研究[D];吉林大學(xué);2016年

3 朱劉江;基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲(chǔ)與分析研究[D];揚(yáng)州大學(xué);2015年

4 方煒;基于Hadoop的面向海量交通流數(shù)據(jù)分析與利用[D];杭州電子科技大學(xué);2016年

5 金逸文;城市快速路交通流數(shù)據(jù)修復(fù)方法研究[D];上海交通大學(xué);2008年

6 吳芳;交通流數(shù)據(jù)清洗的關(guān)鍵理論及方法研究[D];山東理工大學(xué);2009年

7 蒲樺隆;基于Qt/E的實(shí)時(shí)交通流數(shù)據(jù)顯示系統(tǒng)的研究[D];云南大學(xué);2015年

8 洪智兵;基于GPRS的實(shí)時(shí)交通流數(shù)據(jù)接發(fā)系統(tǒng)的研究[D];云南大學(xué);2015年

9 馬韻楠;基于模糊綜合評(píng)價(jià)的道路交通流數(shù)據(jù)質(zhì)量評(píng)價(jià)研究[D];北京交通大學(xué);2015年

10 張旭;面向交通運(yùn)行狀態(tài)評(píng)價(jià)的多源異質(zhì)交通流數(shù)據(jù)融合技術(shù)方法研究[D];北京交通大學(xué);2008年

，

本文編號(hào)：945699