交管數(shù)據(jù)是時空大數(shù)據(jù)的重要組成部分。改革開放以來,我國城市交通發(fā)展迅速,積累了海量的交管數(shù)據(jù),包含城市交通靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。這些海量交管數(shù)據(jù)中蘊含著非常多有價值的信息,這些信息有助于交管部門決策,精準輔助交管業(yè)務。交管業(yè)務中經(jīng)常需要統(tǒng)計駕駛員違法排名,統(tǒng)計路段事故數(shù)量以及分析路網(wǎng)超速行駛的軌跡點和車輛信息等類似的工作。這些工作本質(zhì)是數(shù)據(jù)庫相關數(shù)據(jù)表的查詢統(tǒng)計,SQL語句或是簡單或是復雜。但是交管業(yè)務中類似的工作具有很多,如果每個統(tǒng)計分析都由數(shù)據(jù)庫查詢統(tǒng)計或者相應的程序來完成,那么交管業(yè)務的工作量是巨大的,顯然效率也是低下的。因此,在分析了交管數(shù)據(jù)應用價值與交管業(yè)務需求基礎上,如何在交管數(shù)據(jù)中高效計算分析其中的信息成為亟需解決的問題。然而,傳統(tǒng)的時空數(shù)據(jù)分析系統(tǒng)多運行于單機系統(tǒng),缺乏在線服務,對空間數(shù)據(jù)類型支持度不高,對海量數(shù)據(jù)的計算分析效率較低�；谝陨辖还軜I(yè)務需求與存在的問題,本文嘗試一種面向交管業(yè)務分析的時空算子,旨在將交管業(yè)務中交管數(shù)據(jù)分析分解為多個子任務。本文采用時空算子與子任務關聯(lián),表達子任務數(shù)據(jù)操作,將交管數(shù)據(jù)分析抽象為一個模型,這樣整個模型構建就是由多個關聯(lián)算子的子任務組合而成。每個算子負責與其關聯(lián)子任務的計算功能,子任務間可以存在依賴關系。整個模型執(zhí)行就是構成該模型的多個子任務按照依賴關系的調(diào)度執(zhí)行�；谝陨霞夹g思路,本文設計相關時空算子。根據(jù)交管日常業(yè)務特點與需求,對時空算子種類進行詳細劃分。在時空算子執(zhí)行方面,本文針對Spark執(zhí)行策略與SQL結(jié)構化記錄執(zhí)行策略進行相應執(zhí)行效率實驗,基于對比實驗結(jié)果和算子執(zhí)行效率考慮,時空算子執(zhí)行策略采用兩種執(zhí)行策略相結(jié)合的方式,并設計算子執(zhí)行策略選擇規(guī)則,保證時空算子執(zhí)行過程中選擇適當?shù)膱?zhí)行策略進行計算。顧及時空算子的兩種執(zhí)行策略,定義虛擬表的概念作為時空算子的輸入輸出參數(shù),并根據(jù)時空算子兩種執(zhí)行策略特點,設計虛擬表結(jié)構。時空算子計算方面,設計基礎算子參數(shù)和時空算子參數(shù),其中時空算子參數(shù)引用基礎算子參數(shù)。另外,定義并設計時空算子統(tǒng)一的計算接口以及內(nèi)部不同執(zhí)行策略下的計算接口。模型由多個子任務組合而成,模型的執(zhí)行就是多個子任務的調(diào)度執(zhí)行。在模型構建方面,本文采用Dexecutor調(diào)度框架與模型結(jié)合,任務與時空算子關聯(lián)等手段構建模型,并闡述模型執(zhí)行計劃的構造過程。在模型執(zhí)行方面,本文闡述模型整體執(zhí)行和模型單步執(zhí)行兩種方式,并描述模型多任務的調(diào)度執(zhí)行過程。為了深刻地闡述模型調(diào)度過程,本文從非空間和空間兩個角度入手,以實際具體的典型模型例子分析模型調(diào)度過程。最后,本文對模型多任務的調(diào)度執(zhí)行與串行執(zhí)行進行執(zhí)行效率對比實驗,驗證模型調(diào)度執(zhí)行的有效性和優(yōu)勢。此外,本文基于以上研究結(jié)果設計實現(xiàn)原型系統(tǒng),并設計實驗,對以上研究進行實驗分析,達到了預想的效果。最后,對本文的工作進行整體說明,總結(jié)本文的研究內(nèi)容,也指出本文做的不足之處,并針對不足的地方提出后續(xù)的研究重點。
【學位單位】：武漢大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：P208;U495
【部分圖文】：

圖Ｕ總體技術思路流程圖??交管日常業(yè)務中，交管數(shù)據(jù)業(yè)務是最為主要的部分。交管數(shù)據(jù)業(yè)務涉及數(shù)據(jù)??采集、數(shù)據(jù)分析以及數(shù)據(jù)管理等方面。本文針對交管數(shù)據(jù)分析業(yè)務進行研宄、調(diào)??研，發(fā)現(xiàn)其具有數(shù)據(jù)復雜、工作量大的特點，大部分交管數(shù)據(jù)分析業(yè)務均是對數(shù)??據(jù)庫相關表進行統(tǒng)計或者分析操作�；诖耍疚膶⒁豁椊还軘�(shù)據(jù)分析業(yè)務抽象??為一個模型，并將該模型分解為多個子任務，每個子任務都會與相應的時空算子??

第三章為時空算子設計，第四章為模型調(diào)度與執(zhí)行，第五章為原型系統(tǒng)設計與實??現(xiàn)，第六章為總結(jié)與展望。第三、四、五章是本文研究的主要內(nèi)容以及實現(xiàn)結(jié)果。??本文章節(jié)關系如圖１．２所示。??第一章：緒論??＜＞??第二章：分布式架構與相關技術??第三章：時空算子設計二＾?第四章：模型任務調(diào)度??第五章：原型系統(tǒng)設計與實現(xiàn)??第六章：本文總結(jié)與展望??圖１．２章節(jié)關系圖??各章節(jié)具體描述如下：??第一章，緒論。主要介紹本文選題理由以意義，本課題國內(nèi)外研究現(xiàn)狀，本??文研究目標與內(nèi)容以及本文總體技術思路，最后闡述本文組織結(jié)構。??第二章，分布式架構及相關技術。介紹本課題使用的云服務平臺、Ｓｐａｒｋ?ＳＱＬ??相關技術、Ｄｅｘｅｃｕｔｏｒ任務調(diào)度框架以及用于空間數(shù)據(jù)計算分析的ＧｅｏＳｐａｒｋ技??術。??７??

２．１交管云服務平臺??交管云平臺是基于Ｈａｄｏｏｐ、Ｓｐａｒｋ等開源基礎框架搭建的云服務平臺，其基??本架構如圖２．１所示。??Ｔ用Ａ室內(nèi)ＧＩＳ服務位指紋冊務｜定位特征庫服務｜定位接入服務｜?云??二??［二——?＾?端??ｇ?代碼即服務工具集運行狀態(tài)匯報｜本地開發(fā)調(diào)試｜集群信息??應用中心接口功能集｜本地卷操作｜｜云計算資源儲資源；??，?ｎ?ｔ??１?云基礎設施安裝與監(jiān)控?．下載，與雙一??適?本地資源監(jiān)控與匯報?應用清理?｜?Ｉ?……??理?１?????—方——??１＊．應用訪問代理…丨———權限管理Ｉ丨運維管理．Ｊ！???｜?ｎ??ｊ＾ｌ?軟件倉庫?｜｜?應用實例管理?應用運行信息監(jiān)控??添加應用｜｜應用熱升級｜ｉ實例部ｇ?實例分部擴展?執(zhí)行進度安戈狀態(tài)??應用上載｜｜安裝擴展服務｜?｜實例重啟?實例資源自適應適配ｆ?０定義佶怠??Ｉ?１?１１?１１?＇?ｉＬ?１?丨??基礎云環(huán)?ＥｌａｓｔｉｃＳｅａｒｃｈ?Ｋａｆｋａ?Ｓｐａｒｋ?ＭＬｌｉｂ?ｊ?．．．??謹?境巨理?Ｈａ?ｄｏ?ｏｐ?［?Ｍａｐ－Ｒｅｄｕｃｅ?Ｙａｒｎ?］?［?Ｚｏｏｋｅｅｐｅｒ?｜?［?ＨＤＦＳ?＼＼?．．．］??遍云牛和｜創(chuàng)建云主機?云主機啟動／停止?卷替ｇ丨創(chuàng)建獨占卷｜?｜綁定／解綁｜??管理云主機監(jiān)控?實時資源統(tǒng)計Ｉ?（Ｇ
【參考文獻】

相關期刊論文 前10條

1 段宗濤;鄭西彬;李瑩;劉研;王向宇;康軍;唐蕾;;道路交通大數(shù)據(jù)及其關鍵技術研究[J];微電子學與計算機;2015年06期

2 王雅瓊;楊云鵬;樊重俊;;智慧交通中的大數(shù)據(jù)應用研究[J];物流工程與管理;2015年05期

3 王勁峰;葛詠;李連發(fā);孟斌;武繼磊;柏延臣;杜世宏;廖一蘭;胡茂桂;徐成東;;地理學時空數(shù)據(jù)分析方法[J];地理學報;2014年09期

4 馬英杰;;交通大數(shù)據(jù)的發(fā)展現(xiàn)狀與思路[J];道路交通與安全;2014年04期

5 唐一韜;黃晶;肖球;;一種基于DAG的MapReduce任務調(diào)度算法[J];計算機科學;2014年S1期

6 田國忠;肖創(chuàng)柏;趙娟娟;;云計算環(huán)境下多DAG調(diào)度的資源分配進化算法[J];計算機應用研究;2014年09期

7 劉丹琦;于炯;英昌甜;;云計算環(huán)境下多有向無環(huán)圖工作流的節(jié)能調(diào)度算法[J];計算機應用;2013年09期

8 王彥明;奉國和;薛云;;近年來Hadoop國外研究綜述[J];計算機系統(tǒng)應用;2013年06期

9 姜燕;胡凱;楊志斌;張新宇;;基于擴展的隨機DAG的并行任務調(diào)度算法研究[J];計算機科學;2008年07期

10 杜曉麗;蔣昌俊;徐國榮;丁志軍;;一種基于模糊聚類的網(wǎng)格DAG任務圖調(diào)度算法[J];軟件學報;2006年11期

相關碩士學位論文 前3條

1 姬倩倩;公共交通大數(shù)據(jù)平臺架構服務模式研究[D];西安電子科技大學;2014年

2 顧星;集群系統(tǒng)中基于DAG模型的任務調(diào)度算法研究[D];南京航空航天大學;2012年

3 華強勝;基于DAG模型的高效并行任務調(diào)度算法研究[D];中南大學;2004年

本文編號：2852377