隨著位置傳感和對象監(jiān)測技術及設備的普及,在智能交通、智慧城市等領域積累了海量的時空數(shù)據(jù)。時空數(shù)據(jù)是同時具有時間、空間屬性,由特定對象產(chǎn)生的高維數(shù)據(jù),由于其隨對象生命周期持續(xù)生成,數(shù)量巨大,因此被稱為時空大數(shù)據(jù)。因為其同時具有大數(shù)據(jù)技術特征以及多樣化的分析需求,傳統(tǒng)的數(shù)據(jù)分析方式不能很好滿足眾多領域下時空大數(shù)據(jù)的分析處理需求,特別是在快速滿足不同領域不同業(yè)務的統(tǒng)計分析需求方面。因此如何能方便地從多維時空大數(shù)據(jù)中選擇用戶所需的維度以及方法快速進行統(tǒng)計分析,挖掘時空大數(shù)據(jù)背后的潛在價值,成為目前急需解決的問題。針對該問題,本文采用面向服務的軟件方法來提高時空大數(shù)據(jù)統(tǒng)計分析應用的開發(fā)效率,主要開展了以下四方面工作:1.針對傳統(tǒng)方法無法滿足時空大數(shù)據(jù)統(tǒng)計分析需求的問題,通過對時空大數(shù)據(jù)統(tǒng)計分析需求的歸納,設計了用于支持時空大數(shù)據(jù)的統(tǒng)計分析的兩類基礎服務模型,即數(shù)據(jù)服務和功能服務模型。其中數(shù)據(jù)服務主要通過多維度時空數(shù)據(jù)封裝得到,主要為功能服務提供分析操作的數(shù)據(jù)來源;功能服務則通過對統(tǒng)計分析過程中的預處理、統(tǒng)計計算和結果可視化三個環(huán)節(jié)的處理功能進行歸納得到。通過兩類服務模型可以為時空大數(shù)據(jù)的服務化工... 

【文章來源】：北方工業(yè)大學北京市

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【部分圖文】：

Hadoop平臺的基本組成與生態(tài)系統(tǒng)

第三章時空大數(shù)據(jù)服務模型16圖3-1收費數(shù)據(jù)中的關鍵字段由于收費數(shù)據(jù)的體量十分龐大，選擇合適的接入方式存儲收費數(shù)據(jù)這一工作十分重要。針對收費數(shù)據(jù)的數(shù)據(jù)量比較大并且對數(shù)據(jù)查詢的要求，可以選擇HBase數(shù)據(jù)庫作為數(shù)據(jù)接入服務的輸出存儲。HBase數(shù)據(jù)庫是Hadoop集群上的支持高并發(fā)讀寫的數(shù)據(jù)庫。為了滿足更小粒度的時空數(shù)據(jù)的分析和統(tǒng)計，因此選擇空間屬性中最小的粒度站點，分別接入不同時間粒度5分鐘、1小時、1天、1個月的收費數(shù)據(jù)，存入HBase數(shù)據(jù)庫。HBase數(shù)據(jù)庫中唯一確定一條記錄的標識是行鍵[43]，所以選擇合適的行鍵對于查詢起著十分重要的作用。過于簡單的行鍵可能無法唯一確定一條數(shù)據(jù)，造成查詢結果不正確。而過于復雜的行鍵可能會導致需要掃描的數(shù)據(jù)比較多，降低查詢效率。因此既要滿足行鍵的簡單性又要滿足行鍵的唯一確定性。結合時空大數(shù)據(jù)的時空屬性，將車輛出口時間和出口收費站ID進行拼接。由此，設計出的數(shù)據(jù)接入服務如圖3-2所示：圖3-2數(shù)據(jù)接入服務

第三章時空大數(shù)據(jù)服務模型16圖3-1收費數(shù)據(jù)中的關鍵字段由于收費數(shù)據(jù)的體量十分龐大，選擇合適的接入方式存儲收費數(shù)據(jù)這一工作十分重要。針對收費數(shù)據(jù)的數(shù)據(jù)量比較大并且對數(shù)據(jù)查詢的要求，可以選擇HBase數(shù)據(jù)庫作為數(shù)據(jù)接入服務的輸出存儲。HBase數(shù)據(jù)庫是Hadoop集群上的支持高并發(fā)讀寫的數(shù)據(jù)庫。為了滿足更小粒度的時空數(shù)據(jù)的分析和統(tǒng)計，因此選擇空間屬性中最小的粒度站點，分別接入不同時間粒度5分鐘、1小時、1天、1個月的收費數(shù)據(jù)，存入HBase數(shù)據(jù)庫。HBase數(shù)據(jù)庫中唯一確定一條記錄的標識是行鍵[43]，所以選擇合適的行鍵對于查詢起著十分重要的作用。過于簡單的行鍵可能無法唯一確定一條數(shù)據(jù)，造成查詢結果不正確。而過于復雜的行鍵可能會導致需要掃描的數(shù)據(jù)比較多，降低查詢效率。因此既要滿足行鍵的簡單性又要滿足行鍵的唯一確定性。結合時空大數(shù)據(jù)的時空屬性，將車輛出口時間和出口收費站ID進行拼接。由此，設計出的數(shù)據(jù)接入服務如圖3-2所示：圖3-2數(shù)據(jù)接入服務


本文編號：2961988