城市時(shí)空熱點(diǎn)指城市居民來(lái)往次數(shù)多、交通流量大的時(shí)空區(qū)域。確定城市時(shí)空熱點(diǎn)在城市基礎(chǔ)設(shè)施建設(shè)、交通規(guī)劃、商鋪選址、打擊犯罪等公共服務(wù)領(lǐng)域有大量的應(yīng)用。目前的熱點(diǎn)檢測(cè)通常是在收集到的全部出租車軌跡上,采用Getis-Ord G_i^*統(tǒng)計(jì)方法,把軌跡按照時(shí)空立方單元?jiǎng)澐?計(jì)算所有軌跡數(shù)據(jù)覆蓋下的熱點(diǎn)單元,作為城市時(shí)空熱點(diǎn)。隨著實(shí)際應(yīng)用的擴(kuò)展,人們對(duì)于城市時(shí)空熱點(diǎn)檢測(cè)有了更高的要求,希望根據(jù)需求定制城市時(shí)空熱點(diǎn)檢測(cè)。不同需求的熱點(diǎn)檢測(cè)使用不同的數(shù)據(jù),但是現(xiàn)有的熱點(diǎn)檢測(cè)方法是使用海量歷史數(shù)據(jù)進(jìn)行一次性計(jì)算,占用內(nèi)存大,計(jì)算時(shí)間長(zhǎng)。這樣得到的熱點(diǎn)往往不能滿足眾多的實(shí)際需要,當(dāng)軌跡數(shù)據(jù)更新或進(jìn)行不同需求的熱點(diǎn)檢測(cè)時(shí),需要重新計(jì)算熱點(diǎn)。由于積累的軌跡數(shù)量龐大和計(jì)算復(fù)雜,現(xiàn)有檢測(cè)算法的優(yōu)化重點(diǎn)放在了如何應(yīng)對(duì)海量的數(shù)據(jù)上,從目前已知的文獻(xiàn)中沒(méi)有發(fā)現(xiàn)專門針對(duì)不同需求進(jìn)行城市時(shí)空熱點(diǎn)檢測(cè)的方法。針對(duì)上述問(wèn)題,本文研究參數(shù)化的“城市時(shí)空熱點(diǎn)查詢”,設(shè)置五類符合實(shí)際需求的查詢參數(shù)（地理范圍、日期范圍、熱點(diǎn)粒度、時(shí)間組織方式和熱點(diǎn)數(shù)目）,通過(guò)適當(dāng)?shù)臄?shù)據(jù)組織,滿足多參數(shù)查詢,... 

【文章來(lái)源】：太原理工大學(xué)山西省 211工程院校

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 本文研究的背景與意義
    1.2 相關(guān)研究現(xiàn)狀
    1.3 本文的主要研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)工作綜述
    2.1 基于Gi*統(tǒng)計(jì)量的城市時(shí)空熱點(diǎn)檢測(cè)方法綜述
        2.1.1 基于Gi*統(tǒng)計(jì)量的城市時(shí)空熱點(diǎn)檢測(cè)方法詳述
        2.1.2 用Spark分布式計(jì)算城市時(shí)空熱點(diǎn)算法詳述
    2.2 大數(shù)據(jù)技術(shù)框架介紹
        2.2.1 Hadoop組件
        2.2.2 Spark計(jì)算框架
    2.3 Hadoop DFS上的索引技術(shù)
第三章 城市時(shí)空熱點(diǎn)查詢
    3.1 城市時(shí)空熱點(diǎn)查詢定義
    3.2 軌跡數(shù)據(jù)的組織
        3.2.1 組織軌跡數(shù)據(jù)的思路
        3.2.2 數(shù)據(jù)組織
        3.2.3 數(shù)據(jù)訪問(wèn)
    3.3 查詢過(guò)程
第四章 查詢優(yōu)化
    4.1 檢測(cè)算法的優(yōu)化技術(shù)
        4.1.1 二次job解決數(shù)據(jù)傾斜
        4.1.2 RDD元素重構(gòu)優(yōu)化shuffle階段
        4.1.3 Java層面上的優(yōu)化技術(shù)
    4.2 采樣過(guò)濾優(yōu)化策略
        4.2.1 采樣過(guò)濾優(yōu)化策略的思路
        4.2.2 優(yōu)化策略
第五章 實(shí)驗(yàn)分析
    5.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)
    5.2 城市時(shí)空熱點(diǎn)檢測(cè)算法優(yōu)化效率分析
        5.2.1 緩解數(shù)據(jù)傾斜
        5.2.2 優(yōu)化shuffle
        5.2.3 技術(shù)細(xì)節(jié)優(yōu)化
    5.3 城市時(shí)空熱點(diǎn)查詢效率分析
        5.3.1 不同數(shù)據(jù)量的城市時(shí)空熱點(diǎn)查詢響應(yīng)時(shí)間
        5.3.2 針對(duì)不同參數(shù)的查詢
    5.4 采樣過(guò)濾策略實(shí)驗(yàn)分析
        5.4.1 采樣參數(shù)確定
        5.4.2 采樣效率分析
    5.5 小結(jié)
第六章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文


【參考文獻(xiàn)】：
期刊論文
[1]CSPRJ:基于數(shù)據(jù)傾斜的MapReduce連接查詢算法[J]. 周婭,魏夏飛,熊晗,胡彩林,李玲.  小型微型計(jì)算機(jī)系統(tǒng). 2018(02)
[2]基于出租車軌跡數(shù)據(jù)的城市熱點(diǎn)出行區(qū)域挖掘[J]. 鄭林江,趙欣,蔣朝輝,鄧建國(guó),夏冬,劉衛(wèi)寧.  計(jì)算機(jī)應(yīng)用與軟件. 2018(01)
[3]基于增量式分區(qū)策略的MapReduce數(shù)據(jù)均衡方法[J]. 王卓,陳群,李戰(zhàn)懷,潘巍,尤立.  計(jì)算機(jī)學(xué)報(bào). 2016(01)
[4]五種快速序列化框架的性能比較[J]. 史棟杰.  電腦知識(shí)與技術(shù). 2010(34)

博士論文
[1]基于軌跡聚類的城市熱點(diǎn)區(qū)域提取與分析方法研究[D]. 趙鵬祥.武漢大學(xué) 2015

碩士論文
[1]Hadoop YARN資源分配機(jī)制的研究與改進(jìn)[D]. 陳袁春.華中科技大學(xué) 2017
[2]基于DBSCAN聚類算法的研究與應(yīng)用[D]. 馮振華.江南大學(xué) 2016
[3]基于出租車軌跡的居民出行熱點(diǎn)路徑和區(qū)域挖掘[D]. 馮琦森.重慶大學(xué) 2016
[4]基于Hadoop的商品推薦系統(tǒng)研究與應(yīng)用[D]. 李黎明.湖南大學(xué) 2016



本文編號(hào)：3011290