隨著信息時(shí)代的飛速推進(jìn),手機(jī)作為一種必備品,功能和角色越來(lái)越多樣化,現(xiàn)在的手機(jī)具有通話、發(fā)短信、上網(wǎng)、導(dǎo)航、辦公等各種功能,也記錄著通話信息、人際關(guān)系、生活習(xí)慣等情況。同時(shí),手機(jī)也被多數(shù)犯罪分子廣泛地運(yùn)用在犯罪實(shí)施的過(guò)程中。大多數(shù)罪犯在預(yù)謀和犯罪行為中都不同程度地使用了手機(jī)。因此,對(duì)話單中的通話記錄進(jìn)行分析已經(jīng)成為日常辦案中必不可少的重要手段。通過(guò)分析話單信息得到機(jī)主的通話特征和相關(guān)人物與機(jī)主之間的人物關(guān)系,已經(jīng)成為了警方調(diào)查案件和偵查嫌疑人的重要手段。本文以Spark平臺(tái)作為研究的平臺(tái)基礎(chǔ),話單通話記錄中的數(shù)據(jù)作為數(shù)據(jù)基礎(chǔ),通過(guò)預(yù)處理、存儲(chǔ)、查詢和分析話單數(shù)據(jù),生成相關(guān)的通話特征信息,利用決策樹分類算法得到人物關(guān)系,利用可視化對(duì)人物關(guān)系加以展現(xiàn),為偵察嫌疑人提供技術(shù)支持。本文主要工作如下:1、提出了一種基于Spark MLlib的決策樹分類分析方法,對(duì)話單數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,生成人物關(guān)系。通過(guò)Spark SQL查詢技術(shù),對(duì)機(jī)主話單數(shù)據(jù)的通話信息進(jìn)行統(tǒng)計(jì),掌握機(jī)主的基本通話信息,獲取重要的通話特征信息,例如通話次數(shù)、通話時(shí)間、通話時(shí)長(zhǎng)和通話位置。之后,利用Spark大數(shù)據(jù)平臺(tái)的Spark... 

【文章來(lái)源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 小世界理論分析研究現(xiàn)狀
        1.2.2 人物關(guān)系分析研究現(xiàn)狀
        1.2.3 數(shù)據(jù)挖掘研究現(xiàn)狀
        1.2.4 可視化研究現(xiàn)狀
    1.3 研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)概述
    2.1 Spark大數(shù)據(jù)分析平臺(tái)
        2.1.1 Spark的概述和生態(tài)系統(tǒng)
        2.1.2 Spark中的存儲(chǔ)技術(shù)
        2.1.3 SparkSQL技術(shù)
    2.2 基于決策樹的分類分析算法
        2.2.1 決策樹算法
        2.2.2 決策樹算法的性能評(píng)價(jià)指標(biāo)
    2.3 基于SparkGraphx的圖計(jì)算框架
        2.3.1 SparkGraphx圖計(jì)算框架
        2.3.2 SparkGraphx圖搜索算法
    2.4 可視化技術(shù)
    2.5 本章小結(jié)
第3章 話單的特征統(tǒng)計(jì)與基于Spark的決策樹分類算法
    3.1 概述
        3.1.1 研究目標(biāo)
        3.1.2 總體設(shè)計(jì)方案
    3.2 基于Spark的通話特征統(tǒng)計(jì)查詢
        3.2.1 SparkSQL原理
        3.2.2 SparkSQL查詢
        3.2.3 查詢命令的調(diào)用和條件參數(shù)的傳入
    3.3 基于Spark決策樹的人物關(guān)系分析
        3.3.1 決策樹的特征選擇和生成
        3.3.2 話單人物關(guān)系分析
        3.3.3 決策樹算法的性能評(píng)價(jià)指標(biāo)
    3.4 實(shí)驗(yàn)及分析
    3.5 本章小結(jié)
第4章 基于Spark的圖搜索算法及數(shù)據(jù)可視化
    4.1 概述
        4.1.1 研究目標(biāo)
        4.1.2 總體設(shè)計(jì)方案
    4.2 基于SparkGraphx的圖搜索算法
        4.2.1 SparkGraphx連通圖
        4.2.2 基于SparkGraphx獲取好友列表
        4.2.3 好友列表的整理和分析
    4.3 數(shù)據(jù)結(jié)果可視化
        4.3.1 Echarts基礎(chǔ)功能
        4.3.2 數(shù)據(jù)預(yù)處理
        4.3.3 數(shù)據(jù)可視化
    4.4 實(shí)驗(yàn)結(jié)果
    4.5 本章小結(jié)
第5章 Spark話單分析系統(tǒng)中的應(yīng)用
    5.1 概述
        5.1.1 系統(tǒng)環(huán)境
        5.1.2 測(cè)試數(shù)據(jù)選取
        5.1.3 系統(tǒng)運(yùn)行效果
    5.2 基于Spark平臺(tái)的話單分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
        5.2.1 話單分析系統(tǒng)的設(shè)計(jì)
        5.2.2 話單分析系統(tǒng)的重點(diǎn)實(shí)現(xiàn)
    5.3 系統(tǒng)運(yùn)行結(jié)果
        5.3.1 系統(tǒng)主界面
        5.3.2 系統(tǒng)管理
        5.3.3 基礎(chǔ)統(tǒng)計(jì)分析
        5.3.4 結(jié)果可視化顯示
    5.4 結(jié)果分析和優(yōu)化
        5.4.1 結(jié)果分析
        5.4.2 性能優(yōu)化
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間獲得的科研成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]Spark的圖計(jì)算框架:GraphX[J]. 孫海.  現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2017(09)
[2]大數(shù)據(jù)處理平臺(tái)Spark基礎(chǔ)實(shí)踐研究[J]. 邱麗娟.  無(wú)線互聯(lián)科技. 2017(01)
[3]基于Spark核心架構(gòu)的大數(shù)據(jù)平臺(tái)技術(shù)研究與實(shí)踐[J]. 郭慈,廖振松.  電信工程技術(shù)與標(biāo)準(zhǔn)化. 2016(10)
[4]基于ECharts的數(shù)據(jù)可視化分析組件設(shè)計(jì)實(shí)現(xiàn)[J]. 王子毅,張春海.  微型機(jī)與應(yīng)用. 2016(14)
[5]面向大數(shù)據(jù)分析的決策樹算法[J]. 張棪,曹健.  計(jì)算機(jī)科學(xué). 2016(S1)
[6]地圖可視化與常用工具的研究[J]. 葉楓,王志堅(jiān),李凌,張鵬,顧和生.  水利信息化. 2015(06)
[7]基于Spark+MLlib分布式學(xué)習(xí)算法的研究[J]. 李彥廣.  商洛學(xué)院學(xué)報(bào). 2015(02)
[8]基于特征選擇的人物關(guān)系抽取方法[J]. 黃衛(wèi)春,范少帥,熊李艷,鐘茂生.  科學(xué)技術(shù)與工程. 2015(03)
[9]Spark框架的Graphx算法研究[J]. 陳虹君.  電腦知識(shí)與技術(shù). 2015(01)
[10]大數(shù)據(jù)可視分析綜述[J]. 任磊,杜一,馬帥,張小龍,戴國(guó)忠.  軟件學(xué)報(bào). 2014(09)

碩士論文
[1]SPARK SQL系統(tǒng)查詢優(yōu)化的研究與實(shí)現(xiàn)[D]. 丁凱澤.北京郵電大學(xué) 2017
[2]Spark數(shù)據(jù)處理平臺(tái)中內(nèi)存數(shù)據(jù)空間管理技術(shù)研究[D]. 王海華.北京工業(yè)大學(xué) 2016
[3]面向社會(huì)網(wǎng)絡(luò)應(yīng)用的人物關(guān)系抽取方法研究[D]. 洪軍建.西藏大學(xué) 2016
[4]公安重點(diǎn)關(guān)注對(duì)象的聚類分析研究[D]. 張玉超.山東大學(xué) 2015
[5]基于大數(shù)據(jù)的數(shù)據(jù)挖掘引擎[D]. 樊嘉麒.北京郵電大學(xué) 2015
[6]基于Spark平臺(tái)的協(xié)同過(guò)濾推薦算法的研究與實(shí)現(xiàn)[D]. 張明敏.南京理工大學(xué) 2015
[7]社交網(wǎng)絡(luò)海量數(shù)據(jù)的分析與可視化[D]. 武澤旭.北京郵電大學(xué) 2014
[8]信息可視化中的交互性視覺(jué)元素應(yīng)用研究[D]. 張秋.北京印刷學(xué)院 2013
[9]面向社會(huì)網(wǎng)絡(luò)的人物關(guān)系抽取研究[D]. 彭成.蘇州大學(xué) 2013
[10]社會(huì)關(guān)系網(wǎng)絡(luò)構(gòu)建方法研究[D]. 杜一鳴.河北農(nóng)業(yè)大學(xué) 2010



本文編號(hào)：3227869