近年來我國科學(xué)技術(shù)和信息化產(chǎn)業(yè)高速發(fā)展,以手機(jī)為代表的移動(dòng)設(shè)備快速普及,移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)涉及到生活的各個(gè)方面,人類對(duì)手機(jī)等移動(dòng)設(shè)備的依賴程度不斷提高。移動(dòng)網(wǎng)絡(luò)運(yùn)營商收集的流量數(shù)據(jù)是關(guān)于人類習(xí)慣的豐富信息源,對(duì)其進(jìn)行分析與研究,一方面可以了解城市特征,促進(jìn)城市規(guī)劃,幫助移動(dòng)運(yùn)營商進(jìn)行蜂窩基站的規(guī)劃與建設(shè)等;另一方面,研究人員通過挖掘互聯(lián)網(wǎng)業(yè)務(wù)信息及用戶行為特征,可以幫助企業(yè)發(fā)掘更多的潛在用戶。本論文中,主要利用從移動(dòng)運(yùn)營商提供的深度包解析數(shù)據(jù)中解析出的即時(shí)通信數(shù)據(jù),搭建大數(shù)據(jù)分析處理平臺(tái),分析即時(shí)通信業(yè)務(wù)的用戶的行為特征,以及從時(shí)空維度進(jìn)行城市網(wǎng)絡(luò)活動(dòng)和地理區(qū)域分析,主要內(nèi)容包括:一、蜂窩無線網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)的搭建。基于目前主流的海量數(shù)據(jù)處理技術(shù)Hadoop和Spark,并依據(jù)移動(dòng)蜂窩小區(qū)數(shù)據(jù)的存儲(chǔ)及計(jì)算的需求,搭建了一套用于存儲(chǔ)和處理分析蜂窩移動(dòng)數(shù)據(jù)的大數(shù)據(jù)平臺(tái)。本文將大數(shù)據(jù)處理平臺(tái)劃分為數(shù)據(jù)存儲(chǔ)與傳輸模塊、數(shù)據(jù)處理模塊及數(shù)據(jù)工作流模塊三個(gè)模塊,在開源的大數(shù)據(jù)組件的基礎(chǔ)上進(jìn)行二次開發(fā),實(shí)現(xiàn)了Spark Query、Job Submit、Autoflow和Data Transfer等工具。大... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－２?Ｓｐａｒｋ相關(guān)功能??

Ｓｐａｒｋ是由加州伯克利大學(xué)開發(fā)的分布式計(jì)算引擎，Ｓｐａｒｋ幾乎繼承了??ＭａｐＲｅｄｕｃｅ的全部?jī)?yōu)點(diǎn)，并在具有比ＭａｐＲｅｄｕｃｅ更快的處理速度和更能豐富的??功能，Ｓｐａｒｋ的主要功能如圖２－２所示，包括了進(jìn)行流計(jì)算的Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ、??機(jī)器學(xué)習(xí)庫ＭＬｌｉｂ、圖計(jì)算ＧｒａｐｈＸ等。??：＂；：；；：；＇；；；：：．．：??圖２－２?Ｓｐａｒｋ相關(guān)功能??Ｓｐａｒｋ為用戶提供了以彈性分布式數(shù)據(jù)集（Ｒｅｓｉｌｌｉｅｎｔ?Ｄｉｓｔｒｉｂｕｔｅｄ?Ｄａｔａｓｅｔ，ＲＤＤ）??為基礎(chǔ)的規(guī)范編程結(jié)構(gòu)。ＲＤＤ實(shí)現(xiàn)了以類似本地操作數(shù)據(jù)集的方式對(duì)分布式數(shù)??據(jù)集進(jìn)行操作，它表示的是不可變的、已被分區(qū)并能被并行處理的數(shù)據(jù)集合，每??個(gè)分區(qū)（Ｐａｒｔｉｔｉｏｎ）作為對(duì)ＲＤＤ操作的最小數(shù)據(jù)單位。??用戶對(duì)ＲＤＤ的操作一般分為兩種，分別是轉(zhuǎn)換操作（Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ）和行??動(dòng)操作（Ａｃｔｉｏｎｓ），轉(zhuǎn)換操作的返回值還是一個(gè)ＲＤＤ，使用了鏈?zhǔn)秸{(diào)用的設(shè)計(jì)模??式，常見的轉(zhuǎn)換操作有ｍａｐ、ｆｉｌｔｅｒ、ｆｌａｔｍａｐ等；行動(dòng)操作返回的結(jié)果一般是一個(gè)??集合或者一個(gè)值等，常見的行動(dòng)操作有ｃｏｕｎｔ、ｒｅｄｕｃｅ、ｃｏｌｌｅｃｔ等。??對(duì)ＲＤＤ進(jìn)行不同的轉(zhuǎn)換操作，可能會(huì)產(chǎn)生ＲＤＤ之間不同的依賴關(guān)系，ＲＤＤ??的依賴關(guān)系包括窄依賴（Ｎａｒｒｏｗ?Ｄｅｐｅｎｄｅｎｃｙ）和寬依賴（Ｗｉｄｅ?Ｄｅｐｅｎｄｅｎｃｙ）兩??種

?Ｊ??圖２－４大數(shù)據(jù)分析平臺(tái)邏輯架構(gòu)??圖２－４展示了大數(shù)據(jù)分析平臺(tái)的邏輯架構(gòu)，邏輯上將平臺(tái)分為三部分：數(shù)據(jù)??存儲(chǔ)和傳輸模塊、數(shù)據(jù)工作流模塊和數(shù)據(jù)分析模塊，物理上可以分為遠(yuǎn)程的分布??１０??


本文編號(hào)：3409497