本文關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng)大規(guī)模流量數(shù)據(jù)分布式處理與流量分析，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展,移動(dòng)互聯(lián)網(wǎng)逐漸超過(guò)PC平臺(tái),成為互聯(lián)網(wǎng)的主要入口,并且因其的移動(dòng)性,成為了咨詢、社交、貿(mào)易、游戲等等各種行業(yè)的信息交流中心。相應(yīng)的,移動(dòng)互聯(lián)網(wǎng)的市場(chǎng)也在逐漸擴(kuò)大。移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,使得研究移動(dòng)互聯(lián)網(wǎng)的特性,發(fā)現(xiàn)移動(dòng)互聯(lián)網(wǎng)與傳統(tǒng)有線網(wǎng)絡(luò)的區(qū)別成為了急需解決的問(wèn)題。有線網(wǎng)已經(jīng)被證明其分布具有復(fù)雜網(wǎng)絡(luò)的冪律特性,移動(dòng)互聯(lián)網(wǎng)是否有復(fù)雜網(wǎng)絡(luò)的相關(guān)特性或者其他特性,這些特性能否進(jìn)一步被應(yīng)用與流量識(shí)別等領(lǐng)域都需要研究。此外移動(dòng)互聯(lián)網(wǎng)豐富繁多的應(yīng)用也是其一大特點(diǎn),移動(dòng)互聯(lián)網(wǎng)中應(yīng)用的作用,應(yīng)用與流量,應(yīng)用與網(wǎng)絡(luò)和用戶的關(guān)系都亟需研究。 但手機(jī)網(wǎng)民的快速增長(zhǎng)和移動(dòng)互聯(lián)網(wǎng)使用的增多,帶來(lái)了大量的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù),每日記錄的流量數(shù)據(jù)以GB甚至TB速度增長(zhǎng),如何處理大規(guī)模的數(shù)據(jù),從中挖掘出有用的信息,成為了必須要面對(duì)的問(wèn)題,而分布式處理技術(shù)對(duì)此提供了廉價(jià)可靠的解決思路。傳統(tǒng)的機(jī)器學(xué)習(xí)算法已經(jīng)證明了其在很多領(lǐng)域可以發(fā)揮巨大的作用,但面對(duì)移動(dòng)互聯(lián)網(wǎng)大規(guī)模的數(shù)據(jù)量,傳統(tǒng)的機(jī)器學(xué)習(xí)算法需要分布式實(shí)現(xiàn)才能應(yīng)用于現(xiàn)有的數(shù)據(jù)。流量識(shí)別也是網(wǎng)絡(luò)的研究熱點(diǎn)之一。傳統(tǒng)的流量識(shí)別是通過(guò)分析包數(shù)據(jù)實(shí)現(xiàn)的,未關(guān)注流量之間的聯(lián)系。能否分析挖掘移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù),發(fā)現(xiàn)流量的關(guān)系,為流量識(shí)別提出新思路也是本文研究的重點(diǎn)之一。 本文針對(duì)移動(dòng)互聯(lián)網(wǎng)特性復(fù)雜網(wǎng)絡(luò)特性不明的問(wèn)題,研究分析了移動(dòng)互聯(lián)網(wǎng)的特性,發(fā)現(xiàn)了用戶交互對(duì)流量貢獻(xiàn)的以及服務(wù)器的集中性。針對(duì)DBSCAN分布式算法通信量過(guò)大的問(wèn)題,提出了優(yōu)化方法,在不影響聚類結(jié)果的前提下,降低了通信量同時(shí)也降低了計(jì)算量。針對(duì)傳統(tǒng)流量識(shí)別技術(shù)未關(guān)注流量圖中的互相聯(lián)系的問(wèn)題,通過(guò)研究分析得出流量圖服務(wù)器的聚類特性,并且服務(wù)器具有很高的純潔度,提出了流量識(shí)別問(wèn)題可以轉(zhuǎn)為對(duì)服務(wù)器的識(shí)別,并通過(guò)聚類算法對(duì)服務(wù)器進(jìn)行了聚類及識(shí)別,結(jié)果顯示有很高的正確率。
【關(guān)鍵詞】：分布式處理 聚類算法 移動(dòng)互聯(lián)網(wǎng) 流量識(shí)別
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN929.5;TP393.01
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-12
• 1.3 本文的組織結(jié)構(gòu)12-14
• 第二章 分布式處理14-21
• 2.1 MapReduc編程模型14-16
• 2.2 圖分布式計(jì)算16-19
• 2.3 廣度優(yōu)先遍歷19-21
• 第三章 流量數(shù)據(jù)及其基本特性21-31
• 3.1 網(wǎng)絡(luò)流量數(shù)據(jù)與建圖21-22
• 3.2 流量圖的度分布22-24
• 3.3 流量圖的特性24-31
• 3.3.0 流量圖基本屬性24-25
• 3.3.1 用戶和流量的分布輪廓25-26
• 3.3.2 流量圖的度分布26-28
• 3.3.3 流量圖的強(qiáng)度分布28-30
• 3.3.4 服務(wù)器集中度的增長(zhǎng)特性30-31
• 第四章 分布式聚類算法與服務(wù)器識(shí)別31-44
• 4.1 DBSCAN算法的分布式實(shí)現(xiàn)31-34
• 4.2 服務(wù)器的特性34-40
• 4.2.1 不同類型應(yīng)用流量圖的基本屬性34-35
• 4.2.2 服務(wù)器提供的應(yīng)用數(shù)35
• 4.2.3 服務(wù)器拓?fù)浣Y(jié)構(gòu)的相似性與多樣性35-38
• 4.2.4 應(yīng)用內(nèi)部的聚類特性38-39
• 4.2.5 服務(wù)器行為39-40
• 4.3 分布式kmeans與結(jié)果分析40-44
• 4.3.1 分布式kmeans算法的實(shí)現(xiàn)與應(yīng)用40-41
• 4.3.2 結(jié)果分析41-44
• 第五章 總結(jié)與展望44-45
• 5.1 總結(jié)44
• 5.2 對(duì)未來(lái)的展望44-45
• 參考文獻(xiàn)45-47
• 致謝47

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 於躍成;王建東;鄭關(guān)勝;陳斌;;基于約束信息的并行k-means算法[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

2 蔡君;余順爭(zhēng);;基于復(fù)雜網(wǎng)絡(luò)社團(tuán)劃分的網(wǎng)絡(luò)流量分類[J];計(jì)算機(jī)科學(xué);2011年03期

3 魯偉明;杜晨陽(yáng);魏寶剛;沈春輝;葉振超;;基于MapReduce的分布式近鄰傳播聚類算法[J];計(jì)算機(jī)研究與發(fā)展;2012年08期

4 毛國(guó)君;曹永存;;基于數(shù)據(jù)概要描述的分布式數(shù)據(jù)流聚類模型與算法[J];計(jì)算機(jī)科學(xué);2013年06期

5 于明;朱超;;利用半監(jiān)督近鄰傳播聚類算法實(shí)現(xiàn)P2P流量識(shí)別[J];哈爾濱工程大學(xué)學(xué)報(bào);2013年05期

6 張劍;曹萍;壽國(guó)礎(chǔ);;網(wǎng)絡(luò)流量識(shí)別的自適應(yīng)分級(jí)滑動(dòng)窗決策樹(shù)算法[J];計(jì)算機(jī)應(yīng)用研究;2013年08期

  本文關(guān)鍵詞：移動(dòng)互聯(lián)網(wǎng)大規(guī)模流量數(shù)據(jù)分布式處理與流量分析，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：399739