本文關(guān)鍵詞：基于復(fù)雜網(wǎng)絡(luò)的網(wǎng)絡(luò)大數(shù)據(jù)聚類應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：本文以網(wǎng)絡(luò)大數(shù)據(jù)為研究對象,分析大數(shù)據(jù)的特性,得出復(fù)雜網(wǎng)絡(luò)是網(wǎng)絡(luò)大數(shù)據(jù)的重要組成形式,而復(fù)雜網(wǎng)絡(luò)中社區(qū)結(jié)構(gòu)的發(fā)現(xiàn)與聚類算法具備天然的相似性。因此本文即運用復(fù)雜網(wǎng)絡(luò)的方法來解決網(wǎng)絡(luò)大數(shù)據(jù)的聚類問題。本文通過分析網(wǎng)絡(luò)大數(shù)據(jù)的特性得出網(wǎng)絡(luò)大數(shù)據(jù)所形成的復(fù)雜網(wǎng)絡(luò)節(jié)點數(shù)較多,規(guī)模較大,并且網(wǎng)絡(luò)大數(shù)據(jù)的聚類對是時間要求較高,所以全局發(fā)現(xiàn)算法不適合于網(wǎng)絡(luò)大數(shù)據(jù)的聚類。因此本文從局部發(fā)現(xiàn)的角度出發(fā)來進行網(wǎng)絡(luò)大數(shù)據(jù)的聚類研究。提出了基于局部關(guān)鍵節(jié)點的大數(shù)據(jù)聚類算法。首先,引入局部關(guān)鍵節(jié)點的思想,結(jié)合全局關(guān)鍵節(jié)點的發(fā)現(xiàn)方法,提出了局部關(guān)鍵節(jié)點的發(fā)現(xiàn)方法。然后,將局部關(guān)鍵節(jié)點與其鄰居節(jié)點組成初始社區(qū),并用推導(dǎo)后的適應(yīng)度公式向外進行擴張得到最終社區(qū)。然后分析大數(shù)據(jù)集的特性,得出在大數(shù)據(jù)集中往往一個社區(qū)內(nèi)有多個關(guān)鍵節(jié)點,因此,從局部關(guān)鍵節(jié)點根據(jù)適應(yīng)度公式向外逐個節(jié)點的擴張就可能導(dǎo)致其他的關(guān)鍵節(jié)點被排除在外,并且關(guān)鍵節(jié)點與其鄰居節(jié)點組成初始社區(qū)就有可能將相鄰社區(qū)的節(jié)點加入進來導(dǎo)致聚類結(jié)果質(zhì)量下降。針對這兩點不足,提出了基于局部關(guān)鍵社區(qū)的大數(shù)據(jù)聚類算法,通過引入極大團的概念和進一步對適應(yīng)度公式進行改進來提高聚類結(jié)果質(zhì)量。首先,分析極大團的特性,得出極大團是社區(qū)內(nèi)聯(lián)系最緊密的一組節(jié)點。所以由此可以判定,極大團的所有節(jié)點都在一個社區(qū)內(nèi),一個社區(qū)內(nèi)規(guī)模最大的極大團則是這個社區(qū)內(nèi)最大團即是這個社區(qū)的最核心的類別,也是整個社區(qū)的極大類。因此,可以將局部關(guān)鍵節(jié)點的發(fā)現(xiàn)方法和極大團的發(fā)現(xiàn)方法相結(jié)合來發(fā)現(xiàn)局部關(guān)鍵社區(qū)。這樣可以將數(shù)據(jù)集分為局部關(guān)鍵社區(qū)和普通節(jié)點兩個部分。由于原適應(yīng)度公式只能適合單一節(jié)點向外擴張,而現(xiàn)在需要將較小的關(guān)鍵社區(qū)加入到社區(qū)中,因此對適應(yīng)度函數(shù)進行改進。然后,以規(guī)模最大的局部關(guān)鍵社區(qū)為初始社區(qū)運用改進后的適應(yīng)度公式向外擴張得到最終社區(qū)。最后在真實數(shù)據(jù)集上進行檢驗,證明算法具有可行性并且能減少時間消耗。接著分析所提出算法的組成部分,提出對應(yīng)部分的并行策略和總體算法的并行策略,并在真實數(shù)據(jù)集上進行驗證。結(jié)果證明提出的并行策略在不影響結(jié)果質(zhì)量的前提下有效減少時間消耗,在大規(guī)模的數(shù)據(jù)集上尤為明顯,并與并行線程數(shù)成正比。說明提出的并行策略適用于網(wǎng)絡(luò)大數(shù)據(jù)的聚類。
【關(guān)鍵詞】：大數(shù)據(jù) 聚類 局部 適應(yīng)度 并行
【學(xué)位授予單位】：蘭州交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;O157.5
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-16
• 1.1 研究背景和意義9-10
• 1.2 大數(shù)據(jù)的特征和構(gòu)成10
• 1.3 國內(nèi)外動態(tài)10-14
• 1.3.1 大數(shù)據(jù)的聚類10-13
• 1.3.2 社區(qū)結(jié)構(gòu)13-14
• 1.4 論文主要研究內(nèi)容14-15
• 1.5 論文組織結(jié)構(gòu)15-16
• 2 基于局部關(guān)鍵節(jié)點的大數(shù)據(jù)聚類算法16-25
• 2.1 局部關(guān)鍵節(jié)點的發(fā)現(xiàn)16-17
• 2.1.1 關(guān)鍵節(jié)點的定義16
• 2.1.2 全局關(guān)鍵節(jié)點發(fā)現(xiàn)算法16-17
• 2.1.3 局部關(guān)鍵節(jié)點發(fā)現(xiàn)算法17
• 2.2 適應(yīng)度函數(shù)的改進17-19
• 2.3 基于局部關(guān)鍵節(jié)點的大數(shù)據(jù)聚類算法具體算法步驟19
• 2.4 算法復(fù)雜度的分析19-21
• 2.5 社區(qū)評價函數(shù)21
• 2.6 實驗分析21-25
• 2.6.1 小規(guī)模真實網(wǎng)絡(luò)21-22
• 2.6.2 較大規(guī)模真實網(wǎng)絡(luò)22-23
• 2.6.3 實驗結(jié)果分析23-25
• 3 基于局部關(guān)鍵社區(qū)的大數(shù)據(jù)聚類算法25-34
• 3.1 局部關(guān)鍵社區(qū)的發(fā)現(xiàn)25-26
• 3.1.1 關(guān)鍵社區(qū)的定義25
• 3.1.2 極大團發(fā)現(xiàn)算法25-26
• 3.1.3 局部關(guān)鍵社區(qū)的發(fā)現(xiàn)算法26
• 3.2 局部社區(qū)發(fā)現(xiàn)26-28
• 3.2.1 適應(yīng)度函數(shù)的改進27
• 3.2.2 局部關(guān)鍵社區(qū)發(fā)現(xiàn)的具體步驟27-28
• 3.3 基于局部關(guān)鍵社區(qū)的大數(shù)據(jù)聚類算法具體算法步驟28
• 3.4 算法復(fù)雜度的分析28-31
• 3.4.1 關(guān)鍵社區(qū)發(fā)現(xiàn)復(fù)雜度分析28-30
• 3.4.2 局部社區(qū)發(fā)現(xiàn)復(fù)雜度分析30
• 3.4.3 總體復(fù)雜度分析30-31
• 3.5 實驗分析31-34
• 3.5.1 實驗環(huán)境31
• 3.5.2 實驗結(jié)果31-32
• 3.5.3 實驗結(jié)果分析32-34
• 4 基于局部關(guān)鍵社區(qū)的大數(shù)據(jù)聚類算法的并行研究34-46
• 4.1 極大團的并行發(fā)現(xiàn)34-35
• 4.2 關(guān)鍵社區(qū)的并行策略35-36
• 4.3 局部社區(qū)發(fā)現(xiàn)的并行策略36-38
• 4.4 總算法的并行策略38-41
• 4.5 并行算法復(fù)雜度的分析41-42
• 4.5.1 關(guān)鍵社區(qū)發(fā)現(xiàn)復(fù)雜度分析41
• 4.5.2 局部社區(qū)發(fā)現(xiàn)復(fù)雜度分析41-42
• 4.6 實驗分析42-46
• 4.6.1 實驗環(huán)境42-43
• 4.6.2 實驗結(jié)果43-44
• 4.6.3 實驗結(jié)果分析44-46
• 結(jié)論46-48
• 致謝48-49
• 參考文獻49-52
• 攻讀學(xué)位期間的研究成果52

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃磊;支小莉;鄭圣安;;面向大數(shù)據(jù)應(yīng)用的多層次混合式并行方法[J];上海大學(xué)學(xué)報(自然科學(xué)版);2016年01期

2 陳曉;趙晶玲;;大數(shù)據(jù)處理中混合型聚類算法的研究與實現(xiàn)[J];信息網(wǎng)絡(luò)安全;2015年04期

3 程鑫;石洪波;;大數(shù)據(jù)時代傳統(tǒng)相關(guān)分析的局限與拓展[J];統(tǒng)計與決策;2015年05期

4 向堯;袁景凌;鐘珞;趙彥鵬;;一種面向大數(shù)據(jù)集的粗粒度并行聚類算法研究[J];小型微型計算機系統(tǒng);2014年10期

5 古凌嵐;;面向大數(shù)據(jù)集的有效聚類算法[J];計算機工程與設(shè)計;2014年06期

6 盧志茂;馮進玫;范冬梅;楊朋;田野;;面向大數(shù)據(jù)處理的劃分聚類新方法[J];系統(tǒng)工程與電子技術(shù);2014年05期

7 朱建平;章貴軍;劉曉葳;;大數(shù)據(jù)時代下數(shù)據(jù)分析理念的辨析[J];統(tǒng)計研究;2014年02期

8 李金昌;;大數(shù)據(jù)與統(tǒng)計新思維[J];統(tǒng)計研究;2014年01期

9 張引;陳敏;廖小飛;;大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J];計算機研究與發(fā)展;2013年S2期

10 ;Adaptive monopulse beamforming with partial parallel structure[J];Journal of Systems Engineering and Electronics;2012年06期

  本文關(guān)鍵詞：基于復(fù)雜網(wǎng)絡(luò)的網(wǎng)絡(luò)大數(shù)據(jù)聚類應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：321308