在復(fù)雜網(wǎng)絡(luò)中挖掘關(guān)鍵節(jié)點(diǎn)具有重要的現(xiàn)實(shí)應(yīng)用價(jià)值,本文通過(guò)對(duì)復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)和特性的研究分析,同時(shí)考慮到網(wǎng)絡(luò)規(guī)模不斷變大的問(wèn)題,進(jìn)行了如下工作。首先,構(gòu)建復(fù)雜網(wǎng)絡(luò)的分布式處理模型。分別對(duì)HDFS文件中復(fù)雜網(wǎng)絡(luò)數(shù)據(jù)的劃分,算法中間結(jié)果數(shù)據(jù)的存儲(chǔ)方式和基于MapReduce的多任務(wù)計(jì)算框架做了詳細(xì)的設(shè)計(jì)。其次,針對(duì)無(wú)權(quán)復(fù)雜網(wǎng)絡(luò),提出基于社區(qū)結(jié)構(gòu)的關(guān)鍵節(jié)點(diǎn)分布式挖掘算法。該算法針對(duì)節(jié)點(diǎn)社區(qū)結(jié)構(gòu)屬性、節(jié)點(diǎn)的直接鄰里關(guān)系,得到節(jié)點(diǎn)對(duì)應(yīng)的社區(qū)因子、信息擴(kuò)散系數(shù)和信息傳播依賴度,在此基礎(chǔ)上,計(jì)算得出節(jié)點(diǎn)自身重要度;接著通過(guò)對(duì)節(jié)點(diǎn)間接鄰里關(guān)系的考慮,得出節(jié)點(diǎn)綜合重要度,其大小決定節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)中的關(guān)鍵程度。再次,針對(duì)加權(quán)復(fù)雜網(wǎng)絡(luò),提出基于核心點(diǎn)社區(qū)的分布式關(guān)鍵節(jié)點(diǎn)挖掘算法。該算法基于節(jié)點(diǎn)相似度,劃分鄰域點(diǎn)社區(qū);接著對(duì)互為合并點(diǎn)社區(qū)的鄰域點(diǎn)社區(qū)進(jìn)行合并,得到核心點(diǎn)社區(qū),進(jìn)而完成整個(gè)網(wǎng)絡(luò)的社區(qū)劃分;每個(gè)核心點(diǎn)社區(qū)的核心點(diǎn)作為嫌疑關(guān)鍵節(jié)點(diǎn)群,考慮度屬性、權(quán)重屬性、多層鄰里關(guān)系,計(jì)算核心節(jié)點(diǎn)綜合重要度,并在每個(gè)社區(qū)中按照重要度值從大到小排序,取出每個(gè)社區(qū)中前幾個(gè)節(jié)點(diǎn)作為全網(wǎng)的關(guān)鍵節(jié)點(diǎn)。最后,針對(duì)本文提出的兩個(gè)算法,... 

【文章來(lái)源】：燕山大學(xué)河北省

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LFR基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)圖

- 52 -圖5-16 top3節(jié)點(diǎn)在網(wǎng)絡(luò)中的位置MA算法以分布式的方式進(jìn)行實(shí)現(xiàn)，對(duì)大規(guī)模數(shù)據(jù)有很30萬(wàn)、50萬(wàn)、70萬(wàn)個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行了加權(quán)復(fù)雜網(wǎng)絡(luò)關(guān)EVC算法對(duì)大規(guī)模數(shù)據(jù)的運(yùn)行，運(yùn)行時(shí)間過(guò)長(zhǎng)，未得到網(wǎng)絡(luò)數(shù)據(jù)變換為鄰接矩陣形式，當(dāng)數(shù)據(jù)量達(dá)到幾十萬(wàn)個(gè)，無(wú)法存入內(nèi)存執(zhí)行。通過(guò)本文的算法，以分布式的方多個(gè)小數(shù)據(jù)集執(zhí)行，一方面解決了內(nèi)存溢出問(wèn)題，另一多。圖5-17為MR-CPCKNMA算法的運(yùn)行時(shí)間結(jié)果，可知依然很短。


本文編號(hào)：2962562