【摘要】：在互聯(lián)網(wǎng)科技高度發(fā)達的今天,大數(shù)據(jù)逐漸成為計算領(lǐng)域的關(guān)注點和難點,具有非常重要的理論意義和研究價值。復(fù)雜網(wǎng)絡(luò)社區(qū)檢測問題就是當前一個非常重要的研究熱點。為了實現(xiàn)對復(fù)雜網(wǎng)絡(luò)更高精度和更高效率的社區(qū)檢測,本文主要是采用Hadoop并行計算平臺進行算法并行化的設(shè)計,目的是有效解決大規(guī)模復(fù)雜網(wǎng)絡(luò)的社區(qū)檢測問題。首先,采用Hadoop平臺對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測過程進行分布式并行計算模型的設(shè)計,并結(jié)合HDFS模型進行復(fù)雜網(wǎng)絡(luò)原始數(shù)據(jù)的并行化社區(qū)檢測劃分,然后結(jié)合HDFS模型并行批處理優(yōu)勢實現(xiàn)對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測過程的并行化處理。(1)針對復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)采用Hadoop平臺實現(xiàn),并在此基礎(chǔ)上實現(xiàn)對復(fù)雜網(wǎng)絡(luò)的分布式社區(qū)并行發(fā)現(xiàn)。(2)基于Cluster-dp方法原理設(shè)計的基于秩的中心分散稀疏選擇方法,對于社區(qū)發(fā)現(xiàn)過程的初始種子選取過程進行了改進,實現(xiàn)了較好的效果。結(jié)合傳統(tǒng)的K-means聚類算法,對復(fù)雜社區(qū)網(wǎng)絡(luò)中的節(jié)點進行類別的區(qū)分,實現(xiàn)社區(qū)結(jié)構(gòu)的有效檢測。專門針對網(wǎng)絡(luò)社區(qū)中的個體的稀疏關(guān)系,設(shè)計了一種用于社區(qū)節(jié)點個體屬性加強的聚類算法,稱為EkNN算法,降低數(shù)據(jù)噪聲對于社區(qū)發(fā)現(xiàn)過程產(chǎn)生的影響。(3)針對復(fù)雜網(wǎng)絡(luò)社區(qū)中的重疊結(jié)構(gòu),考慮采用基于Hadoop框架設(shè)計并行KNN算法的復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法,目的是提高社區(qū)發(fā)現(xiàn)過程的算法性能。設(shè)計了基于Hadoop并行框架下的Mapreduce-KNN并行聚類算法,實現(xiàn)了社區(qū)發(fā)現(xiàn)過程的效率提升。(4)針對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測問題,對關(guān)聯(lián)規(guī)則算法進行改進,主要解決關(guān)聯(lián)規(guī)則算法中存在的計算冗余問題,設(shè)計了具有單約束的社區(qū)檢測關(guān)聯(lián)規(guī)則算法,同時為了降低復(fù)雜網(wǎng)絡(luò)社區(qū)檢測算法中的計算量,本文結(jié)合Hadoop計算框架中的Mapreduce模型對關(guān)聯(lián)規(guī)則算法進行并行化設(shè)計。實驗結(jié)果顯示,本文所提的復(fù)雜網(wǎng)絡(luò)社區(qū)檢測算法具有更佳的社區(qū)檢測結(jié)果和檢測效率,對于處理互聯(lián)網(wǎng)科技高度發(fā)達今天的社區(qū)檢測問題具有非常重要的研究價值。
【圖文】：

HDFS系統(tǒng)

主要執(zhí)行的合并操作，這種操作方式能夠快速提升文件的訪問時效性enode 還起到對文件系統(tǒng)和訪問控制端之間的訪問速度控制，Nameno用是對客戶端數(shù)據(jù)訪問起到一定的中介和媒介的作用，如果客戶端能統(tǒng)中的元數(shù)據(jù)，則客戶端可實現(xiàn)對 Datenode 數(shù)據(jù)的有效訪問，并實現(xiàn) D數(shù)據(jù)的同步寫入。從數(shù)據(jù)的保密性上看，HDSF 系統(tǒng)對于客戶端系統(tǒng)是透明的[79]，，用SF 系統(tǒng)的訪問比較簡單，而從內(nèi)部看，HDSF 系統(tǒng)中的數(shù)據(jù)和文件可表據(jù)塊形式，將這些數(shù)據(jù)信息進行單一節(jié)點的存儲。這種存儲方式的優(yōu)以較為完整的保證系統(tǒng)的可靠性，用戶交互過程中無需關(guān)注系統(tǒng)的復(fù)實現(xiàn)對 HDSF 系統(tǒng)的利用。(2) HBase：該分布式計算框架實質(zhì)上是基于 HDSF 系統(tǒng)實現(xiàn)的，其實 NoSQL 數(shù)據(jù)庫，這種分布式的計算形式非常適于大數(shù)據(jù)操作對象的動。HDSF 系統(tǒng)在結(jié)構(gòu)實現(xiàn)上同關(guān)系類型的數(shù)據(jù)庫之間存在較為顯著的差對數(shù)據(jù)存儲方式進行定義，具有典型的四維結(jié)構(gòu)形式，見圖 2-4 系統(tǒng)示。
【學位授予單位】：湖北工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP311.13;O157.5

【參考文獻】

相關(guān)期刊論文 前10條

1 蔣盛益;楊博泓;王連喜;;一種基于增量式譜聚類的動態(tài)社區(qū)自適應(yīng)發(fā)現(xiàn)算法[J];自動化學報;2015年12期

2 劉海洋;王志海;黃丹;孫艷歌;;基于評分矩陣局部低秩假設(shè)的成列協(xié)同排名算法[J];軟件學報;2015年11期

3 李春英;湯庸;湯志康;黃泳航;袁成哲;趙劍冬;;面向大規(guī)模學術(shù)社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)模型[J];計算機應(yīng)用;2015年09期

4 于海;趙玉麗;崔坤;朱志良;;一種基于交叉熵的社區(qū)發(fā)現(xiàn)算法[J];計算機學報;2015年08期

5 辛宇;楊靜;謝志強;;基于數(shù)據(jù)場分析的語義重疊社區(qū)發(fā)現(xiàn)算法[J];中國科學:信息科學;2015年07期

6 張英杰;龔中漢;陳乾坤;;基于免疫離散差分進化算法的復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)[J];自動化學報;2015年04期

7 王淑敏;高媛;孫建飛;;興趣社區(qū)引導(dǎo)的機會社會網(wǎng)絡(luò)節(jié)點移動模型[J];計算機仿真;2015年02期

8 周小平;梁循;張海燕;;基于R-C模型的微博用戶社區(qū)發(fā)現(xiàn)[J];軟件學報;2014年12期

9 齊立磊;趙丹丹;;基于復(fù)雜網(wǎng)絡(luò)的城市公交系統(tǒng)優(yōu)化研究[J];西南師范大學學報(自然科學版);2014年07期

10 鄒丹;竇勇;郭松;;基于GPU的稀疏矩陣Cholesky分解[J];計算機學報;2014年07期

本文編號：2710774