本文關鍵詞：社交網絡結構特性研究

  更多相關文章： 社交網絡 度分布 同配性 互相關注率 并行化 分布式

【摘要】：近年來,隨著互聯(lián)網技術的發(fā)展,尤其移動互聯(lián)網的普及,社交網絡作為一種比較真實,穩(wěn)定的交友模式在社會上越來越受歡迎。尤其以Twitter, facebook,新浪微博為代表這類在線社交網絡呈現爆炸式發(fā)展。新浪微博官方數據顯示,截止到2013年3月,新浪微博的注冊用戶已經超過5.3億。 社交網絡作為現實生活中真實關系在網絡上的一種拓展,所以具有一般人際網絡的特征,相對有序,結構呈現一定的規(guī)律。基于此,我們認為對社交網絡的結構進行研究是可行的,對于促進社交網絡的進一步發(fā)展也具有重要意義。 本文以復雜網絡的基礎理論為依據,結合圖論的相關知識,對社交網絡的結構進行深入的研究。首先搭建了穩(wěn)定的、高性能的數據采集平臺。在平臺上,使用并行化計算框架Hadoop作為核心技術設計了爬蟲模塊,對廣度優(yōu)先的基礎上做出改進,提出加權的廣度優(yōu)先算法作為爬蟲策略以實現隨機抽樣。在分布式存儲模塊,采用一致性哈希算法作為數據設備映射算法。對數據庫采用讀寫分離技術以及副本集技術提高數據庫集群的穩(wěn)定性和響應速度。其次,對新浪微博真實網絡和去除人工干預之后的網絡做結構性分析。采用最大似然估計的方法擬合度分布的曲線分析網絡的無尺度特性,基于Hadoop計算框架改進的dijkstra算法計算平局最短路徑長度來分析網絡的小世界特性,通過互相關注率分析網絡的對稱性,通過計算網絡的皮爾遜系數來表征網絡的同配性,通過聯(lián)合度分布來測量網絡的入度分布和出度分布的相關性。 經過分析得出新浪微博的真實網絡更像是一個信息發(fā)布,傳播的平臺,經過去除人工干預之后的網絡從結構上更像是經典的社交網絡。
【關鍵詞】：社交網絡 度分布 同配性 互相關注率 并行化 分布式
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.092
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.1.1 研究背景9-10
• 1.1.2 研究意義10
• 1.2 國內外研究現狀10-11
• 1.3 論文結構及研究內容11-14
• 第二章 社交網絡數據挖掘原理14-25
• 2.1 數據采集與存儲技術14-20
• 2.1.1 爬蟲策略介紹14-15
• 2.1.2 并行式計算框架Hadoop15-18
• 2.1.3 數據庫技術18-20
• 2.2 社交網絡建模分析技術20-24
• 2.2.1 復雜網絡模型20-22
• 2.2.2 復雜網絡結構特征參數22-24
• 2.3 本章小結24-25
• 第三章 數據采集存儲平臺設計和實現25-43
• 3.1 整體框架設計25-26
• 3.2 采集平臺26-31
• 3.2.1 爬蟲策略26-28
• 3.2.2 分布式爬蟲模塊28-31
• 3.3 存儲平臺31-34
• 3.3.1 數據映射層32-33
• 3.3.2 分布式數據集群33-34
• 3.4 性能測試34-41
• 3.4.1 測試條件介紹35
• 3.4.2 測試結果分析35-39
• 3.4.3 數據結果描述39-41
• 3.5 本章小結41-43
• 第四章 社交網絡結構特性分析43-63
• 4.1 無尺度特性44-50
• 4.1.1 計算過程45-46
• 4.1.2 結果分析46-50
• 4.2 小世界特性50-53
• 4.2.1 計算過程50-52
• 4.2.2 結果分析52-53
• 4.3 對稱性53-55
• 4.3.1 計算過程53-54
• 4.3.2 結果分析54-55
• 4.4 同配性55-59
• 4.4.1 計算過程55-57
• 4.4.2 結果分析57-59
• 4.5 度相關性59-62
• 4.5.1 計算過程59
• 4.5.2 結果分析59-62
• 4.6 本章小結62-63
• 第五章 總結與展望63-65
• 5.1 本文工作成果總結63
• 5.2 下一步研究工作63-65
• 參考文獻65-68
• 致謝68

【共引文獻】

中國期刊全文數據庫 前10條

1 汪濤,樊孝忠,顧益軍,劉林;基于概念分析的主題爬蟲設計[J];北京理工大學學報;2004年10期

2 毛曉蛟;;搜索引擎中網絡蜘蛛的研究與實現[J];電腦編程技巧與維護;2010年18期

3 劉剛;于力超;;搜索引擎中網絡蜘蛛的設計與實現[J];電腦與信息技術;2007年04期

4 包宇寧;使用Java編程解析HTML文檔[J];福建電腦;2004年09期

5 付濤;戴玉剛;周登;;鏈接分析在主題信息檢索系統(tǒng)中的應用[J];電腦與電信;2009年01期

6 朱丹浩;王東波;Saeed-Ul Hassan;Peter Haddawy;;知識組織視角下關鍵詞網絡中的小世界現象[J];圖書與情報;2013年06期

7 李嬋嬋;蔣國平;宋玉蓉;;動態(tài)小世界社團網絡上的病毒傳播研究[J];復雜系統(tǒng)與復雜性科學;2014年03期

8 王洪偉;任豪;;社交網絡的有效信息量研究:基于節(jié)點強度的分析[J];北京工業(yè)大學學報;2015年05期

9 王先培;田猛;董政呈;龍嘉川;代蕩蕩;朱國威;;通信光纜故障對電力網連鎖故障的影響[J];電力系統(tǒng)自動化;2015年13期

10 張紅斌;;網上求職機器人的軟件設計[J];華東交通大學學報;2006年01期

中國重要會議論文全文數據庫 前3條

1 吳春胤;陳聯(lián)誠;俞守華;;基于AgMES的搜索引擎的設計與實現[A];農業(yè)工程科技創(chuàng)新與建設現代農業(yè)——2005年中國農業(yè)工程學會學術年會論文集第三分冊[C];2005年

2 許映秋;楊占波;談英姿;;基于多主體建模的危機信息傳播與控制策略研究[A];2014第二屆中國指揮控制大會論文集（下）[C];2014年

3 嚴嶺;李逸群;;網絡輿情事件中的微博炒作賬號發(fā)現方法研究[A];第29次全國計算機安全學術交流會論文集[C];2014年

中國碩士學位論文全文數據庫 前10條

1 雷斌;基于Java技術的智能化搜索引擎的研究與設計[D];哈爾濱工程大學;2010年

2 徐東麗;基于Crawler的Web服務搜索研究[D];大連海事大學;2011年

3 趙思佳;基于規(guī)則引擎的個性化網頁爬蟲研究[D];中南大學;2010年

4 金翠平;復雜網絡上各向異性Ashkin-Teller模型的相變[D];江西師范大學;2011年

5 張志華;工程軟件網絡的復雜性與社團結構研究[D];石家莊鐵道大學;2011年

6 喬小燕;一類圖值過程不具有大團聚性的一個充分條件[D];南京航空航天大學;2010年

7 王晶;基于垂直搜索技術的競爭情報采集系統(tǒng)的設計與實現[D];上海交通大學;2011年

8 黃丹;考慮代價的無標度網絡抗攻擊性研究[D];中南民族大學;2011年

9 亓玉娟;基于復雜網絡的病毒傳播研究[D];華中科技大學;2011年

10 何速;社會電視用戶行為分析[D];國防科學技術大學;2011年

，

本文編號：1000289