【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,微博成為了國(guó)內(nèi)分享網(wǎng)絡(luò)信息的主要途徑,微博給人們的生活帶來(lái)了方便。但由于缺乏對(duì)信息的有效監(jiān)控和管理,為社會(huì)帶來(lái)了虛假信息和造謠信息,破壞了良好的網(wǎng)絡(luò)輿論,可能危害公眾的生活。因此,我們需要一個(gè)針對(duì)微博輿情的采集與分析系統(tǒng),來(lái)對(duì)微博的輿論進(jìn)行實(shí)時(shí)有效的監(jiān)控,能夠及時(shí)發(fā)現(xiàn)熱點(diǎn)輿情和計(jì)算該主題的情感強(qiáng)度,并可對(duì)負(fù)面消息進(jìn)行適當(dāng)?shù)囊龑?dǎo)輿論。本文對(duì)微博輿情系統(tǒng)的采集技術(shù)和輿情分析技術(shù)進(jìn)行研究和分析,并對(duì)該系統(tǒng)進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn),主要工作有:(1)在Scrapy爬蟲的基礎(chǔ)上,本文基于ZeroMq設(shè)計(jì)了一個(gè)高效的分布式爬蟲系統(tǒng)。該系統(tǒng)結(jié)合了微博的特點(diǎn),提出了使用位圖法和Hash索引相結(jié)合的方法解決海量的URL沖突問(wèn)題;同時(shí)針對(duì)微博對(duì)網(wǎng)絡(luò)爬蟲的反爬蟲限制,利用了代理節(jié)點(diǎn)采集和定時(shí)采集相結(jié)合的策略來(lái)提高爬取數(shù)據(jù)的效率;為提高數(shù)據(jù)量,還結(jié)合了微博提供的開放平臺(tái)服務(wù)接口來(lái)爬取微博數(shù)據(jù),擴(kuò)大數(shù)據(jù)量。(2)本文提出了優(yōu)化主題微博情感強(qiáng)度計(jì)算的方法。該方法構(gòu)建了情感詞典,然后對(duì)主題的評(píng)論進(jìn)行預(yù)處理;同時(shí)基于主題微博的評(píng)論的情感來(lái)計(jì)算其情感強(qiáng)度;最后提出了使用微博的認(rèn)證類型來(lái)優(yōu)化情感強(qiáng)度的方法。實(shí)驗(yàn)結(jié)果表明該方法能使主題微博情感強(qiáng)度的準(zhǔn)確度提高0.05～0.1。(3)本文實(shí)現(xiàn)了微博輿情分析系統(tǒng)并進(jìn)行了界面展示,通過(guò)對(duì)微博數(shù)據(jù)進(jìn)行了微博發(fā)布行為的時(shí)間分布、微博轉(zhuǎn)發(fā)延遲的時(shí)間分布以及微博輿情熱點(diǎn)等實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)結(jié)合代理采集系統(tǒng)可以實(shí)時(shí)的監(jiān)控微博輿情并使用優(yōu)化主題微博情感強(qiáng)度計(jì)算的方法能有效的分析出熱點(diǎn)輿情的情感傾向。
【圖文】：

才可以下載到網(wǎng)頁(yè)的內(nèi)容，因此本文在爬蟲框架中采用了模擬登錄微博帳逡逑號(hào)來(lái)抓取微博數(shù)據(jù)。本文使用了邋ｃｏｍｍｖｉｅｗ這個(gè)工具抓包來(lái)分析微博登錄的整個(gè)逡逑交互過(guò)程。如圖２－２所示，新浪微博通過(guò)對(duì)用戶的帳號(hào)和密碼兩者進(jìn)行驗(yàn)證來(lái)保逡逑證用戶登錄信息的安全性。逡逑其完整的ＨＴＴＰ包交互過(guò)程如下：逡逑（１）

邐第二章微博輿情系統(tǒng)的相關(guān)技術(shù)逡逑文檔讀入到程序中，依次把標(biāo)簽都?jí)喝氲綏Ｖ校缓笤僖来谓⑾鄳?yīng)的標(biāo)簽樹，逡逑如圖２－３所示。當(dāng)讀到正文“微博輿情監(jiān)控系統(tǒng)”的時(shí)候，就把該正文保留到樹逡逑的葉子節(jié)點(diǎn)中。然后繼續(xù)掃描源文檔，，當(dāng)發(fā)現(xiàn)反向標(biāo)簽時(shí)，例如＜／ｔｉｔｌｅ＞，在與前逡逑面壓棧的內(nèi)容對(duì)比，找到與之對(duì)應(yīng)的標(biāo)簽，并把它ｐｏｐ出來(lái)，直到掃描到文檔結(jié)逡逑尾為止。逡逑
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.092;TP391.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 鐘明翔;唐晉韜;謝松縣;王挺;;一種基于動(dòng)態(tài)網(wǎng)頁(yè)解析的微博數(shù)據(jù)抓取方法[J];艦船電子工程;2015年10期

2 李志明;;知網(wǎng)、萬(wàn)方、維普論文相似性檢測(cè)系統(tǒng)比較研究[J];大學(xué)圖書情報(bào)學(xué)刊;2015年01期

3 張宇;呂龍;趙萍;;四川省高校圖書館微博使用現(xiàn)狀的調(diào)查和分析——基于新浪微博認(rèn)證用戶調(diào)查[J];四川圖書館學(xué)報(bào);2014年03期

4 侯敏;滕永林;李雪燕;陳毓麒;鄭雙美;侯明午;周紅照;;話題型微博語(yǔ)言特點(diǎn)及其情感分析策略研究[J];語(yǔ)言文字應(yīng)用;2013年02期

5 李躍健;朱程榮;;基于Larbin的網(wǎng)絡(luò)爬蟲體系結(jié)構(gòu)的研究與改進(jìn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2012年07期

6 廉捷;周欣;曹偉;劉云;;新浪微博數(shù)據(jù)挖掘方案[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年10期

7 姚昱;朱山風(fēng);陳莘萌;;基于投票模型的元搜索排序合成算法[J];計(jì)算機(jī)工程;2007年22期

8 孫晉眾;陳世權(quán);;網(wǎng)絡(luò)組織拓?fù)渚垲惙治鯷J];太原理工大學(xué)學(xué)報(bào);2007年01期

9 張樹瑜,杜國(guó)寧,朱仲英;基于Web的半結(jié)構(gòu)化信息抽取技術(shù)研究[J];系統(tǒng)工程與電子技術(shù);2004年05期

相關(guān)碩士學(xué)位論文 前5條

1 耿大偉;基于Python技術(shù)的校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2015年

2 胡偉;基于Nutch的分布式爬蟲研究與優(yōu)化[D];上海師范大學(xué);2015年

3 藍(lán)天廣;電子商務(wù)產(chǎn)品在線評(píng)論的細(xì)粒度情感強(qiáng)度分析[D];北京郵電大學(xué);2015年

4 單月光;基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

5 周麗;我國(guó)政務(wù)微博的現(xiàn)狀、問(wèn)題與對(duì)策研究[D];江西財(cái)經(jīng)大學(xué);2012年

本文編號(hào)：2576175