【摘要】：隨著互聯(lián)網(wǎng)的普及,國(guó)內(nèi)互聯(lián)網(wǎng)用戶的不斷增多,網(wǎng)絡(luò)輿情逐漸滲透社會(huì)、經(jīng)濟(jì)、政治各個(gè)層面,網(wǎng)絡(luò)虛擬群體業(yè)已成為推動(dòng)互聯(lián)網(wǎng)輿情發(fā)展不可忽視的力量。因此,基于互聯(lián)網(wǎng)的輿情信息挖掘技術(shù)和網(wǎng)絡(luò)群體行為研究越來(lái)越受到廣泛關(guān)注。輿情是指一定時(shí)期內(nèi)一定范圍內(nèi)的社會(huì)群體對(duì)某些社會(huì)現(xiàn)象和現(xiàn)實(shí)的主觀反映�；ヂ�(lián)網(wǎng)輿情信息挖掘技術(shù)作為輿情主題檢測(cè)的有效手段逐漸成為研究熱點(diǎn)。然而,現(xiàn)有的互聯(lián)網(wǎng)輿情信息挖掘技術(shù)在處理海量網(wǎng)絡(luò)信息時(shí)曝露出很多問(wèn)題,在網(wǎng)絡(luò)群體行為分析方面研究尚不成熟,因此亟需在互聯(lián)網(wǎng)輿情信息挖掘和群體行為分析的理論體系和技術(shù)方法上實(shí)現(xiàn)突破。 本文利用網(wǎng)絡(luò)信息挖掘的方法分析了互聯(lián)網(wǎng)輿情信息挖掘的流程,針對(duì)網(wǎng)絡(luò)輿情產(chǎn)生、傳播的特點(diǎn),對(duì)傳統(tǒng)網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)進(jìn)行了改進(jìn)。此外根據(jù)輿情主題檢測(cè)的特點(diǎn)和要求對(duì)傳統(tǒng)的文本聚類(lèi)算法進(jìn)行了改進(jìn)�；谏鐣�(huì)網(wǎng)絡(luò)分析方法對(duì)網(wǎng)絡(luò)輿情群體的組織結(jié)構(gòu)和行為規(guī)律進(jìn)行了分析,并以博客圈子和論壇小組為例進(jìn)行了拓?fù)浞治龊椭行亩确治?總結(jié)出了這兩種典型網(wǎng)絡(luò)群體的結(jié)構(gòu)和行為。最后,本文基于上述研究,進(jìn)行了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)和功能設(shè)計(jì)。主要研究?jī)?nèi)容如下： 網(wǎng)絡(luò)信息抓取和預(yù)處理技術(shù)研究：在網(wǎng)絡(luò)信息抓取階段,結(jié)合互聯(lián)網(wǎng)輿情信息實(shí)時(shí)更新,傳播速度快的特點(diǎn),本文設(shè)計(jì)了并發(fā)式增量式網(wǎng)絡(luò)爬蟲(chóng)以滿足網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對(duì)不同網(wǎng)頁(yè)來(lái)源的數(shù)據(jù)進(jìn)行采集的需求,同時(shí)也解決了大規(guī)模網(wǎng)頁(yè)爬行的效率問(wèn)題。在信息預(yù)處理階段,針對(duì)新聞和博客網(wǎng)頁(yè)、BBS網(wǎng)頁(yè)結(jié)構(gòu)不同的特點(diǎn)采用了不同的凈化技術(shù),采用HTML Parser提取新聞和博客網(wǎng)頁(yè)正文,根據(jù)BBS網(wǎng)頁(yè)高度結(jié)構(gòu)化的特點(diǎn)設(shè)計(jì)了基于DOM樹(shù)和模板的BBS結(jié)構(gòu)化信息提取,最終獲得了可用于文本聚類(lèi)的純文本文檔。 互聯(lián)網(wǎng)輿情信息挖掘算法,即文本聚類(lèi)算法研究：本文改進(jìn)了傳統(tǒng)的TF-IDF公式,可以對(duì)網(wǎng)絡(luò)信息形成的動(dòng)態(tài)文本流進(jìn)行特征提取,并考慮了網(wǎng)絡(luò)新興詞匯對(duì)特征提取的影響,給新詞賦予適當(dāng)?shù)臋?quán)重提高了增量TF-IDF模型的質(zhì)量。在文本聚類(lèi)階段,在進(jìn)行文本相似度分析時(shí)加入“時(shí)間窗”的概念,大大提高了Single-pass增量聚類(lèi)算法的效率,同時(shí)也降低了聚類(lèi)算法對(duì)內(nèi)存的消耗。 基于社會(huì)網(wǎng)絡(luò)分析的網(wǎng)絡(luò)輿情群體行為研究：本文使用社會(huì)網(wǎng)絡(luò)分析技術(shù)對(duì)基于某一輿情主題而聚集起來(lái)的輿情群體進(jìn)行組織結(jié)構(gòu)分析和行為監(jiān)控,對(duì)網(wǎng)絡(luò)群體和虛擬組織進(jìn)行了拓?fù)浞治�、中心度分析和群體分析,并使用可視化社會(huì)網(wǎng)絡(luò)工具繪制輿情群體網(wǎng)絡(luò)圖,將輿情群體的行為演變規(guī)律直觀的展示給用戶。 在上述研究基礎(chǔ)上,本文設(shè)計(jì)了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)、功能模塊和工作流程,為下一步進(jìn)行系統(tǒng)實(shí)現(xiàn)和應(yīng)用奠定了基礎(chǔ)。
【圖文】：

圖2一1網(wǎng)絡(luò)爬蟲(chóng)工作原理圖定的抓取策略對(duì)網(wǎng)頁(yè)進(jìn)行抓取，可以分為深在很多情況下會(huì)導(dǎo)致爬蟲(chóng)的陷入(trapped)問(wèn)題】。指在抓取過(guò)程中，在完成當(dāng)前層次的搜索后，現(xiàn)相對(duì)簡(jiǎn)單。在目前為覆蓋盡可能多的網(wǎng)頁(yè)，將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲(chóng)中。其基內(nèi)的網(wǎng)頁(yè)具有主題相關(guān)性的概率很大。另外一合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁(yè)，再將其，隨著抓取網(wǎng)頁(yè)的增多，大量的無(wú)關(guān)網(wǎng)頁(yè)將被照一定的網(wǎng)頁(yè)分析算法，預(yù)測(cè)候選URL與取評(píng)價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行抓取。它

圖2一2改進(jìn)后的網(wǎng)絡(luò)爬蟲(chóng)工作原理圖2.3網(wǎng)絡(luò)信息預(yù)處理技術(shù)信息預(yù)處理技術(shù)研究如何將HTML格式網(wǎng)頁(yè)經(jīng)過(guò)去噪、漢字編碼轉(zhuǎn)換等一系列操作處理成純文本格式文檔。由于網(wǎng)頁(yè)通常包含廣告、版權(quán)信息和頁(yè)面導(dǎo)航等大量噪音，首先要對(duì)下載到的網(wǎng)頁(yè)進(jìn)行數(shù)據(jù)清洗。網(wǎng)絡(luò)輿情信息通常來(lái)自于新聞網(wǎng)站、博客、BBS和SNS網(wǎng)站，從這些網(wǎng)站抓取到的HTML網(wǎng)頁(yè)的結(jié)構(gòu)不同，，其處理方法也各異。本節(jié)將介紹網(wǎng)頁(yè)凈化、中文分詞等技術(shù)，研究不同結(jié)構(gòu)網(wǎng)頁(yè)的信息預(yù)處理方法。2.3.1多源異構(gòu)網(wǎng)頁(yè)凈化方法網(wǎng)頁(yè)噪音指網(wǎng)頁(yè)中包含的廣告、版權(quán)信息和頁(yè)面導(dǎo)航、注釋以及JavascriPt腳本。網(wǎng)頁(yè)凈化，又稱網(wǎng)頁(yè)去噪，指去除網(wǎng)頁(yè)噪音獲取網(wǎng)頁(yè)標(biāo)題和正文信息的技術(shù)。下面將分別介紹新聞和博客網(wǎng)頁(yè)、BBS網(wǎng)頁(yè)的凈化技術(shù)。(1)新聞和博客網(wǎng)頁(yè)凈化本系統(tǒng)采用 HTMLParser提取新聞和博客網(wǎng)頁(yè)正文。 HTMLParser是一個(gè)用于Html文件解析的Java庫(kù)， HTMLParser把整個(gè)html文件組成分為三類(lèi)節(jié)點(diǎn)(Node):Text(文字)，Remark(Html文件中的注釋)，Tag(標(biāo)簽)
【學(xué)位授予單位】：武漢理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2010
【分類(lèi)號(hào)】：TP393.09;F49

【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前1條

1 鐘文輝;基于Heritrix的信息獲取系統(tǒng)的研究及實(shí)現(xiàn)[D];中山大學(xué);2013年

本文編號(hào)：2635702