【摘要】： 本文對互聯(lián)網(wǎng)輿情信息的獲取和分析做了較深入的討論。利用Rhino腳本解析引擎,有效地解決了互聯(lián)網(wǎng)中JavaScript動態(tài)網(wǎng)頁的獲取問題。同時,結(jié)合基于向量空間的文本分類方法和基于語義的文本分類方法,對傳統(tǒng)的文本傾向性分析進行改進,有效地提高了準(zhǔn)確率和普適性。 本文首先討論了JavaScript動態(tài)網(wǎng)頁的獲取,回顧了網(wǎng)頁獲取領(lǐng)域的已有成果,列舉了網(wǎng)頁獲取領(lǐng)域的基本知識,包括HTML語言、HTTP協(xié)議以及URL統(tǒng)一資源定位符等基本概念,以及動態(tài)網(wǎng)頁方面的相關(guān)知識。同時指出了,隨著網(wǎng)頁技術(shù)的快速發(fā)展,網(wǎng)頁獲取技術(shù)需要做相應(yīng)的改進。 在回顧網(wǎng)頁獲取領(lǐng)域已有成果的基礎(chǔ)上,本文針對其中的鏈接獲取機制做了詳細的說明。盡管傳統(tǒng)的網(wǎng)頁獲取技術(shù)可以利用HTML語言的一些特點,提取出網(wǎng)頁中包含的鏈接地址,然而由于網(wǎng)頁技術(shù)的發(fā)展,越來越多的網(wǎng)頁將鏈接地址隱藏在網(wǎng)頁腳本中。鑒于此,本文通過認真分析,認為需要在網(wǎng)頁獲取技術(shù)中增加腳本解析環(huán)節(jié)。通過本文的測試驗證,證明了增加腳本解析環(huán)節(jié)后,可以有效地提高網(wǎng)頁的獲取率。 接著,本文還討論了網(wǎng)頁文本傾向性問題的研究,回顧了文本分類領(lǐng)域的已有成果,列舉了文本分類領(lǐng)域中的幾個重要知識,包括文本分詞,文本表示,特征選擇,以及分類方法。指出了隨著技術(shù)的發(fā)展,文本傾向性分析將是文本分類的一個重要發(fā)展方向。 在回顧文本分類領(lǐng)域已有成果的基礎(chǔ)上,本文針對其中的分類方法做了詳細說明。盡管現(xiàn)有的分類技術(shù)可以有效地將文本分為體育、娛樂、政治等類別,但是還不能有效地根據(jù)文本作者想表達的情感特征進行分類。本文通過認真分析,認為在基于向量空間模型的分類方法中可以適當(dāng)?shù)亟梃b基于語義的分類方法中的權(quán)重設(shè)置方法。通過本文的測試驗證,本文提出的綜合的方法,可以有效地對文本進行傾向性分類。
【圖文】：

圖 5- 2 凱迪社區(qū)網(wǎng)頁初始源代碼Figure 5- 2 Original Code of Web Page from KaiDi Forum接著，將該網(wǎng)頁地址作為本文程序的輸入，經(jīng)過本文方法的處理后，可以看到以下結(jié)果，如圖 5- 3 所示。可以發(fā)現(xiàn)原先出現(xiàn)腳本的地方，出現(xiàn)段標(biāo)準(zhǔn)的 HTML 代碼，而該段代碼就是一個標(biāo)準(zhǔn)的超級鏈接，此時就可以HTML 標(biāo)記識別方法提取頁面中的 URL 信息了，也就可以獲取頁面內(nèi)的帖題鏈接。

圖 5- 2 凱迪社區(qū)網(wǎng)頁初始源代碼Figure 5- 2 Original Code of Web Page from KaiDi Forum接著，將該網(wǎng)頁地址作為本文程序的輸入，經(jīng)過本文方法的處理后，可以看到以下結(jié)果，如圖 5- 3 所示�？梢园l(fā)現(xiàn)原先出現(xiàn)腳本的地方，出現(xiàn)段標(biāo)準(zhǔn)的 HTML 代碼，而該段代碼就是一個標(biāo)準(zhǔn)的超級鏈接，，此時就可以HTML 標(biāo)記識別方法提取頁面中的 URL 信息了，也就可以獲取頁面內(nèi)的帖題鏈接。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2008
【分類號】：TP312.2;G250.73

【相似文獻】

相關(guān)期刊論文 前10條

1 葛斌;蔣林承;肖延?xùn)|;史宗麟;郭絲路;;網(wǎng)絡(luò)論壇意見領(lǐng)袖挖掘系統(tǒng)設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2011年22期

2 王曉艷;梁晉春;郭曉霞;姚穎穎;汪瑛;;基于互聯(lián)網(wǎng)的數(shù)字媒體內(nèi)容輿情分析系統(tǒng)[J];計算機系統(tǒng)應(yīng)用;2011年08期

3 劉金亮;蘇琳;石云;;基于Nutch的垂直搜索技術(shù)研究[J];電腦知識與技術(shù);2011年24期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)會議論文 前3條

1 周國民;丘耘;鄭彥妍;曾枝連;樊景超;;基于SDD算法的特定網(wǎng)頁采集技術(shù)[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

2 劉艷民;;中文網(wǎng)頁分類方法的研究[A];2009年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(下冊)[C];2009年

3 張凱;李魁;張剛;王斌;;基于站點的Web信息采集器研究[A];第二屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議（NCIRCS-2005）論文集[C];2005年

相關(guān)重要報紙文章 前3條

1 ;評測公告[N];中國計算機報;2004年

2 四川 陳偉;用“Ctrl+C”組合鍵復(fù)制加密的網(wǎng)頁[N];電腦報;2004年

3 記者 徐建;宣城暢通網(wǎng)絡(luò)輿情解民意[N];安徽日報;2008年

相關(guān)碩士學(xué)位論文 前10條

1 金曉鷗;互聯(lián)網(wǎng)輿情信息獲取與分析研究[D];上海交通大學(xué);2008年

2 賈春鑫;面向主題的雙約束網(wǎng)頁采集方法的研究和實現(xiàn)[D];上海交通大學(xué);2011年

3 白紅霞;支持JavaScript解析的網(wǎng)頁采集系統(tǒng)設(shè)計與實現(xiàn)[D];東北大學(xué);2008年

4 楊超;基于網(wǎng)格的大規(guī)模網(wǎng)頁采集技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2007年

5 朱志寧;基于Web的企業(yè)競爭情報智能搜集平臺中頁面分析存儲的研究[D];昆明理工大學(xué);2006年

6 肖偉;基于語義的BLOG社區(qū)文本傾向性分析[D];上海交通大學(xué);2007年

7 管敏杰;WEB文本挖掘系統(tǒng)[D];浙江工商大學(xué);2007年

8 張曉峰;并行網(wǎng)頁抓取系統(tǒng)設(shè)計[D];北京交通大學(xué);2007年

9 李麗莉;網(wǎng)絡(luò)信息監(jiān)控分析系統(tǒng)的研究與設(shè)計[D];江西師范大學(xué);2008年

10 孫勝平;中文微博客熱點話題檢測與跟蹤技術(shù)研究[D];北京交通大學(xué);2011年

本文編號：2645805