【摘要】：隨著互聯(lián)網(wǎng)的迅速普及,Web上的垃圾網(wǎng)頁也逐漸增多,這極大的影響了搜索引擎的精度和效率,如何識別垃圾網(wǎng)頁已經(jīng)成為互聯(lián)網(wǎng)搜索所面臨的最嚴峻的挑戰(zhàn)之一。 通過對垃圾網(wǎng)頁深入的研究,多數(shù)網(wǎng)頁作弊利用了鏈接的特點。本文在對各類垃圾網(wǎng)頁鏈接作弊檢測技術(shù)做了深入研究綜述的基礎(chǔ)上,設(shè)計垃圾網(wǎng)頁檢測系統(tǒng)框架,然后在這一框架下研究如何對網(wǎng)頁的特征屬性進行分析和分類器設(shè)計。 論文中首先研究優(yōu)化了一個基于隨機森林算法的鏈接作弊分類器。通過對網(wǎng)頁進行基于內(nèi)容和鏈接等特征屬性的綜合提取,采用該分類器對測試集進行第一階段分類。 然后針對“鏈接工廠”等鏈接作弊的常見形式,采用SpamRank算法進行檢測。通過對垃圾頁面種子集賦予SpamRank權(quán)值,并在垃圾頁面及其鏈接頁面之間相互傳遞SpamRank值,構(gòu)建Web圖并對其進行遍歷,從而達到對測試集進行第二階段分類的目的。最后采用IN-OUT算法對鏈接工廠的檢測結(jié)果進行了分析。 本文最后利用Web Spam Challenge2008推出的檢測研究用數(shù)據(jù)集WEBSPAM-UK2007分別訓(xùn)練分類器,同時對鏈接型垃圾網(wǎng)頁檢測算法進行了實驗,并用各種評測指標和算法對比等對實驗結(jié)果進行了詳細的分析。結(jié)果表明,本論文實現(xiàn)的鏈接型垃圾網(wǎng)頁檢測系統(tǒng)達到了預(yù)期的目標。
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP393.092

【相似文獻】

相關(guān)期刊論文 前10條

1 吳鵬飛;馬鳳娟;;基于Boost.Regex的網(wǎng)頁信息抽取[J];電腦編程技巧與維護;2009年15期

2 徐明;;輕松破解網(wǎng)頁右鍵屏蔽六招[J];電腦校園;2002年12期

3 杜翠茹;;淺析網(wǎng)頁布局方法在教學(xué)中的優(yōu)化[J];大眾科技;2010年05期

4 孟濤,閆宏飛,王繼民;Web網(wǎng)頁信息變化的時間局部性規(guī)律及其驗證[J];情報學(xué)報;2005年04期

5 ;和朋友看同一個網(wǎng)頁的幸福生活[J];計算機與網(wǎng)絡(luò);2005年18期

6 張曉彥;張曉明;;一種基于表格屬性的網(wǎng)頁信息隱藏算法[J];北京石油化工學(xué)院學(xué)報;2009年01期

7 郭利偉;王家兵;;Web信息自動標引方法比較[J];內(nèi)蒙古科技與經(jīng)濟;2009年07期

8 胡少榮;孟嗣儀;劉云;張彥超;丁飛;;網(wǎng)頁信息自動抽取技術(shù)的研究[J];鐵路計算機應(yīng)用;2010年09期

9 張莉,曾致遠;Windows下網(wǎng)頁信息實時監(jiān)聽程序的設(shè)計與實現(xiàn)[J];微計算機信息;2005年03期

10 陳太洋;;我國大學(xué)圖書館網(wǎng)站鏈接的實證分析——以中國“211工程”高校為例[J];圖書館雜志;2007年03期

相關(guān)會議論文 前10條

1 韓近強;趙靜;楊冬青;唐世渭;姚小波;;基于領(lǐng)域知識的網(wǎng)頁篩選系統(tǒng)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2002年

2 王曉峰;劉惟一;;從用戶需求到網(wǎng)頁集團的模糊變換[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

3 吳倩;楊逍;張兆心;;基于視覺特征的網(wǎng)頁信息提取[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

4 羅陽;季鐸;張桂平;王瑩瑩;;面向單一網(wǎng)頁的雙語資源挖掘方法[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

5 張貫虹;烏達巴拉;鞏政;;基于向量空間模型的網(wǎng)頁文本句子對齊方法研究[A];第十一屆全國人機語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

6 趙玉芳;張一鳴;;基于網(wǎng)頁信息的印象形成的初步研究[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

7 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計實現(xiàn)[A];全國第20屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（上冊）[C];2009年

8 張陽;李戰(zhàn)懷;近藤廣幸;;WEB PAGE的自動分類[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1999年

9 宋丹;林鴻飛;楊志豪;;一種利用鏈接分析的Web話題跟蹤方法[A];第三屆學(xué)生計算語言學(xué)研討會論文集[C];2006年

10 鄒綱;孟遙;于浩;西野文人;;一種基于網(wǎng)站主頁信息建立公司名稱知識庫的方法[A];全國第八屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議（JSCL-2005）論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 壯壯;批量保存網(wǎng)頁信息[N];電腦報;2004年

2 本報記者 黃繼新;反垃圾信息：技術(shù)抑或法律？[N];經(jīng)濟觀察報;2004年

3 楊永猛;西藏移動維護消費者權(quán)益[N];人民郵電;2008年

4 苗莎莎;內(nèi)蒙古移動遏制不良信息出新舉[N];人民郵電;2008年

5 何宗卯　本報特約記者 李典勝;向垃圾信息說不[N];解放軍報;2011年

6 本報記者 劉燕;各大社區(qū)聯(lián)手打響垃圾信息圍殲戰(zhàn)[N];科技日報;2011年

7 ;垃圾信息有望繳清[N];中國電腦教育報;2011年

8 本報記者 秦國防;綠色聯(lián)盟能否掃清信息垃圾[N];河南日報;2008年

9 記者 周國勇　實習(xí)生 金丹;手文明：你會丟東西嗎？[N];紹興日報;2011年

10 張英;權(quán)威調(diào)查：用戶平均每周收到8.29條垃圾短信[N];人民郵電;2006年

相關(guān)博士學(xué)位論文 前10條

1 焦斌星;用于搜索的網(wǎng)頁可視化摘要技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2012年

2 張長利;面向特定領(lǐng)域的互聯(lián)網(wǎng)輿情分析技術(shù)研究[D];吉林大學(xué);2011年

3 孟憲軍;互聯(lián)網(wǎng)文本聚類與檢索技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2009年

4 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2010年

5 王昤璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

6 葉育鑫;語義Web下的知識搜索及其核心技術(shù)[D];吉林大學(xué);2010年

7 劉守群;海量網(wǎng)絡(luò)視頻快速檢索關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2010年

8 段瑞雪;基于依存關(guān)系的用戶意圖的研究[D];北京郵電大學(xué);2011年

9 曹魯慧;Web個人信息集成問題研究[D];山東大學(xué);2012年

10 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 于洪波;中文網(wǎng)頁自動采集與分類系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2010年

2 鐘鴻鵬;基于時態(tài)信息的網(wǎng)頁排序系統(tǒng)的研究與實現(xiàn)[D];華南理工大學(xué);2010年

3 張航;主題爬蟲的實現(xiàn)及其關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2010年

4 馮明遠;深度網(wǎng)絡(luò)信息爬取關(guān)鍵技術(shù)研究與實現(xiàn)[D];浙江大學(xué);2010年

5 鄧科;智能搜索中的中文網(wǎng)頁分類研究[D];蘭州理工大學(xué);2011年

6 黨春輝;網(wǎng)頁消重和聚類算法在高校搜索引擎中的研究與應(yīng)用[D];東華大學(xué);2010年

7 馬偉瑜;基于改進的PageRank的網(wǎng)頁信息可信度評估方法研究[D];河北大學(xué);2011年

8 徐楨虎;鏈接作弊垃圾網(wǎng)頁的檢測算法研究[D];西南交通大學(xué);2012年

9 任斌;基于本體的主動學(xué)習(xí)主題爬行的研究與實現(xiàn)[D];吉林大學(xué);2010年

10 趙航;基于鏈接信譽分析的網(wǎng)頁權(quán)威排序分類算法研究[D];暨南大學(xué);2012年

本文編號：2744957