發(fā)布時間：2020-03-28 22:06

【摘要】：在現(xiàn)代社會人們通常使用網(wǎng)絡來獲取信息。但許多無良的商業(yè)網(wǎng)站利用網(wǎng)絡制造垃圾網(wǎng)頁來獲取利潤。這種行為已經(jīng)嚴重干擾了網(wǎng)絡的正常秩序。因此,檢測垃圾網(wǎng)頁工作已經(jīng)成為亟需解決的重要課題。由于TrustRank算法認為高質(zhì)量的網(wǎng)站一般不會指向垃圾網(wǎng)站,但現(xiàn)實中這種行為是存在的,因此論文對TrustRank算法進行改進,使用復雜網(wǎng)絡中節(jié)點重要性的排序方法,提出了基于介數(shù)指標和集聚系數(shù)的垃圾網(wǎng)頁檢測算法BCTRank。BCTRank包括2個子算法——基于介數(shù)指標的種子集選取算法BCW和基于集聚系數(shù)的排序算法CTRank。論文主要工作如下。(1)在現(xiàn)實中,垃圾網(wǎng)頁的制造者會在高質(zhì)量的網(wǎng)頁里添加外鏈,提升自己在網(wǎng)絡中的排名。針對這種情況,論文提出了一種新的選取種子集的方法,即BCW算法。首先采用PCA來處理數(shù)據(jù),在此基礎上使用了介數(shù)指標對每個網(wǎng)頁進行評分并且對不同的網(wǎng)頁定義不同的權(quán)重,以此通過每個網(wǎng)頁出鏈的評分與該網(wǎng)頁的評分的加權(quán)求和來計算每個網(wǎng)頁的重要性得分。然后,采用的種子集賦值方式是挑選出得分較高和較低的頁面分別賦予不同的初值,使其共同組成種子集。(2)TrustRank排序算法認為網(wǎng)頁的跳轉(zhuǎn)概率都是相同的,但通常網(wǎng)頁與網(wǎng)頁間不應是“平等”的關(guān)系,針對此問題論文提出了CTRank算法。把集聚系數(shù)中的鄰居數(shù)改為使用入鏈數(shù)來代替計算。根據(jù)改變后的集聚系數(shù)的得分和每個節(jié)點的出鏈情況,提出使用不同方法來差異化地計算轉(zhuǎn)移矩陣。以此來改善TrustRank算法在計算轉(zhuǎn)移矩陣時平均分配鏈接權(quán)重、而忽略網(wǎng)頁重要性的問題。論文使用WEBSPAM-UK2007對算法的有效性進行評估。使用準確率、召回率以及F值等評價指標對網(wǎng)頁的最終排序結(jié)果進行分析比較。實驗最終結(jié)果證明了所提算法的有效性。
【學位授予單位】：天津大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：O157.5;TP393.092

【參考文獻】

相關(guān)期刊論文 前10條

1 楊博;陳賀昌;朱冠宇;趙學華;;基于超鏈接多樣性分析的新型網(wǎng)頁排名算法[J];計算機學報;2014年04期

2 孫佳龍;郭金運;郭淑艷;;利用夾角余弦和聚類分析的電離層TEC混沌預測[J];武漢大學學報(信息科學版);2014年04期

3 崔現(xiàn)東;劉江;黃韜;陳建亞;劉韻潔;;基于節(jié)點介數(shù)和替換率的內(nèi)容中心網(wǎng)絡網(wǎng)內(nèi)緩存策略[J];電子與信息學報;2014年01期

4 劉建國;任卓明;郭強;汪秉宏;;復雜網(wǎng)絡中節(jié)點重要性排序的研究進展[J];物理學報;2013年17期

5 任卓明;邵鳳;劉建國;郭強;汪秉宏;;基于度與集聚系數(shù)的網(wǎng)絡節(jié)點重要性度量方法研究[J];物理學報;2013年12期

6 江雪;孫樂;;用戶查詢意圖切分的研究[J];計算機學報;2013年03期

7 李艷平;徐雅斌;陳俊伊;;搜索服務中基于云計算的垃圾網(wǎng)頁識別研究[J];華中科技大學學報(自然科學版);2012年S1期

8 馬宏遠;王斌;;基于日志分析的搜索引擎查詢結(jié)果緩存研究[J];計算機研究與發(fā)展;2012年S1期

9 潘巍;李戰(zhàn)懷;伍賽;陳群;;基于消息傳遞機制的MapReduce圖算法研究[J];計算機學報;2011年10期

10 喬少杰;彭京;李天瑞;李紅;李太勇;王超;;基于中心性和PageRank的網(wǎng)頁綜合評分方法[J];西南交通大學學報;2011年03期

，

本文編號：2604977