本文關(guān)鍵詞：基于內(nèi)容的搜索引擎垃圾網(wǎng)頁(yè)檢測(cè)，由筆耕文化傳播整理發(fā)布。

第２ ６卷第 １ １期　　　 ２ ０ ０ ９年 １ １月　　

計(jì)算機(jī)應(yīng)用與軟件 Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ａ ｎ ｄＳ ｏ ｆ ｔ ｗ ａ ｒ ｅ

Ｖ ｏ ｌ ? ２ ６Ｎ ｏ ． １ １ ０ ９ Ｎ ｏ ｖ ． ２ ０

基于內(nèi)容的搜索引擎垃圾網(wǎng)頁(yè)檢測(cè)
賈志洋１　李偉偉１　張海燕２
１

（ 云南師范大學(xué)計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院　云南 昆明 ６ ５ ０ ０ ９ ２ ）
２

（ 中國(guó)石油大慶石化公司信息中心　遼寧 大慶 １ ６ ３ ７ １ ４ ）

摘　要　　有些網(wǎng)頁(yè)為了增加訪問(wèn)量， 通過(guò)欺騙搜索引擎， 提高在搜索引擎的搜索結(jié)果中的排名， 這些網(wǎng)頁(yè)被稱為“ 搜索引擎垃圾 網(wǎng)頁(yè)” 或“ 垃圾網(wǎng)頁(yè)” 。將搜索引擎垃圾網(wǎng)頁(yè)的檢測(cè)看成一個(gè)分類問(wèn)題， 采用 Ｃ ４ ． ５分類算法建立決策樹(shù)分類模型， 將網(wǎng)頁(yè)分成正常 網(wǎng)頁(yè)和垃圾網(wǎng)頁(yè)兩類。實(shí)驗(yàn)表明我們的分類模型可以有效地檢測(cè)搜索引擎垃圾網(wǎng)頁(yè)。 關(guān)鍵詞　　搜索引擎　垃圾網(wǎng)頁(yè)　垃圾網(wǎng)頁(yè)檢測(cè)　決策樹(shù)�。� ４ ． ５分類算法

Ｃ Ｏ Ｎ Ｔ Ｅ Ｎ Ｔ ? Ｂ Ａ Ｓ Ｅ ＤＳ Ｐ Ａ Ｍ ＷＥ ＢＰ Ａ Ｇ ＥＤ Ｅ Ｔ Ｅ Ｃ Ｔ Ｉ Ｏ ＮＩ ＮＳ Ｅ Ａ Ｒ Ｃ ＨＥ Ｎ Ｇ Ｉ Ｎ Ｅ
１ １ ２ Ｊ ｉ ａＺ ｈ ｉ ｙ ａ ｎ ｇ 　Ｌ ｉ Ｗｅ ｉ ｗ ｅ ｉ �。� ｈ ａ ｎ ｇＨ ａ ｉ ｙ ａ ｎ
１

（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｙ ｕ ｎ ｎ ａ ｎＮ ｏ ｒ ｍ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｋ ｕ ｎ ｍ ｉ ｎ ｇ ６ ５ ０ ０ ９ ２ ， Ｙ ｕ ｎ ｎ ａ ｎ ， Ｃ ｈ ｉ ｎ ａ ）
２

（ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＣ ｅ ｎ ｔ ｅ ｒ ， Ｐ ｅ ｔ ｒ ｏ Ｃ ｈ ｉ ｎ ａＤ ａ ｑ ｉ ｎ ｇＰ ｅ ｔ ｒ ｏ ｃ ｈ ｅ ｍ ｉ ｃ ａ ｌ Ｃ ｏ ｍ ｐ ａ ｎ ｙ ， Ｄ ａ ｑ ｉ ｎ ｇ １ ６ ３ ７ １ ４ ， Ｌ ｉ ａ ｏ ｎ ｉ ｎ ｇ ， Ｃ ｈ ｉ ｎ ａ ）

Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ 　�。� ｎｏ ｒ ｄ ｅ ｒ ｔ ｏａ ｔ ｔ ｒ ａ ｃ ｔ ｍ ｏ ｒ ｅ ｖ ｉ ｓ ｉ ｔ ｓ ，ｓ ｏ ｍ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｈ ｉ ｇ ｈ ｅ ｒ ｒ ａ ｎ ｋ ｉ ｎ ｇ ｓ ｉ ｎａ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ’ ｓ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｂ ｙ ｄ ｅ ｃ ｅ ｉ ｖ ｉ ｎ ｇ ｔ ｈ ｅ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ? ｇ ｉ ｎ ｅ ．Ｔ ｈ ｅ ｓ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｒ ｅ ｃ ａ ｌ ｌ ｅ ｄ“ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ”ｏ ｒ “ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ” ．Ｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｔ ｈ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎｉ ｎｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅｉ ｓ ｄ ｅ ｅ ｍ ｅ ｄａ ｓ ａｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｐ ｒ ｏ ｂ ｌ ｅ ｍ ，ｗ ｅｃ ｒ ｅ ａ ｔ ｅａ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｂ ｙ Ｃ ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ，ｔ ｏ ｓ ｅ ｐ ａ ｒ ａ ｔ ｅ ｗ ｅ ｂ ｐ ａ ｇ ｅ ｓ ｉ ｎ ｔ ｏｔ ｗ ｏｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｅ ｓ ，ｔ ｈ ｅ ｎ ｏ ｒ ｍ ａ ｌ ａ ｎ ｄｔ ｈ ｅ ｓ ｐ ａ ｍ ．Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗｔ ｈ ａ ｔ ｏ ｕ ｒ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｃ ａ ｎｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ｄ ｅ ｔ ｅ ｃ ｔ ｓ ｐ ａ ｍｗ ｅ ｂ ｐ ａ ｇ ｅｉ ｎｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ． Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ 　�。� ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ �。� ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ 　Ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ �。� ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ �。� ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ 網(wǎng)頁(yè)的排名。也就是說(shuō)， “ 垃圾網(wǎng)頁(yè)” 不是提高其質(zhì)量， 而是針

０ 　引　言
隨著網(wǎng)頁(yè)數(shù)量的指數(shù)級(jí)增長(zhǎng)， 用戶不得不通過(guò)搜索引擎獲 取有效信息， 近幾年搜索引擎已經(jīng)成為網(wǎng)絡(luò)信息檢索的主要方
１ ］ 式。據(jù)研究表明 ［ ： 大多數(shù)用戶只查看搜索引擎返回的前三頁(yè)

對(duì)搜索引擎網(wǎng)頁(yè)排名算法進(jìn)行“ 作弊” ， 從而提高網(wǎng)頁(yè)排名。 如圖 １所示， 網(wǎng)頁(yè)中包含了很多熱門關(guān)鍵詞， 但是有用的信 息卻很少， 顯然是針對(duì)搜索引擎的垃圾網(wǎng)頁(yè)。

的搜索結(jié)果。因此， 網(wǎng)站管理者會(huì)通過(guò)努力提高網(wǎng)站的質(zhì)量， 以 達(dá)到提高網(wǎng)站在搜索結(jié)果中排名的目的。但是， 有些網(wǎng)站則是 通過(guò)一些“ 作弊” 的方式來(lái)提升排名。更有甚者， 有些網(wǎng)站管理 者“ 手動(dòng)” 或“ 自動(dòng)” 地制造一些“ 垃圾網(wǎng)頁(yè)” ， 這些網(wǎng)頁(yè)不是提 供給用戶有效的信息而僅僅是為了提升在搜索結(jié)果中的排名， 以此提高網(wǎng)站訪問(wèn)量。 值得注意的是， “ 垃圾網(wǎng)頁(yè)” 不僅嚴(yán)重干擾了用戶檢索的有 效信息， 而且給搜索引擎公司造成了極大的資源浪費(fèi)。據(jù)研究
２ ］ 表明 ［ ， 搜索引擎在爬行網(wǎng)頁(yè)、 處理網(wǎng)頁(yè)、 索引網(wǎng)頁(yè)、 響應(yīng)用戶

圖１ 　垃圾網(wǎng)頁(yè)示例

查詢時(shí)在“ 垃圾網(wǎng)頁(yè)” 上的浪費(fèi)， 達(dá)到了各種資源的 １ ／ ７ 。所以， 對(duì)“ 垃圾網(wǎng)頁(yè)” 檢測(cè)的相關(guān)研究具有現(xiàn)實(shí)意義。

２ 　基于網(wǎng)頁(yè)內(nèi)容的特征提取
雖然垃圾網(wǎng)頁(yè)與正常網(wǎng)頁(yè)在視覺(jué)效果上具有明顯差別， 但 是卻難以根據(jù)視覺(jué)特征進(jìn)行檢測(cè)。因此， 我們根據(jù)網(wǎng)頁(yè)內(nèi)容， 分 析、 提取垃圾網(wǎng)頁(yè)的特征， 并把檢測(cè)垃圾網(wǎng)頁(yè)看成一個(gè)分類問(wèn)
６ ］ 題［ ，， 采用機(jī)器學(xué)習(xí)的方法對(duì)網(wǎng)頁(yè)進(jìn)行分類。

１ 　“ 垃圾網(wǎng)頁(yè)” 的定義
首先， 我們引用文獻(xiàn)［ ３ ］ 對(duì)“ 垃圾網(wǎng)頁(yè)” 的定義： “ 任何企圖 欺騙搜索引擎網(wǎng)頁(yè)排名算法以獲得更高排名的網(wǎng)頁(yè)” 。 不同的搜索引擎在返回搜索結(jié)果時(shí)， 采用不同算法計(jì)算網(wǎng)
［ ４ ］ ［ ５ ］ 頁(yè)在搜索結(jié)果中的排名， 如Ｇ ｏ ｏ ｇ ｌ ｅ 采用 Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ 算法計(jì)算

為了設(shè)計(jì)和評(píng)估本文的垃圾網(wǎng)頁(yè)檢測(cè)算法， 基于盡可能選
收稿日期： ２ ０ ０ ８－ ０ ４－ ２ ３ 。 賈志洋， 碩士生， 主研領(lǐng)域： Ｗｅ ｂ挖掘， Ｗｅ ｂ 應(yīng)用測(cè)試。

　 　 １ ６ ６ 　　　

計(jì)算機(jī)應(yīng)用與軟件 ２ ． ３ 　其它特征

２ ０ ０ ９年

用 Ｗｅ ｂ 中的“ 隨機(jī)樣本” 以及網(wǎng)頁(yè)在相關(guān)搜索結(jié)果排名靠前的 原則， 我們于 ２ ０ ０ ８年 １月爬取了較具代表性的 １ １ ４ ７ ０個(gè)中文網(wǎng) 頁(yè)。通過(guò)人工判別， 數(shù)據(jù)集中共有垃圾網(wǎng)頁(yè) ５ ７ ０個(gè)（ ５ ％） ， 正常 網(wǎng)頁(yè) １ ０ ９ ０ ０個(gè)（ ９ ５ ％） 。

（ １ ）網(wǎng)頁(yè)“＜ Ｍ Ｅ Ｔ Ａ＞” 標(biāo)簽 　 在 Ｈ Ｔ Ｍ Ｌ語(yǔ)言中， “＜Ｍ Ｅ Ｔ Ａ ＞ ” 標(biāo)簽被用來(lái)描述一個(gè) Ｈ Ｔ Ｍ Ｌ網(wǎng)頁(yè)文檔的屬性， 通常會(huì)用到 “ ｎ ａ ｍ ｅ ” 屬性里的“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” （ 網(wǎng)頁(yè)關(guān)鍵詞） 和“ ｄ ｅ ｓ ｃ ｒ ｉ ｐ ｔ ｉ ｏ ｎ ” （ 網(wǎng) 頁(yè)描述） 兩個(gè)參數(shù)。大多數(shù)搜索引擎的搜索結(jié)果排名和 Ｍ Ｅ Ｔ Ａ 標(biāo)簽中的內(nèi)容有很大關(guān)系， 以至于“ Ｍ Ｅ Ｔ Ａ ” 標(biāo)簽在一個(gè)頁(yè)面中 的作用僅次于網(wǎng)頁(yè)標(biāo)題。所以很多垃圾網(wǎng)頁(yè)的 Ｍ Ｅ Ｔ Ａ標(biāo)簽的內(nèi) 容會(huì)與正常網(wǎng)頁(yè)有很大區(qū)別。 為此， 我們計(jì)算了數(shù)據(jù)集中每一個(gè)網(wǎng)頁(yè)的“＜Ｍ Ｅ Ｔ Ａ＞” 標(biāo) 簽數(shù)量、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 標(biāo)簽“ ｎ ａ ｍ ｅ ” 屬性值為“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 網(wǎng)頁(yè) 關(guān)鍵詞” 長(zhǎng)度、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 標(biāo)簽“ ｎ ａ ｍ ｅ ” 值為“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 網(wǎng) 頁(yè)描述” 長(zhǎng)度等作為備選特征。 （ ２ ）網(wǎng)頁(yè) Ｕ Ｒ Ｌ長(zhǎng)度　垃圾網(wǎng)頁(yè)一般是自動(dòng)生成的， 因此垃 圾網(wǎng)頁(yè)的 Ｕ Ｒ Ｌ會(huì)與正常網(wǎng)頁(yè)具有顯著的區(qū)別， 為了提取此特 征， 我們把數(shù)據(jù)集中每一個(gè)網(wǎng)頁(yè)的 Ｕ Ｒ Ｌ長(zhǎng)度提取出來(lái)， 將其作 為備選特征。 （ ３ ）網(wǎng)頁(yè)長(zhǎng)度 　 部分垃圾網(wǎng)頁(yè)為了與大量關(guān)鍵詞都 “ 相 關(guān)” ， 不僅大量重復(fù)某個(gè)關(guān)鍵詞， 而且將大量熱門關(guān)鍵詞加入到 網(wǎng)頁(yè)中， 所以垃圾網(wǎng)頁(yè)的長(zhǎng)度可能與正常網(wǎng)頁(yè)具有較大區(qū)別， 也 將網(wǎng)頁(yè)長(zhǎng)度作為備選特征。

２ ． １ 　網(wǎng)頁(yè)標(biāo)題長(zhǎng)度
搜索引擎對(duì)網(wǎng)頁(yè)進(jìn)行排名時(shí)， 會(huì)給網(wǎng)頁(yè)標(biāo)題很高的權(quán)重， 所 以很多垃圾網(wǎng)頁(yè)就針對(duì)這點(diǎn)， 將大量與網(wǎng)頁(yè)內(nèi)容無(wú)關(guān)的關(guān)鍵詞 羅列在一起作為網(wǎng)頁(yè)的標(biāo)題， 這種技術(shù)為“ 關(guān)鍵詞堆砌” 。 為了測(cè)試網(wǎng)頁(yè)標(biāo)題是否可以作為判定垃圾網(wǎng)頁(yè)的特征， 實(shí) 驗(yàn)如下： 提取數(shù)據(jù)集中每個(gè)網(wǎng)頁(yè) Ｈ Ｔ Ｍ Ｌ源代碼 “＜ｔ ｉ ｔ ｌ ｅ ＞ ” 標(biāo)記 中標(biāo)題的長(zhǎng)度， 并計(jì)算其分布（ 如圖 ２所示） 。

圖２ 　網(wǎng)頁(yè)標(biāo)題長(zhǎng)度與垃圾網(wǎng)頁(yè)的關(guān)系

（ ４ ）常用詞出現(xiàn)率　有些垃圾網(wǎng)頁(yè)的內(nèi)容就是從熱門關(guān)鍵 詞詞典中選擇一部分， 這種垃圾網(wǎng)頁(yè)很可能出現(xiàn)常用詞過(guò)少或 過(guò)多的情況。針對(duì)這種行為， 首先建立一個(gè)常用詞詞典， 提取數(shù) 據(jù)集中每一個(gè)網(wǎng)頁(yè)的文本并進(jìn)行分詞， 然后計(jì)算每個(gè)網(wǎng)頁(yè)中的 常用詞數(shù)量與此網(wǎng)頁(yè)包含的全部詞匯數(shù)量的比值， 將其作為備 選特征。 （ ５ ）停用詞使用率　有些垃圾網(wǎng)頁(yè)的內(nèi)容就是隨機(jī)選取的 一些熱門關(guān)鍵詞， 所以這些垃圾網(wǎng)頁(yè)中的停用詞的出現(xiàn)頻率與 正常網(wǎng)頁(yè)的停用詞出現(xiàn)頻率有很大的區(qū)別， 為了提取這個(gè)特征， 我們計(jì)算了數(shù)據(jù)集中每一個(gè)網(wǎng)頁(yè)的停用詞數(shù)量與此網(wǎng)頁(yè)包含全 部詞匯數(shù)量的比值， 將其作為備選特征。 （ ６ ）可視文本　為了提供給用戶更多相關(guān)的搜索結(jié)果， 搜 索引擎在分析網(wǎng)頁(yè)的時(shí)候往往將 Ｈ Ｔ Ｍ Ｌ標(biāo)簽里的部分關(guān)鍵詞也 收錄起來(lái)（ 雖然這部分文本對(duì)用戶是不可見(jiàn)的） 。于是垃圾網(wǎng) 頁(yè)就可以將關(guān)鍵詞堆砌到網(wǎng)頁(yè) Ｈ Ｔ Ｍ Ｌ標(biāo)簽里。為了提取此特 征， 我們計(jì)算了去除 Ｈ Ｔ Ｍ Ｌ標(biāo)簽后的網(wǎng)頁(yè)文本長(zhǎng)度（ 即可視文 本長(zhǎng)度） ， 將可視文本長(zhǎng)度與未去除 Ｈ Ｔ Ｍ Ｌ標(biāo)簽的網(wǎng)頁(yè) Ｈ Ｔ Ｍ Ｌ 文本長(zhǎng)度的比值作為備選特征。 （ ７ ）鏈接文本數(shù)量　搜索引擎在計(jì)算網(wǎng)頁(yè)排名的時(shí)候考慮 到鏈接文本的因素。即如果網(wǎng)頁(yè) Ａ有一個(gè)指向網(wǎng)頁(yè) Ｂ的鏈接， 其鏈接文本為 ｔ ， 那么即使網(wǎng)頁(yè) Ｂ中沒(méi)有出現(xiàn)關(guān)鍵詞 ｔ ， 搜索引 擎也會(huì)認(rèn)為網(wǎng)頁(yè) Ｂ的內(nèi)容是與 ｔ 相關(guān)的。搜索引擎在計(jì)算網(wǎng)頁(yè) 排名的時(shí)候會(huì)考慮鏈接文本的情況。所以有些垃圾網(wǎng)頁(yè)的存在 就是為其他垃圾網(wǎng)頁(yè)提供熱門關(guān)鍵詞的鏈接文本。所以， 我們 提取出網(wǎng)頁(yè)中所有鏈接文本并計(jì)算其長(zhǎng)度， 將其長(zhǎng)度值與網(wǎng)頁(yè) 所有文本長(zhǎng)度值（ 包括鏈接文本） 的比值作為此備選特征。

圖 ２由一個(gè)直方圖和一個(gè)折線圖組成。圖中 ｘ 軸代表網(wǎng)頁(yè) 標(biāo)題長(zhǎng)度值， 左方的 ｙ 軸與直方圖相對(duì)應(yīng)， 即標(biāo)題長(zhǎng)度為 ｘ 的網(wǎng) 頁(yè)數(shù)量占網(wǎng)頁(yè)總量的百分比； 右方的 ｙ 軸與折線圖相對(duì)應(yīng)， 即標(biāo) 題長(zhǎng)度為 ｘ 的網(wǎng)頁(yè)中垃圾網(wǎng)頁(yè)所占的百分比（ 垃圾網(wǎng)頁(yè)的可能 性） 。直方圖從標(biāo)題長(zhǎng)度為 ４ ０的位置開(kāi)始服從對(duì)數(shù)正態(tài)分布， 隨著標(biāo)題長(zhǎng)度的增加， 垃圾網(wǎng)頁(yè)的可能性也逐漸遞增， 雖然在 １ １ ０位置有一個(gè)噪點(diǎn)， 但網(wǎng)頁(yè)標(biāo)題的長(zhǎng)度大于 １ ２ ０時(shí)其是垃圾 網(wǎng)頁(yè)的可能性就高于 ５ ０ ％�？梢�(jiàn)， 標(biāo)題長(zhǎng)度可作為判定垃圾網(wǎng) 頁(yè)的一個(gè)較好的特征。

２ ． ２ 　網(wǎng)頁(yè)壓縮率
搜索引擎在計(jì)算網(wǎng)頁(yè)文本與目標(biāo)關(guān)鍵詞相關(guān)度時(shí)， 主要采用
７ ］ 的是 Ｓ ａ ｌ ｔ ｏ ｎ 和Ｍ ｃ Ｇ ｉ ｌ ｌ 于１ ９ ７ ３年提出的 Ｔ Ｆ ／ Ｉ Ｄ Ｆ算法［ 。Ｔ Ｆ ／ Ｉ Ｄ Ｆ

算法認(rèn)為關(guān)鍵詞在文檔中的權(quán)重正比于其在文檔中的出現(xiàn)頻率， 反比于所有文檔中出現(xiàn)該關(guān)鍵詞的文檔數(shù)。根據(jù)此算法， 垃圾網(wǎng) 頁(yè)可能通過(guò)在網(wǎng)頁(yè)中大量重復(fù)同一關(guān)鍵詞以獲得更高的權(quán)重。 我們將網(wǎng)頁(yè)壓縮并計(jì)算其被壓縮前后大小的比值以獲取該 特征， 并將這個(gè)比值稱為網(wǎng)頁(yè)壓縮率， 計(jì)算數(shù)據(jù)集中每個(gè)網(wǎng)頁(yè)的 壓縮率， 得到結(jié)果如圖 ３ �？梢�(jiàn)， 網(wǎng)頁(yè)壓縮率的分布服從正態(tài)分 布， 在０ ． ３ １位置達(dá)到最高點(diǎn)， 在壓縮率小于 ０ ． １ ０時(shí)， 網(wǎng)頁(yè)是垃 圾網(wǎng)頁(yè)的可能性大于 ６ ０ ％， 故網(wǎng)頁(yè)壓縮率也是判定垃圾網(wǎng)頁(yè)的 一個(gè)較好的特征。

３ 　使用分類器檢測(cè)垃圾網(wǎng)頁(yè)
前一部分中我們計(jì)算了網(wǎng)頁(yè)的若干特征分布， 但這些特征 不能單獨(dú)作為檢測(cè)垃圾網(wǎng)頁(yè)的決定性規(guī)則， 我們考慮將這些特
圖３ 　網(wǎng)頁(yè)壓縮率與垃圾網(wǎng)頁(yè)的關(guān)系

征結(jié)合起來(lái)并對(duì)垃圾網(wǎng)頁(yè)進(jìn)行檢測(cè)。

　 第１ １期　　　

賈志洋等： 基于內(nèi)容的搜索引擎垃圾網(wǎng)頁(yè)檢測(cè)

　 １ ６ ７

本文將垃圾網(wǎng)頁(yè)檢測(cè)看成一個(gè)分類問(wèn)題， 通過(guò)建立一個(gè)分 類模型， 根據(jù)網(wǎng)頁(yè)內(nèi)容計(jì)算其特征值， 使用分類器將其歸類到正 常網(wǎng)頁(yè)或者垃圾網(wǎng)頁(yè)類別中。我們實(shí)驗(yàn)了以下分類方法： 基于
８ ］ ９ ］ 規(guī)則的分類方法 ［ 、 基于樸素貝葉斯的分類方法 ［ 以及基于決

分類器的數(shù)據(jù)。由此， 得到分類結(jié)果： １ １ ３ １ ５個(gè)（ 占９ ８ ． ６ ％） 網(wǎng)頁(yè) 分類正確； １ ５ ５個(gè)（ 占１ ． ４ ％） 網(wǎng)頁(yè)分類錯(cuò)誤。 綜上， 本分類器對(duì)正常網(wǎng)頁(yè)具有很好的識(shí)別效果，對(duì)垃圾 網(wǎng)頁(yè)也能進(jìn)行較為準(zhǔn)確的判別， 可實(shí)際應(yīng)用于搜索引擎中。

策樹(shù)的分類方法。通過(guò)對(duì)比試驗(yàn)結(jié)果（ 如表 １所示） ， 發(fā)現(xiàn)基于 決策樹(shù)的分類方法效果最佳。
表１ 　三種分類方法試驗(yàn)結(jié)果比較 分類方法 網(wǎng)頁(yè)類別 正常網(wǎng)頁(yè) 基于規(guī)則 垃圾網(wǎng)頁(yè) 樸素 貝葉斯 正常網(wǎng)頁(yè) 垃圾網(wǎng)頁(yè) 正常網(wǎng)頁(yè) 決策樹(shù) 垃圾網(wǎng)頁(yè) ０ ． ９ ０ ３ ０ ． ８ １ ６ ０ ． ８ ５ ７ ［１］ Ｊ ａ ｎ ｓ ｅ ｎＢ ， Ｓ ｐ ｉ ｎ ｋＡ ． Ａ ｎＡ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ ｗ ｅ ｂｄ ｏ ｃ ｕ ｍ ｅ ｎ ｔ ｓ ｒ ｅ ｔ ｒ ｉ ｅ ｖ ｅ ｄａ ｎ ｄｖ ｉ ｅ ｗ ｅ ｄ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ Ｉ Ｃ Ｉ Ｃ ′ ０ ３ ． Ｌ ａ ｓ Ｖ ｅ ｇ ａ ｓ ， Ｎ ｅ ｖ ａ ｄ ａ ， Ｕ Ｓ Ａ ， ２ ０ ０ ３ ： ６ ５ ６ ９ ． ［２］ Ｎ ｔ ｏ ｕ ｌ ａ ｓＡ ， Ｎ ａ ｊ ｏ ｒ ｋＭ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ ． Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｎ ｇｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓｔ ｈ ｒ ｏ ｕ ｇ ｈ ｃ ｏ ｎ ｔ ｅ ｎ ｔ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ５ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ８ ３ ９ ２ ． ｏ ｎＷｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｅ ｄ ｉ ｎ ｂ ｕ ｒ ｇ ｈ ， Ｓ ｃ ｏ ｔ ｌ ａ ｎ ｄ ， ２ ０ ０ ６ ： ［３］ Ｇ ｙ ｏ ｎ ｇ ｙ ｉ Ｚ ， Ｍ ｏ ｌ ｉ ｎ ａ Ｈ ． Ｗｅ ｂｓ ｐ ａ ｍｔ ａ ｘ ｏ ｎ ｏ ｍ ｙ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ｓ ｔ Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌＷｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｃ ｈ ｉ ｂ ａ ， Ｊ ａ ｐ ａ ｎ ， ２ ０ ０ ５ ： ３ ９ ４ ７ ． ［４］ Ｂ ｒ ｉ ｎＳ ， Ｐ ａ ｇ ｅＬ ． Ｔ ｈ ｅａ ｎ ａ ｔ ｏ ｍ ｙｏ ｆ ａｌ ａ ｒ ｇ ｅ ? ｓ ｃ ａ ｌ ｅｈ ｙ ｐ ｅ ｒ ｔ ｅ ｘ ｔ ｕ ａ ｌ ｗ ｅ ｂｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅｏ ｎ Ｗｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｂ ｒ ｉ ｓ ｂ ａ ｎ ｅ ， Ａ ｕ ｓ ｔ ｒ ａ ｌ ｉ ａ ， １ ９ ９ ８ ： １ ０ ７ １ １ ７ ． ［５］ Ｂ ｉ ａ ｎ ｃ ｈ ｉ ｎ ｉ Ｍ， Ｇ ｏ ｒ ｉ Ｍ， Ｓ ｃ ａ ｒ ｓ ｅ ｌ ｌ ｉ Ｆ ． Ｉ ｎ ｓ ｉ ｄ ｅＰ ａ ｇ ｅ Ｒ ａ ｎ ｋ ［ Ｊ ］ ． Ａ Ｃ Ｍｔ ｒ ａ ｎ ｓ ａ ｃ ? ｔ ｉ ｏ ｎ ｓ ｏ ｎＩ ｎ ｔ ｅ ｒ ｎ ｅ ｔ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， ２ ０ ０ ５ ， ５ （ １ ） ： ９ ２ １ ２ ８ ． ［６］ Ｆ ｅ ｔ ｔ ｅ ｒ ｌ ｙ Ｄ ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ， Ｎ ａ ｊ ｏ ｒ ｋＭ ． Ｓ ｐ ａ ｍ ， ｄ ａ ｍ ｎｓ ｐ ａ ｍ ， ａ ｎ ｄｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ ： ｕ ? ｓ ｉ ｎ ｇ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ａ ｌ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｔ ｏ ｌ ｏ ｃ ａ ｔ ｅｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎｔ ｈ ｅＷｅ ｂａ ｎ ｄＤ ａ ｔ ａ ｂ ａ ｓ ｅ ｓ ． Ｐ ａ ｒ ｉ ｓ ， Ｆ ｒ ａ ｎ ｃ ｅ ， ２ ０ ０ ４ ： １ ６ ． ［ ７］ Ｓ ｔ ｉ ｌ ｔ ｏ ｎＧ ， Ｍ ｃ Ｇ ｉ ｌ ｌ Ｍ ． Ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｔ ｉ ｏ ｎｔ ｏ ｍ ｏ ｄ ｅ ｒ ｎｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ［ Ｍ］ ． Ｎ ｅ ｗＹ ｏ ｒ ｋ ：Ｍ ｃ Ｇ ｒ ａ ｗ ? Ｈ ｉ ｌ ｌ Ｉ ｎ ｃ ， １ ９ ８ ６ ． ［８］ Ｅ ｉ ｂ ｅ Ｆ ｒ ａ ｎ ｋ ， Ｉ ａ ｎＷｉ ｔ ｔ ｅ ｎ ． Ｇ ｅ ｎ ｅ ｒ ａ ｔ ｉ ｎ ｇ Ａ ｃ ｃ ｕ ｒ ａ ｔ ｅ Ｒ ｕ ｌ ｅ Ｓ ｅ ｔ ｓ Ｗｉ ｔ ｈ ｏ ｕ ｔ Ｇ ｌ ｏ ｂ ａ ｌ Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＦ ｉ ｆ ｔ ｅ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ? ｅ ｎ ｃ ｅ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ， Ｕ Ｓ Ａ ， １ ９ ９ ８ ： １ ４ ４ １ ５ １ ． ［９］ Ｊ ｏ ｈ ｎＧＨ ， Ｌ ａ ｎ ｇ ｌ ｅ ｙＰ ． Ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｎ ｇＣ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎ ｓ ｉ ｎＢ ａ ｙ ｅ ｓ ｉ ａ ｎ Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ Ｅ ｌ ｅ ｖ ｅ ｎ ｔ ｈＣ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎＵ ｎ ｃ ｅ ｒ ｔ ａ ｉ ｎ ? ３ ３ ８ ３ ４ ５ ． ｔ ｙ ｉ ｎＡ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ． Ｑ ｕ ｅ ｂ ｅ ｃ ， Ｃ ａ ｎ ａ ｄ ａ ， １ ９ ９ ５ ： ［ １ ０ ］Ｑ ｕ ｉ ｎ ｌ ａ ｎＪ ． Ｃ ４ ． ５ ： ｐ ｒ ｏ ｇ ｒ ａ ｍ ｓｆ ｏ ｒ ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｍ］ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ： Ｍ ｏ ｒ ｇ ａ ｎ ? Ｋ ａ ｕ ｆ ｍ ａ ｎＰ ｕ ｂ ｌ ｉ ｓ ｈ ｅ ｒ ｓ Ｉ ｎ ｃ ， １ ９ ９ ３ ． ［ １ １ ］Ｇ ａ ｎＱ ， Ｓ ｕ ｅ ｌＴ ． Ｉ ｍ ｐ ｒ ｏ ｖ ｉ ｎ ｇＷｅ ｂｓ ｐ ａ ｍｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓｕ ｓ ｉ ｎ ｇｌ ｉ ｎ ｋｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ ３ ｒ ｄＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌ Ｉ ｎ ? ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｂ ａ ｎ ｆ ｆ ， Ａ ｌ ｂ ｅ ｒ ｔ ａ ， Ｃ ａ ｎ ａ ｄ ａ ， ２ ０ ０ ７ ： １ ７ ２ ０ ． ０ ． ８ ９ ３ ０ ． ９ ９ １ ０ ． ７ ６ ９ ０ ． ９ ９ １ ０ ． ８ ０ ７ ０ ． ９ ８ ６ ０ ． ８ ３ ３ ０ ． ９ ９ ５ ０ ． ８ ４ ８ ０ ． ９ ８ ９ ０ ． ７ ９ ９ ０ ． ９ ９ ３ 準(zhǔn)確率 ０ ． ９ ９ ０ 召回率 ０ ． ９ ９ ５ Ｆ １值 ０ ． ９ ９ ２

４ 　結(jié)　論
本文較為詳細(xì)地分析了多種垃圾網(wǎng)頁(yè)技術(shù)， 討論了幾種可 用于垃圾網(wǎng)頁(yè)的內(nèi)容特征， 建立了基于決策樹(shù)的檢測(cè)模型并進(jìn) 行了實(shí)驗(yàn)， 實(shí)驗(yàn)結(jié)果表明本文的垃圾網(wǎng)頁(yè)檢測(cè)方法是行之有效 的。由于本文是基于網(wǎng)頁(yè)內(nèi)容的檢測(cè)， 而沒(méi)有考慮網(wǎng)頁(yè)的鏈接 結(jié)構(gòu)， 故可以在以后的工作中考慮結(jié)合網(wǎng)頁(yè)的鏈接結(jié)構(gòu)對(duì)垃圾
１ １ ］ 網(wǎng)頁(yè)進(jìn)行檢測(cè) ［ ， 以期獲得更好的檢測(cè)結(jié)果。

參　考　文　獻(xiàn)

　　以下主要關(guān)注基于決策樹(shù)的分類方法， 我們采用 Ｃ ４ ． ５分
１ ０ ］ 類算法 ［ 建立分類模型。 Ｃ ４ ． ５算法工作原理為： 在給定訓(xùn)練

數(shù)據(jù)集和相應(yīng)的特征集后， 此算法建立一個(gè)類似于流程圖的樹(shù) 型結(jié)構(gòu)， 其中每個(gè)內(nèi)部節(jié)點(diǎn)表示在一個(gè)屬性上的測(cè)試， 每個(gè)分枝 表示一個(gè)測(cè)試的輸出， 算法使用稱為信息增益的基于熵的度量 作為啟發(fā)信息， 選擇能夠最好地將樣本分類的屬性作為樹(shù)形結(jié) 構(gòu)中節(jié)點(diǎn)的“ 測(cè)試” 或“ 判定” 屬性。 我們使用試驗(yàn)數(shù)據(jù)集中的網(wǎng)頁(yè)訓(xùn)練分類器。由 Ｃ ４ ． ５算法 建立的決策樹(shù)的一部分如圖 ４所示， 其主要分類過(guò)程為： 測(cè)試此 決策樹(shù)的根節(jié)點(diǎn)所代表的網(wǎng)頁(yè)屬性值， 然后根據(jù)各分支所代表 的輸出， 選擇輸出到左邊節(jié)點(diǎn)或者右邊節(jié)點(diǎn)， 然后重復(fù)此步驟， 直至輸出節(jié)點(diǎn)為一個(gè)類別。例如： 如果一個(gè)網(wǎng)頁(yè)的 Ｕ Ｒ Ｌ長(zhǎng)度大 于１ ０ ７ ， 那么分類器就將此網(wǎng)頁(yè)歸類到垃圾網(wǎng)頁(yè)的類別中； 如果 一個(gè)網(wǎng)頁(yè)的 Ｕ Ｒ Ｌ長(zhǎng)度小于等于 １ ０ ７ ， 并且 Ｍ ｅ ｔ ａ 標(biāo)簽數(shù)量少于等 于６ ， 并且 Ｍ ｅ ｔ ａ 標(biāo)簽 “ 描述” 長(zhǎng)度大于 ４ ８ ， 并且網(wǎng)頁(yè)長(zhǎng)度大于 １ ３ ７ ５ ９ ， 并且網(wǎng)頁(yè)壓縮率小于等于 ０ ． ２ ２ ６ ， 那么這個(gè)網(wǎng)頁(yè)就被分 類器歸類到垃圾網(wǎng)頁(yè)的類別中。

???????????????????????
（ 上接第 １ ６ ２頁(yè)）
［ １ １ ］ 叢爽． 面向 Ｍ Ａ Ｔ Ｌ Ａ Ｂ工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用［ Ｍ］ ． 合肥： 中 圖４ �。� ４ ． ５算法建立的檢測(cè)垃圾網(wǎng)頁(yè)的決策樹(shù)的一部分 國(guó)科學(xué)技術(shù)大學(xué)出版社， １ ９ ９ ８ ． ［ １ ２ ］ 翁維勤， 周慶海． 過(guò)程控制系統(tǒng)及工程［ Ｍ］ ． 北京： 化學(xué)工業(yè)出版 社， １ ９ ９ ６ ． ［ １ ３ ］ 龔劍平． Ｆ Ｏ Ｐ Ｄ Ｔ的模型不確定性界和內(nèi)�？刂破黥敯粜阅茉O(shè)計(jì) ［ Ｊ ］ ． 北京化工大學(xué)學(xué)報(bào)， ２ ０ ０ １ ， ２ ８ （ １ ） ： ７ ６ ７ ８ ．

最后， 我們采用了 １ ０ ? 折交叉確認(rèn)方法對(duì)本文的檢測(cè)模型進(jìn) 行評(píng)估。１ ０ ? 折交叉確認(rèn)方法思想為： 將數(shù)據(jù)集中的數(shù)據(jù)隨機(jī)分 成１ ０等份， 并執(zhí)行 １ ０次訓(xùn)練 ／ 測(cè)試步驟， 每個(gè)步驟中都是使用 ９ 個(gè)等份作為訓(xùn)練分類器的數(shù)據(jù)， 并使用剩余 １個(gè)等份作為測(cè)試



  本文關(guān)鍵詞：基于內(nèi)容的搜索引擎垃圾網(wǎng)頁(yè)檢測(cè)，由筆耕文化傳播整理發(fā)布。