本文關(guān)鍵詞：自動分類在搜索引擎性能優(yōu)化中的應(yīng)用，由筆耕文化傳播整理發(fā)布。

２１６

情報科學(xué)

２２卷

即還沒有被集聚到任何一類中的網(wǎng)頁；松散型網(wǎng)頁，它們與已經(jīng)存在的類中心相似度比較小，尚不具備被聚于某婁的條件；已被聚類的網(wǎng)頁，在聚類開始時，所有的阿頁都可以看作未聚類網(wǎng)頁。用Ｄ，表示某篇網(wǎng)頁，如果它同時滿足以下兩個條件，則可以將Ｄ．作為類別中心：至少有ｎ１篇潮頁，它們與Ｄ．的相似系數(shù)都超過Ｔ１；至少有ｎ２篇網(wǎng)頁，，它們與Ｄ。的相似系數(shù)都超過Ｔ２，其中Ｔ１≥Ｔ２且ｎ１≤ｎ２。Ｔ１、Ｔ２、ｎ】、ｎ２都是事先給定的參數(shù)。聚類的過程如下：在未聚類網(wǎng)頁中任取一篇，把它作為聚類中心并對其進行密度測試，測試范圍為尚未聚類和松

散型的網(wǎng)頁。如果測試失敗，即被測試的網(wǎng)頁周圍

不具有指定數(shù)量的網(wǎng)頁，則該網(wǎng)頁被作為松散型網(wǎng)頁。然后在未聚類網(wǎng)頁中重新選取網(wǎng)頁測試聚類中

心：如果｛員４試成功，即被測試網(wǎng)頁周圍集聚一定預(yù)

定值范圍內(nèi)的相似網(wǎng)頁，則該網(wǎng)頁被作為一個聚類中心，并將其中相似度超過Ｔ１的網(wǎng)頁視為已聚類

阿頁，對于相似度小于Ｔ１又大于Ｔ２的網(wǎng)頁，視為松散型網(wǎng)頁，其他網(wǎng)頁不改變原有類型。聚類過程一直持續(xù)下去到?jīng)]有未聚類網(wǎng)頁為止。最后將剩下

的松散型網(wǎng)頁就近聚集到已存在的類別中。３

自動分類在搜索引擎中應(yīng)用的實例

３．１

ｗｗｌｉｂ自動歸類系統(tǒng)

ｗｗｗ（ｈｔｔｐ：

∥ｗｗｗ．ｓｃｉｔ／ｗｌｖ．ａｃ．ｕｋ／ｗｗ—

ｌｉｂ／）是伍爾弗漢普頓網(wǎng)絡(luò)圖書館的簡稱（ＷｏｌｖｅｒｈａｍｐｔｏｎＷｅｂＩ，ｉｂｒａｒｙ），它是使用了自動歸類技術(shù)的網(wǎng)絡(luò)信息檢索系統(tǒng)。它的主要組成部分

如下：

①蜘蛛：任務(wù)是自動從網(wǎng)絡(luò)上抓取網(wǎng)頁。②索引器：它接收蜘蛛抓回來的網(wǎng)頁并在本地服務(wù)器上儲存一個副本，給網(wǎng)頁一個唯一的索取母，同時創(chuàng)建一個新的元數(shù)據(jù)模板，將本地的副本分配給分析器，建造和增加分類器的元數(shù)據(jù)模板。③分析器：對嵌入網(wǎng)頁中的超鏈接進行分析。如果發(fā)現(xiàn)是有效的超鏈接，就將它的網(wǎng)址傳遞給索引器并檢查它是否屬于英國。④分類器：在對索引尉頁進行分析的同時給出杜威十進分類法分類號。⑤構(gòu)建器：分析索引器提供的網(wǎng)頁及其元數(shù)據(jù)，建立索引數(shù)據(jù)庫，確

定索引號和關(guān)鍵詞之問的對應(yīng)關(guān)系，使得使用索引

號就可以迅速獲得相應(yīng)的燕鍵詞。⑥搜索器：接受用戶的檢索提問，在構(gòu)建器的索引數(shù)據(jù)庫中進行查

詢，用得出的索取號獲得相應(yīng)的元數(shù)據(jù)和本地副本，使用以上的信息得到一個詳細的結(jié)果，并按相關(guān)度排列檢索結(jié)果。

ＷＷｌｉｂ中分類器對網(wǎng)頁的處理方法如下：首先，對網(wǎng)頁進行自動標引，對瞬頁中的語詞根據(jù)它們的詞頻和網(wǎng)頁中出現(xiàn)的位置賦予權(quán)重。然后將處理后得到的語詞集合與杜威十進分類法分類表中的每一個款目進行比較。每個款目包括它們的分類號、一長串關(guān)鍵詞和它們的同義詞。從一級類日開始比較，直到出現(xiàn)比較顯著的匹配值為止，此時將該網(wǎng)頁歸人此類。匹配值是在綜合考慮到語詞的相似度

以及文檔的長短等因素之后給出的。

ＷＷｌｉｂ提供的檢索途徑有關(guān)鍵詞檢索、分類號檢索、瀏覽類目下收錄的網(wǎng)頁等。ｗｗｌｉｂ也支持布爾邏輯檢索和截詞檢索。檢索結(jié)果分為兩行，第一行為分類號、網(wǎng)頁標題，第二行是網(wǎng)頁內(nèi)容摘要。ｗＷＩｉｂ主要的問題是數(shù)據(jù)庫規(guī)模太小，筆者在２００３年４月１８日查看時其款且只有４８７４個。但是它的方法對于今后大規(guī)模網(wǎng)頁的自動分類仍然有一定的借鑒意義。

３．ｚ

Ｇｍｕｐｅｒ自動聚類系統(tǒng)

Ｇｒｏｕｐｅｒ是ｏｒｅｎＺａｍｉｒ和ｏｒｅｎＥｔ２ｉｏｎｉ研制的一個自動聚類系統(tǒng)，它的主要作用是對Ｈｕｓｋｙ—

ｓｅａｒｃｈ（這個是他們開發(fā)的一個元搜索引擎）返回的結(jié)果進行自動聚類。他們在Ｇｒｏｕｐｅｒ：Ａ

ｄｙｎａｍｉｃ

ｃｌｕｓｔｅｒｉｎｆｉｎｔｅｒｆａｃｅ

ｔｏ

ｗｅｂｓｅａｒｃｈ

ｒｅｓｕｌｔｓ一文中詳

細描述了它的原理和功能，很遺憾的是隨著Ｏｒｅｎ

Ｚａｍ．ｒ和ＯｒｅｎＥｔｚｉｏｎｉ的畢業(yè)離校，這兩個系統(tǒng)也

停止了對外服務(wù)，但是Ｇｍｕｐｅｒ還是具有很大的參考價值。

Ｇｒｏｕｐｅｒ采用的是一種叫做后綴樹聚類（Ｓｕｆｆｉｘ

Ｔｒｅｅ

Ｃｌｕｓｔｅｒｉｎｇ）的算法（簡稱ＳＴＣ）。ＳＴＣ是一種

線性時問聚類算法，根據(jù)待聚類網(wǎng)頁中的相似短語進行聚類。這里所說的短語就是指幾個有序的詞。此算法可以分為三個步驟。

（１）網(wǎng)頁“清洗”。這一步驟可以看作是網(wǎng)頁特征的抽取。它對代表網(wǎng)頁特征的字符串進行過濾，標明各旬之間的間隔，去掉不是文字的標記符號（如ＨＴＭＬ標記、大部分的標點）。

（２）確定基本聚類串。基本聚類串是一些具有共同短語網(wǎng)頁的集合。它是在對網(wǎng)頁特征進行抽取

的同時使用ＳＴＣ算法進行計算后得到的。對于每～

個基本聚類串，根據(jù)它包含的網(wǎng)頁特征的數(shù)量以及

博泰典藏網(wǎng)btdcw.com包含總結(jié)匯報、外語學(xué)習(xí)、高中教育、高等教育、表格模板、教學(xué)研究、出國留學(xué)、行業(yè)論文、初中教育以及自動分類在搜索引擎性能優(yōu)化中的應(yīng)用_圖文等內(nèi)容。

本文共2頁12

  本文關(guān)鍵詞：自動分類在搜索引擎性能優(yōu)化中的應(yīng)用，由筆耕文化傳播整理發(fā)布。