【摘要】：隨著Internet信息量的迅速增長(zhǎng)，Web已經(jīng)逐漸成為人們獲取信息的主要平臺(tái)。各大搜索引擎應(yīng)運(yùn)而生，競(jìng)爭(zhēng)激烈。評(píng)價(jià)引擎的好壞，不僅要看搜索結(jié)果，還要依靠用戶體驗(yàn)。用戶體驗(yàn)必然能為引擎帶來流量，所以針對(duì)搜索引擎進(jìn)行用戶滿意度的評(píng)測(cè)已經(jīng)越來越重要，部分具有大型搜索引擎的公司已經(jīng)為此成立了專門的評(píng)測(cè)團(tuán)隊(duì)甚至部門，利用評(píng)測(cè)數(shù)據(jù)來引導(dǎo)引擎的走向。 搜索引擎用戶滿意度評(píng)測(cè)的原理，就是將搜索引擎的結(jié)果集信息搜集起來，交給用戶打分，并針對(duì)指標(biāo)進(jìn)行統(tǒng)計(jì)，對(duì)比引擎之間的優(yōu)劣。而能否成功地獲取到評(píng)測(cè)數(shù)據(jù)，，是能否成功發(fā)起評(píng)測(cè)任務(wù)的關(guān)鍵。 本文通過實(shí)驗(yàn)數(shù)據(jù)說明數(shù)據(jù)抽取的準(zhǔn)確程度會(huì)直接影響評(píng)測(cè)結(jié)果，突出信息抽取部分對(duì)整個(gè)系統(tǒng)的重要性。對(duì)比了一些現(xiàn)有的Web信息抽取技術(shù)，并針對(duì)本系統(tǒng)的需求進(jìn)行分析，結(jié)合搜索引擎結(jié)果集頁面源碼的特點(diǎn)，總結(jié)各技術(shù)的優(yōu)勢(shì)與不足。提出使用正則匹配和Dom解析相結(jié)合的方式來抽取和處理評(píng)測(cè)數(shù)據(jù)。并基于這種設(shè)計(jì)思想，實(shí)現(xiàn)了一個(gè)適用性較強(qiáng)，自動(dòng)化程度較高的Web信息抽取系統(tǒng)，來解決評(píng)測(cè)系統(tǒng)如何搜集評(píng)測(cè)數(shù)據(jù)的問題。 系統(tǒng)主要包括頁面下載、頁面過濾、生成抽取規(guī)則、信息抽取、數(shù)據(jù)存儲(chǔ)等部分。本文對(duì)這些部分依次做了較為詳細(xì)的介紹。其中生成抽取規(guī)則是系統(tǒng)較為重要的實(shí)現(xiàn)部分。系統(tǒng)可以利用Dom結(jié)構(gòu)和樣本學(xué)習(xí)來自動(dòng)生成抽取規(guī)則，尋找節(jié)點(diǎn)的最大公共路徑，記錄樣本節(jié)點(diǎn)的特征，并經(jīng)過節(jié)點(diǎn)相似度匹配的算法過濾掉無關(guān)節(jié)點(diǎn)信息，為部分產(chǎn)品實(shí)現(xiàn)自動(dòng)化較高的信息抽取。當(dāng)然，抽取規(guī)則也可人工修正。為了提高精度，部分產(chǎn)品采用正則匹配的方式進(jìn)行信息抽取。由人工提前編寫并錄入規(guī)則庫，系統(tǒng)會(huì)調(diào)用模板匹配模塊為信息抽取分配模板。 最后，本文介紹了評(píng)價(jià)信息抽取好壞的兩種指標(biāo)：準(zhǔn)確率和召回率。并對(duì)數(shù)據(jù)下載和信息抽取部分進(jìn)行測(cè)試和結(jié)果分析。依據(jù)評(píng)價(jià)指標(biāo)，發(fā)現(xiàn)系統(tǒng)對(duì)搜索引擎產(chǎn)生的結(jié)果集頁面具有很好的抽取效果，解決了為評(píng)測(cè)人員高效、準(zhǔn)確地獲取評(píng)測(cè)數(shù)據(jù)的問題。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 袁鴻雁;;基于本體的HTML表格識(shí)別技術(shù)的研究[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年01期

2 王鋼明;屠建飛;;基于Web信息抽取的技術(shù)成果信息采集系統(tǒng)[J];成組技術(shù)與生產(chǎn)現(xiàn)代化;2007年04期

3 蔣邵衡;;WEB信息的抽取與集成研究[J];電腦知識(shí)與技術(shù);2009年30期

4 常勇;王亮;姚增利;袁方;;基于領(lǐng)域知識(shí)和決策樹的Deep Web數(shù)據(jù)標(biāo)注[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

5 彭波,閆宏飛;搜索引擎檢索系統(tǒng)質(zhì)量評(píng)估[J];計(jì)算機(jī)研究與發(fā)展;2005年10期

6 時(shí)達(dá)明;林鴻飛;趙晶;;基于模板化的Blog信息抽取[J];計(jì)算機(jī)工程與應(yīng)用;2008年09期

7 肖建鵬;張來順;任星;;直推式支持向量機(jī)在Web信息抽取中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2009年02期

8 李朝;彭宏;葉蘇南;張歡;楊親遙;;基于DOM樹的可適應(yīng)性Web信息抽取[J];計(jì)算機(jī)科學(xué);2009年07期

9 楊文柱,徐林昊,陳少飛,郝亞南,李天柱;基于XPath的Web信息抽取的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2003年16期

10 陳瓊,蘇文健;基于網(wǎng)頁結(jié)構(gòu)樹的Web信息抽取方法[J];計(jì)算機(jī)工程;2005年20期

本文編號(hào)：2522456