本文關鍵詞：聯(lián)邦檢索系統(tǒng)的關鍵技術研究與實現(xiàn)

  更多相關文章： 聯(lián)邦檢索系統(tǒng) 資源庫描述 資源庫選擇 垂直領域選擇 結果融合

【摘要】：聯(lián)邦檢索是信息檢索的重要研究領域之一。雖然許多通用的搜索引擎能幫助用戶找到所需的信息,但是一些無法被爬取的深度網的廣泛存在,限制了用戶對信息的有效獲取。而聯(lián)邦檢索技術,可以有效的解決這個問題。聯(lián)邦檢索是同時查詢多個單元搜索引擎(又叫資源庫)的技術。本文分別就聯(lián)邦檢索系統(tǒng)的資源庫描述、資源庫選擇、垂直領域選擇和結果融合等關鍵技術進行研究。論文主要工作包括:(1)在資源庫描述方面,為驗證基于查詢的抽樣方法在中文數據集上的有效性,本文通過爬取搜狐網的網頁數據并建立了中文數據集,將基于查詢的抽樣方法應用到該數據集上,實驗證明了該方法在中文數據集上的有效性。(2)在資源庫選擇方面,為了將已有的資源庫選擇方法應用在具有多個真實網絡搜索引擎的聯(lián)邦檢索系統(tǒng)上,本文分別針對原始資源庫網頁數估計不準確和待選擇資源庫數目不足的問題,使用四種不同的策略進行研究。實驗結果表明本文提出的策略能有效應用于具有多個真實網絡搜索引擎的聯(lián)邦檢索環(huán)境。(3)在垂直領域選擇方面,本文在資源庫選擇的基礎上,提出了一種基于規(guī)則的垂直領域選擇算法。該算法等價于將每個垂直領域看成一個統(tǒng)一的資源庫,并使用基于規(guī)則的資源庫選擇方法進行垂直領域選擇。實驗結果表明該算法與已有的垂直領域選擇方法相比,在準確率和召回率方面都有較大的提升。(4)在查詢結果的融合方面,本文基于資源庫具有的垂直領域特性,提出了一種基本的結果融合算法框架,該框架主要解決網頁、資源庫和垂直領域得分的歸一化問題�；诖怂惴ǹ蚣�,本文提出了兩種結果融合算法。實驗結果表明本文提出的兩種算法與已有的方法相比,在搜索結果的準確率方面提升了23%以上,在垂直領域多樣性方面也有不錯的表現(xiàn)。在以上研究的基礎上,本文根據分布式搜索引擎平臺SE6的特點,設計了資源選擇和結果融合模塊。系統(tǒng)運行結果再次表明本文提出的資源選擇和結果融合方法能有效提升系統(tǒng)的查詢準確率。
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP391.3

【引證文獻】

中國期刊全文數據庫 前1條

1 董守斌;謝一帆;袁華;陳建豪;;基于主題模型的資源選擇算法[J];華南理工大學學報(自然科學版);2017年03期

中國碩士學位論文全文數據庫 前2條

1 謝一帆;基于垂直領域的分布式搜索多樣性的研究與實現(xiàn)[D];華南理工大學;2016年

2 洪瑞琦;分布式信息檢索系統(tǒng)的優(yōu)化設計和實現(xiàn)[D];華南理工大學;2016年

，

本文編號：1298325