隨著時(shí)代的發(fā)展和科技的進(jìn)步，互聯(lián)網(wǎng)已經(jīng)滲入到社會(huì)的各行各業(yè)，與此同時(shí)，互聯(lián)網(wǎng)上的信息正以指數(shù)的形式迅猛增長(zhǎng)，“信息迷航”和“信息過載”已經(jīng)成為人們從海量信息中獲取自己所需要信息的巨大障礙。Internet上的各類搜索引擎服務(wù)應(yīng)運(yùn)而生并得到了迅速發(fā)展。一般來說，利用Google、百度等檢索系統(tǒng)能夠滿足用戶搜索信息的基本需求，但當(dāng)用戶對(duì)某個(gè)具體行業(yè)或領(lǐng)域有更加專業(yè)、精確的查詢需求時(shí)，這類搜索引擎就無優(yōu)勢(shì)可言。主題搜索引擎的出現(xiàn)，正好彌補(bǔ)了這個(gè)缺陷。 主題搜索引擎注重對(duì)某個(gè)專業(yè)領(lǐng)域信息的準(zhǔn)確和深度查詢，已經(jīng)成為人們對(duì)于專業(yè)查詢的重要工具。本文基于全文檢索引擎工具包Lucene設(shè)計(jì)了對(duì)特定需求的主題搜索引擎系統(tǒng)。主題網(wǎng)絡(luò)爬蟲是搜索引擎的數(shù)據(jù)來源，提出了基于頁面內(nèi)容評(píng)估鏈接的最優(yōu)最先爬取策略，使用加權(quán)的URL隊(duì)列實(shí)現(xiàn)主題爬蟲程序，實(shí)驗(yàn)證明，該算法能夠有效的收集與主題相關(guān)度盡量大的網(wǎng)頁。對(duì)Lucene的索引建立機(jī)制和檢索機(jī)制進(jìn)行了詳細(xì)的分析，由于Lucene對(duì)中文分詞的缺陷，本文分析并使用IKAnalyzer實(shí)現(xiàn)對(duì)中文語句良好的分詞。研究Android系統(tǒng)手機(jī)開發(fā)應(yīng)用程序的機(jī)制，對(duì)手機(jī)客戶端與服...

【文章頁數(shù)】：77 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-1主題爬行流程圖

10圖3-1主題爬行流程圖Fig.3-1Themecrawlingflowchart圖，可以看出主題爬行程序的幾個(gè)核心的初始化。初始網(wǎng)頁隊(duì)列的選取直接影果初始URL隊(duì)列與主題相關(guān)度不高的話高的頁面。所以，初始隊(duì)列的選取尤為的相關(guān)度。網(wǎng)頁的內(nèi)容與某個(gè)主題的

圖5-3爬蟲程序主界面

圖5-3爬蟲程序主界面Fig.5-3Maininterfaceofcrawling爬蟲程序的用戶自定義設(shè)置界面如圖5-4所示：

圖5-4爬蟲程序設(shè)置界面

圖5-4爬蟲程序設(shè)置界面Fig.5-4Settinginterfaceofcrawling在設(shè)置頁面，需要用戶輸入自己的需求信息，來描述自己的主題，“主題項(xiàng)”是對(duì)主題的客觀性展示，在程序設(shè)計(jì)中沒有實(shí)際用處�！俺跏季W(wǎng)頁項(xiàng)”至關(guān)重要，它決定了你的意愿與你指定主題的相近程度....

圖5-7索引的目錄結(jié)構(gòu)

圖5-7索引的目錄結(jié)構(gòu)Fig.5-7Indexdirectorystructure閉索引。ptimize();lose();明索引存放的目錄，然后根據(jù)用戶輸入的關(guān)”進(jìn)行檢索，將結(jié)果進(jìn)行顯示，下面詳細(xì)闡器IndexSearcher的實(shí)例[50]。錄ir=”D:\\Lu....

本文編號(hào)：4042082