網(wǎng)絡(luò)現(xiàn)在已經(jīng)深入到人們生活的方方面面，網(wǎng)絡(luò)中的資源堪稱海量非常豐富，隨之而來的問題就是如何有效的搜索自己需要的信息。從如此巨大的信息源中精確找到真正想要的內(nèi)容確實(shí)是一件困難的事情。最有效的解決方法就是通過搜索引擎來查找需要的數(shù)據(jù)，它可以幫助用戶快速定位自己所要查詢的資源。現(xiàn)在的公共搜索引擎只能針對(duì)Internet，如google、百度、Bing等，如果想對(duì)諸如企業(yè)內(nèi)網(wǎng)中的似有數(shù)據(jù)源進(jìn)行搜索的話，則顯得不太方便或根本不可能實(shí)現(xiàn)。本文就是針對(duì)該類需求設(shè)計(jì)一個(gè)搜索引擎，可以擴(kuò)展到企業(yè)、學(xué)校內(nèi)部網(wǎng)絡(luò)實(shí)現(xiàn)非結(jié)構(gòu)化文檔的內(nèi)容檢索。 本文首先介紹了設(shè)計(jì)中的關(guān)鍵技術(shù)，Lucene，Ajax，服務(wù)器推送的需求和這些技術(shù)的工作原理。分析框架來設(shè)計(jì)一個(gè)搜索引擎，然后在此基礎(chǔ)上，有三個(gè)主要模塊：搜索機(jī)器人模塊，索引模塊和搜索模塊，并描述三個(gè)模塊之間的關(guān)系圖，模塊之間的低程度耦合。針對(duì)三個(gè)模塊進(jìn)行分析，設(shè)計(jì)和實(shí)施。首先，搜索機(jī)器人模塊是網(wǎng)絡(luò)庫和索引庫的基礎(chǔ)，高效、靈活的數(shù)據(jù)采集，將為資料庫的建立做好鋪墊；第二，索引模塊是實(shí)現(xiàn)高效的數(shù)據(jù)檢索的基礎(chǔ)，合理的文件內(nèi)容索引和索引的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，將直接影響搜索速度，并會(huì)影...

【文章頁數(shù)】：55 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1Struts工作原理

該系統(tǒng)設(shè)計(jì)采用了兩個(gè)框架Struts和Hibernate的主要目的是為了實(shí)現(xiàn)一個(gè)分層的架構(gòu)，可以減少工作量，概述如下：（1）Struts簡介Struts最初的時(shí)候是作為ApacheJakarta項(xiàng)目的一個(gè)組成部分，Servlet和JavaServerPage....

圖3.1系統(tǒng)整體構(gòu)架圖

圖3.1系統(tǒng)整體構(gòu)架圖Fig.3.1Farmdiagramofthesystems功能分析的主要功能分為三個(gè)模塊如下：頁內(nèi)容抓取器模塊TP協(xié)議，使用多線程技術(shù)基于對(duì)初始URL抓取網(wǎng)頁，存儲(chǔ)到本的MySQL數(shù)據(jù)庫中存儲(chǔ)和分析新的URL，下次抓取的URL....

圖4.2網(wǎng)頁抓取器核心類UML關(guān)系圖

25圖4.2網(wǎng)頁抓取器核心類UML關(guān)系圖Fig.4.2RelationalgraphofUML頁內(nèi)容抓取器使用最流行的廣度優(yōu)先的策略，以達(dá)到多線程的網(wǎng)作流程如下，設(shè)置初始URL抓取網(wǎng)頁，并分析網(wǎng)頁的URL保存，同時(shí)存儲(chǔ)抓取。保存頁面上的網(wǎng)頁內(nèi)容分析，網(wǎng)頁....

圖4.3網(wǎng)頁抓取器后臺(tái)實(shí)現(xiàn)效果

圖4.3網(wǎng)頁抓取器后臺(tái)實(shí)現(xiàn)效果Fig.4.3Backgroundtoachievetheeffect.2索引功能模塊的設(shè)計(jì)與實(shí)現(xiàn)2.1Lucene索引介紹該索引是一個(gè)數(shù)據(jù)存儲(chǔ)和組織結(jié)構(gòu)。該索引主要用于迅速找到一個(gè)字的文件。完整的信息索引，維護(hù)和管理軟件的功能....

本文編號(hào)：3899677