【摘要】：當(dāng)今網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展,使互聯(lián)網(wǎng)已經(jīng)成為了全球信息傳播及共享的重要資源平臺(tái)。隨著網(wǎng)絡(luò)數(shù)據(jù)量的不斷增大,用戶通過傳統(tǒng)的搜索引擎在海量網(wǎng)絡(luò)資源中去精確查找自己所需要的資源也越來越困難。人們迫切需要一種可以對(duì)專業(yè)領(lǐng)域信息進(jìn)行精確搜索的查詢方法。同時(shí),隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)環(huán)境愈加復(fù)雜,其中的信息安全問題愈發(fā)嚴(yán)峻。在這樣的背景下,設(shè)計(jì)一個(gè)專門針對(duì)信息安全領(lǐng)域的垂直搜索引擎具有極其重要的意義。 本文的主要研究?jī)?nèi)容如下： 1.從垂直搜索引擎的由來、特點(diǎn)及其工作原理開始著手,詳細(xì)分析了Heritrix開源網(wǎng)絡(luò)爬蟲的系統(tǒng)結(jié)構(gòu)。在此基礎(chǔ)上,通過擴(kuò)展Heritrix的解析器實(shí)現(xiàn)了爬蟲對(duì)特定網(wǎng)頁(yè)資源的高效、多線程抓取的目的。 2.深入剖析了Lucene的系統(tǒng)結(jié)構(gòu),分析并指出了Lucene原有的排序算法的不足,通過引入基于鏈接分析的PageRank算法,改進(jìn)了Lucene原有排序算法,使排序結(jié)果更加準(zhǔn)確。 3.在上述研究的基礎(chǔ)上,通過設(shè)計(jì)各個(gè)子系統(tǒng),運(yùn)用改進(jìn)的爬蟲和排序算法實(shí)現(xiàn)了面向信息安全的垂直搜索引擎系統(tǒng)原型。
【學(xué)位授予單位】：華東理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3;TP309

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高波;;一種面向主題的搜索引擎的實(shí)現(xiàn)[J];常州工學(xué)院學(xué)報(bào);2008年02期

2 張麗敏;;垂直搜索引擎的主題爬蟲策略[J];電腦知識(shí)與技術(shù);2010年15期

3 袁小潔;;基于Heritrix的商品信息搜索的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)[J];電腦編程技巧與維護(hù);2012年22期

4 胡嘉海;;基于Lucene的全文搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];安徽科技;2012年12期

5 王慶民;;互聯(lián)網(wǎng)搜索引擎的發(fā)展、應(yīng)用和特點(diǎn)[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2009年05期

6 王琦;張戈;何婧;;基于Lucene與Heritrix的圖書垂直搜索引擎的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)時(shí)代;2010年02期

7 張巍,李志蜀;基于PageRank算法的搜索引擎優(yōu)化策略[J];計(jì)算機(jī)應(yīng)用;2005年07期

8 黃蔚;劉忠;劉全;;RL_Spider:一種自主垂直搜索引擎網(wǎng)絡(luò)爬蟲[J];計(jì)算機(jī)應(yīng)用與軟件;2011年12期

9 焦麗;;網(wǎng)絡(luò)搜索引擎研究概述[J];農(nóng)業(yè)圖書情報(bào)學(xué)刊;2008年03期

10 鄒濤,戚廣智,蔡麗娟,張福炎;網(wǎng)絡(luò)信息挖掘系統(tǒng)IDGS的實(shí)現(xiàn)[J];南京大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年02期

本文編號(hào)：2761587