發(fā)布時(shí)間：2018-11-06 08:00

【摘要】：伴隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)信息呈指數(shù)級(jí)增長(zhǎng)。在如此海量的信息當(dāng)中需要搜索引擎定位所需的信息。雖然通用搜索引擎在一定程度上能解決資源定位問(wèn)題,但是其效果并不理想,對(duì)于專(zhuān)業(yè)領(lǐng)域的信息檢索,很難達(dá)到用戶(hù)的搜索需求。垂直搜索引擎的出現(xiàn)就是為了解決通用搜索引擎在專(zhuān)業(yè)領(lǐng)域的不足,其對(duì)特定領(lǐng)域信息的深度挖掘彌補(bǔ)了通用搜索引擎信息泛而不精的缺點(diǎn)。 論文從理論和實(shí)踐兩個(gè)方面對(duì)垂直搜索引擎中關(guān)鍵技術(shù)做了深入研究。 本文首先介紹了研究背景及意義、搜索引擎的分類(lèi)和垂直搜索引擎在國(guó)內(nèi)外的發(fā)展現(xiàn)狀。其次介紹了垂直搜索引擎的基本工作原理、系統(tǒng)構(gòu)成和關(guān)鍵技術(shù)。接下來(lái),詳細(xì)介紹了網(wǎng)頁(yè)的主題表示,構(gòu)造了本文的主題特征向量,分析了主題網(wǎng)頁(yè)的分布特征。深入研究了基于內(nèi)容的主題相關(guān)度判定和基于鏈接結(jié)構(gòu)的主題相關(guān)度判定,分析了各自的缺點(diǎn)和不足。在基于內(nèi)容的主題相關(guān)度判定的基礎(chǔ)上引入網(wǎng)頁(yè)重要度,設(shè)計(jì)了一個(gè)基于網(wǎng)頁(yè)內(nèi)容和基于網(wǎng)頁(yè)鏈接結(jié)構(gòu)的主題爬蟲(chóng)算法。對(duì)于主題爬蟲(chóng)中的主題孤島問(wèn)題,設(shè)計(jì)了一個(gè)基于動(dòng)態(tài)調(diào)整最大深度的隧道穿越算法,該算法一定程度上緩解了網(wǎng)絡(luò)孤島問(wèn)題。隨后,設(shè)計(jì)了一個(gè)基于房產(chǎn)領(lǐng)域的垂直搜索引擎,對(duì)本系統(tǒng)進(jìn)行了系統(tǒng)分析,設(shè)計(jì)了本系統(tǒng)的總體框架,詳細(xì)介紹了各個(gè)子功能模塊的設(shè)計(jì)與實(shí)現(xiàn),并對(duì)本系統(tǒng)做了性能分析和功能測(cè)試。最后,對(duì)論文所做的工作進(jìn)行相應(yīng)的總結(jié),并且提出需要進(jìn)一步研究的工作。
[Abstract]:With the rapid development of the Internet, network information increases exponentially. In such a large amount of information needs search engine location needs information. Although the general search engine can solve the problem of resource location to a certain extent, its effect is not ideal, and it is difficult to reach the user's search demand for the information retrieval in the specialized field. The emergence of vertical search engine is to solve the shortcomings of general search engine in the professional field, and its deep mining of information in a specific field makes up for the shortcomings of general search engine information. In this paper, the key technologies of vertical search engine are studied in theory and practice. This paper first introduces the research background and significance, the classification of search engines and the development of vertical search engines at home and abroad. Secondly, the basic working principle, system structure and key technology of vertical search engine are introduced. Then, the theme representation of the web page is introduced in detail, the theme feature vector is constructed, and the distribution feature of the theme page is analyzed. In this paper, the content based topic correlation decision and the link structure based topic relevance judgment are studied in depth, and their shortcomings and shortcomings are analyzed. A topic crawler algorithm based on web content and web link structure is designed by introducing the importance of web pages on the basis of content-based topic correlation judgment. For the topic isolated island problem in the topic crawler, a tunnel crossing algorithm based on dynamic adjustment of maximum depth is designed, which to some extent alleviates the problem of network islanding. Then, a vertical search engine based on the real estate field is designed, the system is systematically analyzed, the overall framework of the system is designed, and the design and implementation of each sub-function module are introduced in detail. The performance analysis and function test of the system are also done. Finally, the work of the paper is summarized, and further research work is proposed.
【學(xué)位授予單位】：南昌大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類(lèi)號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高琴;;HITS算法探究[J];信息安全與技術(shù);2012年02期

2 張曉剛,李明樹(shù);智能搜索引擎技術(shù)的研究與發(fā)展[J];計(jì)算機(jī)工程與應(yīng)用;2001年24期

3 赫建營(yíng);晏海華;金茂忠;劉超;;結(jié)合本體篩選和文本挖掘的垂直搜索引擎研究[J];計(jì)算機(jī)科學(xué);2008年02期

4 黃德才;戚華春;;PageRank算法研究[J];計(jì)算機(jī)工程;2006年04期

5 陳釗;張冬梅;;Web信息抽取技術(shù)綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年12期

6 蘇成;潘云濤;袁軍鵬;馬崢;郭紅;張玉華;俞征鹿;胡志宇;;基于PageRank的期刊評(píng)價(jià)研究[J];中國(guó)科技期刊研究;2009年04期

7 胡永鋒;;淺談垂直搜索引擎的工作原理[J];科學(xué)大眾(科學(xué)教育);2011年06期

8 孫西全;馬瑞芳;李燕靈;;基于Lucene的信息檢索的研究與應(yīng)用[J];情報(bào)理論與實(shí)踐;2006年01期

9 何曉陽(yáng),吳強(qiáng),吳治蓉;HITS算法與PageRank算法比較分析[J];情報(bào)雜志;2004年02期

10 劉琨,鄭有才;搜索引擎剖析[J];微機(jī)發(fā)展;2004年03期

相關(guān)碩士學(xué)位論文 前8條

1 周源;基于本體的語(yǔ)義垂直搜索引擎研究[D];北京交通大學(xué);2011年

2 李宜兵;基于搜索引擎網(wǎng)頁(yè)排序算法研究[D];沈陽(yáng)理工大學(xué);2011年

3 馮運(yùn);信息檢索中的查詢(xún)算法研究[D];湖南大學(xué);2007年

4 海濤;垂直搜索引擎數(shù)據(jù)采集技術(shù)的研究與實(shí)現(xiàn)[D];華北電力大學(xué)（北京）;2008年

5 張慧;旅游信息垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2009年

6 孫逸雪;基于時(shí)態(tài)信息的主題搜索引擎的研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

7 賀晟;搜索引擎中主題網(wǎng)絡(luò)爬蟲(chóng)的研究與設(shè)計(jì)[D];安徽大學(xué);2010年

8 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)的研究[D];武漢理工大學(xué);2010年

，

本文編號(hào)：2313653