本文關(guān)鍵詞：基于Lucene的分布式全文檢索技術(shù)的研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，電子設(shè)備承載的數(shù)據(jù)越來越多，越來越豐富，甚至已經(jīng)悄然進(jìn)入大數(shù)據(jù)時代。伴隨著企業(yè)數(shù)據(jù)量的不斷增長和積累，企業(yè)需要解決在數(shù)據(jù)海洋中快速定位所需資料以及如何從大量文本資料中快速找到關(guān)鍵信息等問題。 傳統(tǒng)的方法主要是數(shù)據(jù)庫直接檢索，但利用數(shù)據(jù)庫檢索技術(shù)進(jìn)行全文檢索時效率很低，更無法和百度、Google等搜索引擎相媲美。同時，關(guān)系型數(shù)據(jù)庫檢索不能有效的處理非結(jié)構(gòu)化數(shù)據(jù)。為提高全文檢索的效率，本文在研究全文檢索技術(shù)的基礎(chǔ)上，對索引構(gòu)建和檢索過程進(jìn)行優(yōu)化，改進(jìn)匹配算法，并結(jié)合分布式技術(shù)開發(fā)一個分布式全文檢索系統(tǒng)，能有效處理非結(jié)構(gòu)化數(shù)據(jù)，顯著提高檢索效率以及系統(tǒng)的可擴(kuò)展性與可維護(hù)性。 本文的具體內(nèi)容主要包括： 1)首先介紹了全文檢索和分布式相關(guān)技術(shù)，包括Lucene的系統(tǒng)結(jié)構(gòu)和工作流程、倒排索引機(jī)制、排序算法、分詞技術(shù)以及分布式計算和分布式集群。 2)分析了倒排索引底層結(jié)構(gòu)及原理，并使用混合倒排索引以及不同域使用各自簡化的分詞器的方法進(jìn)行了改進(jìn)；深入剖析了全文檢索過程與檢索模型，提出了利用緩存和索引合并進(jìn)行優(yōu)化的建議；研究了Lucene的排序算法和分詞技術(shù)并對現(xiàn)有的分詞匹配算法進(jìn)行改進(jìn)，很好地支持了最大詞匹配問題，并提出了實時更新詞典的方法。 3)設(shè)計了一個信息安全全文檢索系統(tǒng)，包括索引構(gòu)建、檢索模塊以及分詞和字典的設(shè)計。通過分析Solr與Lucene的關(guān)系，使用Solr設(shè)計和實現(xiàn)了分布式全文檢索服務(wù)器，提高了系統(tǒng)的可擴(kuò)展性和可維護(hù)性。 4)通過對原型系統(tǒng)的測試分析，對比使用Solr搜索服務(wù)器前后相關(guān)性能的測試結(jié)果，表明了索引創(chuàng)建的優(yōu)化取得良好的效果，，用戶檢索效率高，能有效檢索各種非結(jié)構(gòu)化數(shù)據(jù)，滿足了企業(yè)內(nèi)部全文檢索的日常工作需要。
【關(guān)鍵詞】：搜索引擎 全文檢索 Lucene 分布式 Solr
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.3
【目錄】：

• 摘要5-7
• ABSTRACT7-11
• 第一章 緒論11-15
• 1.1 引言11
• 1.2 研究背景及意義11-12
• 1.3 國內(nèi)外研究現(xiàn)狀12
• 1.4 研究內(nèi)容及組織結(jié)構(gòu)12-14
• 1.4.1 研究內(nèi)容12-13
• 1.4.2 論文組織結(jié)構(gòu)13-14
• 1.5 本章小結(jié)14-15
• 第二章 分布式與全文檢索技術(shù)15-24
• 2.1 全文檢索技術(shù)15-17
• 2.1.1 檢索15
• 2.1.2 全文檢索技術(shù)15
• 2.1.3 全文檢索系統(tǒng)15-17
• 2.2 Lucene17-20
• 2.2.1 Lucene 簡介17
• 2.2.2 Lucene 優(yōu)點17
• 2.2.3 Lucene 系統(tǒng)結(jié)構(gòu)17-18
• 2.2.4 Lucene 工作流程18-20
• 2.3 Lucene 與全文檢索系統(tǒng)20
• 2.4 分布式系統(tǒng)20-22
• 2.4.1 分布式系統(tǒng)簡介20-21
• 2.4.2 分布式系統(tǒng)優(yōu)點21-22
• 2.5 分布式全文檢索系統(tǒng)22-23
• 2.6 本章小結(jié)23-24
• 第三章 全文檢索技術(shù)研究24-48
• 3.1 傳統(tǒng)索引技術(shù)24-32
• 3.1.1 索引簡介24-25
• 3.1.2 索引優(yōu)點與不足25
• 3.1.3 索引原理剖析25-26
• 3.1.4 常見索引數(shù)據(jù)結(jié)構(gòu)分析及優(yōu)缺點26-32
• 3.2 倒排索引技術(shù)32-37
• 3.2.1 倒排索引簡介32-35
• 3.2.2 改進(jìn)的混合倒排索引35-37
• 3.2.3 Lucene 索引構(gòu)建優(yōu)化37
• 3.3 檢索技術(shù)37-42
• 3.3.1 檢索技術(shù)簡介37-38
• 3.3.2 檢索模型38-40
• 3.3.3 檢索過程深入剖析40-41
• 3.3.4 檢索過程優(yōu)化41-42
• 3.4 排序算法42-43
• 3.4.1 基于頁面內(nèi)容的排序算法42-43
• 3.4.2 Lucene 排序算法研究43
• 3.5 分詞技術(shù)43-47
• 3.5.1 分詞技術(shù)簡介43-44
• 3.5.2 詞典分詞44-46
• 3.5.3 改進(jìn)的匹配算法46-47
• 3.6 本章小結(jié)47-48
• 第四章 信息安全全文檢索系統(tǒng)的設(shè)計48-58
• 4.1 需求分析48-49
• 4.2 總體設(shè)計49
• 4.3 索引構(gòu)建設(shè)計49-50
• 4.4 檢索模塊設(shè)計50-53
• 4.4.1 檢索模塊的封裝50-51
• 4.4.2 Solr 與 Lucene51
• 4.4.3 Solr 系統(tǒng)結(jié)構(gòu)51-53
• 4.5 分詞和字典設(shè)計53-57
• 4.5.1 分詞方法設(shè)計53-54
• 4.5.2 分詞設(shè)計優(yōu)化前后對比54-55
• 4.5.3 實時更新詞典55
• 4.5.4 在詞典中匹配詞段55-57
• 4.6 本章小結(jié)57-58
• 第五章 信息安全全文檢索系統(tǒng)的實現(xiàn)58-71
• 5.1 索引創(chuàng)建實現(xiàn)58-59
• 5.2 全文檢索實現(xiàn)59-66
• 5.2.1 Solr 下載與安裝60
• 5.2.2 Solr 搭建開發(fā)環(huán)境60-63
• 5.2.3 Lucene 分頁查詢實現(xiàn)63-64
• 5.2.4 Lucene 常見查詢實現(xiàn)64-66
• 5.3 分詞和詞典實現(xiàn)66-67
• 5.4 系統(tǒng)運(yùn)行測試67-70
• 5.4.3 系統(tǒng)運(yùn)行截圖67-69
• 5.4.4 索引優(yōu)化前后對比69
• 5.4.5 檢索優(yōu)化前后對比69-70
• 5.5 本章小結(jié)70-71
• 第六章 總結(jié)與展望71-73
• 6.1 總結(jié)71
• 6.2 展望71-73
• 參考文獻(xiàn)73-76
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文76-77
• 致謝77

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 趙珂;逯鵬;李永強(qiáng);;基于Lucene的搜索引擎設(shè)計與實現(xiàn)[J];計算機(jī)工程;2011年16期

2 欒靜;李軍鋒;;基于Lucene全文檢索引擎的應(yīng)用研究[J];計算機(jī)與數(shù)字工程;2010年12期

3 李戴維;李寧;;基于Solr的分布式全文檢索系統(tǒng)的研究與實現(xiàn)[J];計算機(jī)與現(xiàn)代化;2012年11期

4 義天鵬;陳啟安;;基于Lucene的中文分析器分詞性能比較研究[J];計算機(jī)工程;2012年22期

5 岳紹敏;李萬龍;王璐;光順利;;基于Lucene索引的數(shù)據(jù)庫全文檢索[J];吉林大學(xué)學(xué)報(理學(xué)版);2014年05期

6 黃少林;王華;張玉紅;蔣一峰;;基于Lucene的索引系統(tǒng)的設(shè)計與實現(xiàn)[J];現(xiàn)代情報;2009年07期

7 胡_g;封俊;;Hadoop下的分布式搜索引擎[J];計算機(jī)系統(tǒng)應(yīng)用;2010年07期

  本文關(guān)鍵詞：基于Lucene的分布式全文檢索技術(shù)的研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號：265989