本文關(guān)鍵詞：基于SolrCloud平臺的分布式全文檢索系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 分布式 全文檢索 倒排索引 SolrCloud ZooKeeper

【摘要】：隨著大數(shù)據(jù)時代的到來，海量數(shù)據(jù)不斷涌入人們的日常生活、學(xué)習(xí)和工作中，如何存儲和管理這些飛速增長的數(shù)據(jù)？如何從已有的這些海量數(shù)據(jù)中將對自己有用的信息準(zhǔn)確高效地提取？面對這些日益嚴(yán)峻的挑戰(zhàn)和經(jīng)濟(jì)突飛猛進(jìn)地發(fā)展，各類政府機(jī)構(gòu)也對業(yè)務(wù)信息化有了越來越高的需求，專項網(wǎng)絡(luò)信息平臺的建立已經(jīng)成為當(dāng)務(wù)之急。從最初的政務(wù)信息化到今天，政府機(jī)構(gòu)已經(jīng)積累了大量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，對于審計廳來說，各種報表和法律法規(guī)文檔等全文數(shù)據(jù)更是數(shù)不勝數(shù)，這些數(shù)據(jù)都需要記錄在案，當(dāng)進(jìn)行審計業(yè)務(wù)和審計法律法規(guī)重新修訂等工作時，工作人員不得不大量翻閱這些歷史文件。這種情況下僅僅利用原有的數(shù)據(jù)庫查詢功能，或者人工查閱實體文本資料將會嚴(yán)重影響工作效率，由此我們想到可以利用全文檢索技術(shù)來滿足政府機(jī)構(gòu)的以上需求。通過對審計廳資料庫內(nèi)的各種數(shù)據(jù)進(jìn)行全文索引，工作人員在需要某項信息時，，可以檢索到各種類型的數(shù)據(jù)。由于審計工作都是分季度進(jìn)行的，所以在某個時段工作人員需要集中進(jìn)行操作。綜合以上分析，我們決定構(gòu)建一個分布式的全文檢索系統(tǒng)來滿足審計廳的需求。本文利用基于Solr和ZooKeeper的分布式搜索方案，搭建Solr服務(wù)器集群，構(gòu)成SolrCloud平臺，在SolrCloud上創(chuàng)建、存儲和管理大型資料庫文檔和數(shù)據(jù)庫信息的索引，以此為基礎(chǔ)，構(gòu)建一個分布式的全文檢索系統(tǒng)。用戶可登陸系統(tǒng)，普通用戶可以對企業(yè)內(nèi)部大量文檔進(jìn)行檢索、預(yù)覽和下載等操作，除此之外，管理員還能上傳、存儲和管理這些文檔，從而達(dá)到機(jī)構(gòu)內(nèi)部資料共享的目的。 文中首先探討了全文檢索和分布式搜索引擎的發(fā)展背景和研究現(xiàn)狀，詳細(xì)介紹了SolrCloud的架構(gòu)和特點，以及全文檢索的機(jī)理。接下來我們根據(jù)審計廳的具體要求，對分布式全文檢索系統(tǒng)在四個層面上進(jìn)行了需求分析，并對系統(tǒng)進(jìn)行了開發(fā)環(huán)境設(shè)計，總體設(shè)計和詳細(xì)設(shè)計，詳細(xì)設(shè)計中給出了SolrCloud服務(wù)器集群、分布式索引、分布式檢索的設(shè)計方案，隨后介紹了以上設(shè)計方案的具體實現(xiàn)方法，并對索引的創(chuàng)建和檢索響應(yīng)進(jìn)行了性能測試。文章最后對本文所做的全部工作進(jìn)行了簡單的總結(jié)，并且提出了可進(jìn)一步研究的內(nèi)容。
【關(guān)鍵詞】：分布式 全文檢索 倒排索引 SolrCloud ZooKeeper
【學(xué)位授予單位】：山東師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.3
【目錄】：

• 目錄4-6
• 摘要6-7
• Abstract7-8
• 第一章 緒論8-14
• 1.1 研究背景與意義8-9
• 1.2 相關(guān)研究現(xiàn)狀9-11
• 1.2.1 全文搜索引擎的研究現(xiàn)狀9-10
• 1.2.2 分布式搜索引擎的研究現(xiàn)狀10-11
• 1.3 本文主要工作11
• 1.4 論文組織結(jié)構(gòu)11-12
• 1.5 本章小結(jié)12-14
• 第二章 系統(tǒng)關(guān)鍵技術(shù)研究14-20
• 2.1 分布式14
• 2.2 全文檢索14-17
• 2.2.1 基本原理15-17
• 2.2.2 框架17
• 2.3 Lucene 的概述17-19
• 2.3.1 系統(tǒng)結(jié)構(gòu)17-18
• 2.3.2 索引結(jié)構(gòu)18-19
• 2.4 本章小結(jié)19-20
• 第三章 SolrCloud 平臺的分析與研究20-30
• 3.1 Solr 的概述20
• 3.2 Solr 的架構(gòu)與特點20-22
• 3.2.1 架構(gòu)20-21
• 3.2.2 特點21-22
• 3.3 SolrCloud 概述22-24
• 3.3.1 ZooKeeper22-23
• 3.3.2 SolrCoud23-24
• 3.4 SolrCloud 相關(guān)概念24-25
• 3.5 SolrCloud 邏輯結(jié)構(gòu)及工作原理25-29
• 3.5.1 邏輯結(jié)構(gòu)25-26
• 3.5.2 工作原理26-29
• 3.6 本章小結(jié)29-30
• 第四章 系統(tǒng)需求分析與設(shè)計30-44
• 4.1 系統(tǒng)需求分析30-38
• 4.1.1 業(yè)務(wù)需求分析30-31
• 4.1.2 用戶需求分析31-33
• 4.1.3 功能性需求分析33-37
• 4.1.4 非功能性需求分析37-38
• 4.2 系統(tǒng)設(shè)計38-42
• 4.2.1 系統(tǒng)開發(fā)環(huán)境設(shè)計38-39
• 4.2.2 系統(tǒng)總體設(shè)計39
• 4.2.3 系統(tǒng)詳細(xì)設(shè)計39-42
• 4.3 本章小結(jié)42-44
• 第五章 系統(tǒng)實現(xiàn)與性能測試44-58
• 5.1 系統(tǒng)實現(xiàn)44-55
• 5.1.1 SolrCloud 服務(wù)器集群實現(xiàn)44-48
• 5.1.2 數(shù)據(jù)庫訪問實現(xiàn)48
• 5.1.3 分布式創(chuàng)建索引實現(xiàn)48-51
• 5.1.4 分布式檢索實現(xiàn)51-52
• 5.1.5 用戶模塊實現(xiàn)及系統(tǒng)運(yùn)行截圖52-55
• 5.2 系統(tǒng)性能測試55-56
• 5.2.1 索引吞吐量測試55-56
• 5.2.2 檢索時延測試56
• 5.3 本章小結(jié)56-58
• 第六章 總結(jié)和展望58-60
• 6.1 總結(jié)58
• 6.2 展望58-60
• 參考文獻(xiàn)60-62
• 致謝62

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 霍林;潘英花;王力;黃俊文;;分布式密文全文檢索系統(tǒng)設(shè)計及安全性研究[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2010年06期

2 朱友文;黃劉生;陳國良;楊威;;分布式計算環(huán)境下的動態(tài)可信度評估模型[J];計算機(jī)學(xué)報;2011年01期

3 李戴維;李寧;;基于Solr的分布式全文檢索系統(tǒng)的研究與實現(xiàn)[J];計算機(jī)與現(xiàn)代化;2012年11期

4 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個性化搜索算法[J];軟件學(xué)報;2003年05期

5 錢迎進(jìn);肖儂;金士堯;;大規(guī)模集群中一種自適應(yīng)可擴(kuò)展的RPC超時機(jī)制[J];軟件學(xué)報;2010年12期

6 李永春;丁華福;;Lucene的全文檢索的研究與應(yīng)用[J];計算機(jī)技術(shù)與發(fā)展;2010年02期

7 李勝華;;搜索引擎的現(xiàn)狀及發(fā)展趨勢探討[J];現(xiàn)代商貿(mào)工業(yè);2010年12期

8 姚曉娜;祝忠明;;基于分面搜索引擎Solr的機(jī)構(gòu)知識庫訪問統(tǒng)計[J];現(xiàn)代圖書情報技術(shù);2011年Z1期

本文編號：767245