【摘要】：針對分布式搜索引擎的研究現(xiàn)狀和技術(shù)背景進行分析,提出基于Hadoop的分布式Lucene搜索引擎的功能模型與系統(tǒng)構(gòu)架。從系統(tǒng)實現(xiàn)的分布式索引、分布式檢索和第三方分詞器3個方面的關(guān)鍵技術(shù)進行詳細(xì)敘述,搭建具體實驗實施的軟件、硬件環(huán)境,并運用對比的方法,進行分布式搜索引擎的性能測試分析。實驗結(jié)果表明:基于Hadoop的分布式Lucene搜索引擎,在信息搜索的效率、可靠性、穩(wěn)定性和可擴展性等方面,具有很強的優(yōu)勢。
[Abstract]:Based on the analysis of the research status and technical background of distributed search engine, the functional model and system framework of distributed Lucene search engine based on Hadoop are proposed. The key technologies of distributed index, distributed retrieval and third party word particimer are described in detail, and the software and hardware environment of concrete experiment are built, and the method of comparison is used. To test and analyze the performance of distributed search engine. The experimental results show that the distributed Lucene search engine based on Hadoop has strong advantages in the efficiency, reliability, stability and expansibility of information search.
【作者單位】： 桂林理工大學(xué)圖書館;
【基金】：2015年度廣西教育廳項目“隨書光盤資源云服務(wù)平臺開發(fā)應(yīng)用研究”(項目編號:KY2015YB138) 2013年度廣西哲學(xué)社會科學(xué)規(guī)劃研究課題基金項目“基于HADOOP大數(shù)據(jù)技術(shù)分布式信息檢索系統(tǒng)的研究與實現(xiàn)”(項目編號:13FTQ003)階段性成果
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前2條

1 姚樹宇,趙少東;一種使用分布式技術(shù)的搜索引擎[J];計算機應(yīng)用與軟件;2005年10期

2 夏敏捷;李娟;;基于Lucene的電子文件全文檢索系統(tǒng)研究[J];蘭臺世界;2015年08期

【共引文獻】

相關(guān)期刊論文 前5條

1 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實時搜索模型研究與實現(xiàn)[J];電信科學(xué);2011年11期

2 孫宏;李戴維;董旭陽;季澤旭;;搜索引擎技術(shù)與發(fā)展綜述[J];計算機光盤軟件與應(yīng)用;2012年14期

3 李志義;;網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報;2011年10期

4 吳寶貴;丁振國;;基于Map/Reduce的分布式搜索引擎研究[J];現(xiàn)代圖書情報技術(shù);2007年08期

5 趙琳;;分布式檢索及相關(guān)理論[J];科技資訊;2011年09期

相關(guān)博士學(xué)位論文 前1條

1 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

【二級參考文獻】

相關(guān)期刊論文 前8條

1 肖詩源,葉俊,劉賢德;一種基于Agent的分布式搜索引擎[J];計算機工程;2002年07期

2 賀廣宜,羅莉;分布式搜索引擎的設(shè)計與實現(xiàn)[J];計算機應(yīng)用;2003年05期

3 郭少友;Web環(huán)境下分布式信息檢索模式[J];情報科學(xué);2003年06期

4 翁惠玉,馬范援,朱義軍,楊傳厚;網(wǎng)絡(luò)搜索引擎的現(xiàn)狀分析[J];情報學(xué)報;1999年S1期

5 瞿艷,盧增祥,李衍達;分布式網(wǎng)絡(luò)信息查詢系統(tǒng)[J];清華大學(xué)學(xué)報(自然科學(xué)版);2000年01期

6 高艷霞;張慎武;;電子檔案的非結(jié)構(gòu)化存儲方案淺議[J];蘭臺世界;2012年02期

7 張慎武;高艷霞;王玉霞;;電子公文檔案管理系統(tǒng)方案設(shè)計[J];蘭臺世界;2013年20期

8 夏敏捷;張慎武;韓新超;;Lucene技術(shù)在數(shù)字化公文全文檢索系統(tǒng)中的應(yīng)用研究[J];中原工學(xué)院學(xué)報;2013年05期

【相似文獻】

相關(guān)期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設(shè)計方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會;何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進[J];電子設(shè)計工程;2012年22期

10 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

相關(guān)重要報紙文章 前8條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡(luò)世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達;基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

，

本文編號：2405938