【摘要】：成功的搜索引擎都有穩(wěn)定的分布式文件系統(tǒng),采用分布式計算的方式,使得網(wǎng)頁數(shù)據(jù)、索引文件都分散存儲在網(wǎng)絡(luò)中,檢索從分散的數(shù)據(jù)中通過分布式計算獲取。通過分析分布式搜索引擎,研究了Google的分布式文件系統(tǒng)GoogleFS以及Map Reduce算法,針對Nutch的特性,提出了FoundClear算法和一種NDFS的解決方案,最后與GoogleFS系統(tǒng)作了比較。
【圖文】：

可以給大量并發(fā)訪問的用戶同時提供高效、可靠的服務(wù)。GoogleFS 的基本結(jié)構(gòu)包括總體調(diào)度的總控制器、Web 數(shù)據(jù)庫、分布式請求的客戶端。它的工作流程如圖 1 所示：客戶端把文件名和文件的 chunk 偏移量轉(zhuǎn)換成一個包含該文件數(shù)據(jù)的 chunk 索引；客戶端向 GoogleFS Master 主控制器發(fā)送請求，請求中包括所需要的文件名以及 chunk 索引，當 GoogleFS Master 收到分布式客戶端請求，并通過chunk 映射表查找以后，向客戶端作出響應(yīng)，，反饋給客戶端相應(yīng)的 chunk 句柄以及該 chunk 備份文件的位置；客戶端收到反饋信息以后，將以文件名和 chunk 索引為關(guān)鍵詞進行緩存，客戶端從多個 chunk 服務(wù)器中選擇一個離自己最鄰近的chunk server 發(fā)出數(shù)據(jù)訪問請求。如果該應(yīng)用客戶端需要訪（鄭州航空工業(yè)管理學院，鄭州 450015）第 29 卷第 5 期2010 年5 期煤 炭 技 術(shù)Coal TechnologyVol.29

3 結(jié)束語本文主要探討了搜索引擎中分布式文件系統(tǒng)的結(jié)構(gòu)及圖 2 NDFS 結(jié)構(gòu)設(shè)計圖圖 3 NDFS 的解決方案第 5 期 韓忠軍：基于 Nutch 的分布式文件系統(tǒng)研究·207·

【相似文獻】

相關(guān)期刊論文 前10條

1 ;創(chuàng)新工業(yè)搜索引擎[J];中國制造業(yè)信息化;2011年12期

2 胡風華;王磊;;基于知識庫系統(tǒng)的智能搜索引擎研究[J];中國新技術(shù)新產(chǎn)品;2011年18期

3 方亞會;;Google失敗后快速切換搜索引擎[J];電腦迷;2011年11期

4 ;IPDPS 2012 PhD Forum(博士生論壇)論文征集[J];計算機工程與設(shè)計;2011年09期

5 李國鋒;李春偉;;網(wǎng)絡(luò)搜索引擎技術(shù)探析[J];廊坊師范學院學報;2005年04期

6 冷國華;;網(wǎng)頁快照幫我快速獲取資料[J];電腦愛好者;2011年10期

7 閆淑紅;;基于搜索引擎的信息查詢技術(shù)研究[J];電腦開發(fā)與應(yīng)用;2011年07期

8 康亞娟;;淺談?wù)緝?nèi)信息搜索系統(tǒng)[J];硅谷;2011年13期

9 孫掌印;;搜索引擎Yahoo與Google的比較分析[J];科技情報開發(fā)與經(jīng)濟;2011年17期

10 馮慶峰;;信息時代如何獲取信息[J];成功(教育);2011年08期

相關(guān)會議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術(shù)年會論文集[C];2008年

2 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2001年

3 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學會年會暨學術(shù)研討會論文集[C];2005年

4 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學會年會暨學術(shù)研討會論文集[C];2010年

5 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學術(shù)會議(HHME2006)——第2屆中國普適計算學術(shù)會議(PCC'06)論文集[C];2006年

6 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學報編輯論叢（第十一集）[C];2003年

7 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國學生計算語言學研討會會議論文集[C];2008年

8 申琪君;;電子地圖搜索引擎比較[A];中國地理學會2007年學術(shù)年會論文摘要集[C];2007年

9 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡(luò)搜索引擎用戶行為分析和研究[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

10 薩曉靜;;網(wǎng)絡(luò)化生存下的圖書館改革之路[A];福建省圖書館學會2008年學術(shù)年會論文集[C];2008年

相關(guān)重要報紙文章 前10條

1 本報記者 朱杰;搜索引擎應(yīng)用性能分析報告[N];中國計算機報;2009年

2 記者 李建偉;第4代搜索引擎在鄭州問世[N];中國知識產(chǎn)權(quán)報;2009年

3 記者 趙志鵬;媒體稱俄擬建國家搜索引擎[N];新華每日電訊;2010年

4 吳前;搜索引擎“碳排量”驚人[N];中國文化報;2010年

5 記者 李大慶;新型搜索引擎能向用戶直接提供所需內(nèi)容[N];科技日報;2010年

6 深圳大學傳播學院、傳媒與文化發(fā)展研究中心 周裕瓊;誰動了我的大腦[N];社會科學報;2010年

7 李大慶;新型搜索引擎直接為用戶提供所需內(nèi)容[N];中國技術(shù)市場報;2010年

8 余建斌;搜索引擎市場“烽煙四起”[N];中國高新技術(shù)產(chǎn)業(yè)導報;2010年

9 邁巴赫 編譯;搜索引擎20年[N];計算機世界;2010年

10 記者 秦羽　通訊員 施銀峰;全球搜索引擎營銷大會在甬舉行[N];寧波日報;2010年

相關(guān)博士學位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學;2011年

4 劉佐達;分布協(xié)作式搜索引擎模型及算法研究[D];清華大學;2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學;2012年

7 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學院研究生院（遙感應(yīng)用研究所）;2003年

9 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學;2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實現(xiàn)[D];中國科學技術(shù)大學;2010年

相關(guān)碩士學位論文 前10條

1 付志超;基于Map/Reduce的分布式智能搜索引擎框架研究[D];武漢理工大學;2008年

2 張佶;基于可擴展分布式架構(gòu)的高校搜索引擎研究與實現(xiàn)[D];東華大學;2010年

3 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學;2010年

4 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學;2010年

5 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學;2011年

6 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學;2005年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學;2010年

8 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學;2011年

9 歐建斌;基于Web挖掘與信息分類的個性化搜索引擎研究[D];暨南大學;2010年

10 張朝斌;企業(yè)級搜索引擎的優(yōu)化設(shè)計與實現(xiàn)[D];華南理工大學;2010年

本文編號：2580174