本文關鍵詞：在hadoop下運用Mapreduce構建文本索引，由筆耕文化傳播整理發(fā)布。

【摘要】：Hadoop是開源的一個分布式系統(tǒng)基礎架構,借助Hadoop,可以在不了解分布式底層細節(jié)的情況下,開發(fā)分布式程序。文本索引在生產生活中有著廣泛的應用,從搜索引擎的倒排索引到操作系統(tǒng)的指令都需要使用文本索引。在hadoop環(huán)境中構建文本索引,能夠為搜索引擎和文檔全文索引提供支持,并且同時兼顧了分布式系統(tǒng)的優(yōu)點。在Hadoop環(huán)境中構建本索引的主要價值有:在分布式平臺Hadoop建立倒排索引可以提高建立索引的速度,能夠方便的存儲大數據量,有著良好的擴展性以便實現在大規(guī)模系統(tǒng)中等優(yōu)點。
【作者單位】： 西北工業(yè)大學;
【關鍵詞】： Hadoop MapReduce 文本索引 倒排索引
【分類號】：TP391.3
【正文快照】： 一般來說,MapReduce會通過鍵—值對(key-value pair)的轉換處理,將一個大型的計算問題轉化成較小的子問題。在索引構建中,鍵—值對的形式就是(詞項,文檔名)。在分布式索引構建過程中,從詞項到文檔名的映射同樣要分布式進行,因此分布式的索引構建方法要比單機上的索引構建方法

【參考文獻】

中國碩士學位論文全文數據庫 前3條

1 何榮波;MapReduce模型在Hadoop中的性能優(yōu)化及改進[D];北京化工大學;2011年

2 趙會杰;中文全文檢索系統(tǒng)中索引的研究[D];北京交通大學;2007年

3 朱珠;基于Hadoop的海量數據處理模型研究和應用[D];北京郵電大學;2008年

【共引文獻】

中國期刊全文數據庫 前10條

1 李s，

本文編號：474119