網(wǎng)頁消重模塊是搜索引擎系統(tǒng)的重要組成部分,其作用是對搜索引擎的爬蟲系統(tǒng)下載的網(wǎng)頁進(jìn)行過濾,去除重復(fù)內(nèi)容的網(wǎng)頁,從而提高搜索引擎爬蟲系統(tǒng)的性能和檢索的質(zhì)量。提出了一種網(wǎng)頁消重的并行算法以及基于Map/Reduce的實(shí)現(xiàn)機(jī)制,并通過實(shí)際網(wǎng)站的實(shí)驗(yàn)驗(yàn)證了該消重算法的穩(wěn)定性和處理大量網(wǎng)頁時(shí)的并行性能。

【文章頁數(shù)】：4 頁

【文章目錄】：
1 網(wǎng)頁消重原理
    1.1 數(shù)字指紋算法
    1.2 并行消重策略
2 并行消重算法的總體流程
3 并行消重算法的Map/Reduce實(shí)現(xiàn)
    3.1 合并過程
    3.2 消重過程
    3.3 更新過程
4 實(shí)驗(yàn)
    4.1 實(shí)驗(yàn)結(jié)果
    4.2 實(shí)驗(yàn)分析
5 結(jié)束語



本文編號(hào)：3826945