發(fā)布時(shí)間：2017-12-29 01:10

  本文關(guān)鍵詞：一種分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)　出處：《江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》2013年04期 　論文類型：期刊論文

  更多相關(guān)文章： 分布式系統(tǒng) 網(wǎng)絡(luò)爬蟲(chóng) 設(shè)計(jì)

【摘要】：利用用戶指定的關(guān)鍵字和搜索引擎生成URL種子,通過(guò)分布式網(wǎng)絡(luò)爬蟲(chóng)抽取符合用戶需求的網(wǎng)頁(yè)作為研究所用的語(yǔ)料.實(shí)驗(yàn)結(jié)果表明:分布式網(wǎng)絡(luò)爬蟲(chóng)可以較好地解決在短時(shí)間內(nèi)抽取大量語(yǔ)料的需求.
[Abstract]:......
【作者單位】： 上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系;
【基金】：國(guó)家自然科學(xué)基金(60773087)資助項(xiàng)目
【分類號(hào)】：TP391.3
【正文快照】： 0引言網(wǎng)絡(luò)爬蟲(chóng),英文名稱為Spider或Crawler,是一種功能強(qiáng)大的自動(dòng)提取網(wǎng)頁(yè)的程序,它為搜索引擎從互聯(lián)網(wǎng)上下載網(wǎng)頁(yè),是搜索引擎的重要組成部分.此外,它可以完全不依賴用戶干預(yù)實(shí)現(xiàn)網(wǎng)絡(luò)上的自動(dòng)“爬行”和“搜索".網(wǎng)絡(luò)爬蟲(chóng)工作過(guò)程一般是從一個(gè)或若干個(gè)初始網(wǎng)頁(yè)的URL開(kāi)始,獲得

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 查偉;;分布式計(jì)算機(jī)機(jī)房管理系統(tǒng)設(shè)計(jì)[J];咸寧學(xué)院學(xué)報(bào);2006年06期

2 王舜燕;李蕾;吳兵華;;基于ID3分類算法的深度網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2008年06期

3 張春蘭;李元;楊濤;;分布式電子實(shí)驗(yàn)管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];沈陽(yáng)化工學(xué)院學(xué)報(bào);2006年04期

4 曾文;湛騰西;;網(wǎng)絡(luò)視頻爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)科技信息;2010年15期

5 帖軍;;分布式線程池模型的設(shè)計(jì)與實(shí)現(xiàn)[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

6 林郁;周傳生;;基于多Agent的分布式資源檢索系統(tǒng)的設(shè)計(jì)[J];網(wǎng)絡(luò)與信息;2008年04期

7 孫輝霞;;基于網(wǎng)絡(luò)的高校教務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];甘肅科技縱橫;2008年03期

8 徐遠(yuǎn)超;劉江華;劉麗珍;關(guān)永;;基于Web的網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2007年21期

9 薛建春;段紅梅;蔡松;;定題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2007年21期

10 池勇敏;郝泳濤;;分布式主題爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年12期

相關(guān)會(huì)議論文 前10條

1 張午生;辛建卉;蔣愛(ài)兵;;鄭州市土地利用規(guī)劃管理信息系統(tǒng)的設(shè)計(jì)[A];2006年中國(guó)土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

2 劉權(quán);曹艷秋;;松遼流域地理信息系統(tǒng)總體設(shè)計(jì)[A];2001年?yáng)|北三省測(cè)繪學(xué)術(shù)與信息交流會(huì)論文集[C];2001年

3 吉s，

本文編號(hào)：1348183