本文關(guān)鍵詞：中心化分布式網(wǎng)絡(luò)爬蟲研究

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 數(shù)據(jù)抽取 分布式 數(shù)據(jù)挖掘

【摘要】：因特網(wǎng)的迅速發(fā)展使得網(wǎng)絡(luò)上的信息越來越豐富,對于網(wǎng)絡(luò)上信息的利用與分析已經(jīng)成為新的研究重點(diǎn)。從搜索引擎到數(shù)據(jù)挖掘,對互聯(lián)網(wǎng)信息的利用越來越深入,而伴隨著這些技術(shù)的要求以及信息量的增加,網(wǎng)絡(luò)爬蟲作為信息提供的主要來源,已成為有關(guān)互聯(lián)網(wǎng)研究的熱點(diǎn)之一。本文將對于這一熱點(diǎn)研究進(jìn)行綜述,并對一種改進(jìn)的中心化分布式網(wǎng)絡(luò)爬蟲進(jìn)行詳細(xì)描述、說明。
【作者單位】： 首都經(jīng)濟(jì)貿(mào)易大學(xué);
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲 數(shù)據(jù)抽取 分布式 數(shù)據(jù)挖掘
【分類號】：TP391.3
【正文快照】： 一、引言作為搜索引擎和數(shù)據(jù)挖掘的基礎(chǔ)組成部分,網(wǎng)絡(luò)爬蟲起著提供基礎(chǔ)數(shù)據(jù)、對數(shù)據(jù)進(jìn)行初步清洗的作用,是其不可或缺的部分。隨著網(wǎng)絡(luò)規(guī)模以及組成的復(fù)雜程度爆炸性的增長,依賴計(jì)算機(jī)單機(jī)處理能力的集中式爬蟲已經(jīng)無法滿足快速獲取數(shù)據(jù)的需要。分布式網(wǎng)絡(luò)爬蟲應(yīng)運(yùn)而生,它由多

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 吳黎兵;柯亞林;何炎祥;劉楠;;分布式網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

2 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙杰;;中心化分布式網(wǎng)絡(luò)爬蟲研究[J];時(shí)代金融;2016年33期

2 劉強(qiáng)強(qiáng);余黎青;趙鵬;劉慧婷;;基于移動(dòng)平臺的圖像檢索系統(tǒng)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2016年11期

3 陳琳;任芳;;基于Python的新浪微博數(shù)據(jù)爬蟲程序設(shè)計(jì)[J];信息系統(tǒng)工程;2016年09期

4 時(shí)永坤;;基于WebDriver的定向網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[J];軟件;2016年09期

5 于淑云;;基于校園BBS的輿情系統(tǒng)爬蟲應(yīng)用研究[J];長春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2016年02期

6 杜洪濤;孟慶國;王君澤;;互聯(lián)網(wǎng)數(shù)據(jù)在輿情研判中的效用研究[J];中國軟科學(xué);2016年04期

7 盧楊;李華康;孫國梓;;一種基于P2P技術(shù)的分布式微博爬蟲系統(tǒng)[J];江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年03期

8 王麗娜;李懷;趙磊;;基于模擬用戶的Ajax Web自動(dòng)化測試模型[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年03期

9 李營那;張瑜;;一種可自由配置的網(wǎng)頁采集系統(tǒng)原理及其實(shí)現(xiàn)[J];電腦知識與技術(shù);2015年35期

10 黎浩宏;;基于圖片內(nèi)容的商品信息檢索系統(tǒng)[J];浙江工貿(mào)職業(yè)技術(shù)學(xué)院學(xué)報(bào);2015年04期

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學(xué)報(bào);2002年S1期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 周建華;史偉奇;徐聯(lián)華;;基于代理的分布式網(wǎng)絡(luò)實(shí)時(shí)取證模型及關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)安全;2007年05期

2 林立鑫;;分布式網(wǎng)絡(luò)管理及參考模型的研究與設(shè)計(jì)[J];電腦知識與技術(shù);2009年21期

3 劉芳;趙磊;;分布式網(wǎng)絡(luò)管理技術(shù)的研究[J];科技創(chuàng)新導(dǎo)報(bào);2010年05期

4 夏敏捷;夏冰;徐飛;;基于“行政村”的分布式網(wǎng)絡(luò)安全評估系統(tǒng)的研究[J];中原工學(xué)院學(xué)報(bào);2010年01期

5 李曉琳;;淺談分布式網(wǎng)絡(luò)在信息管理系統(tǒng)中的應(yīng)用[J];企業(yè)導(dǎo)報(bào);2012年02期

6 陳曉川,劉曉冰,馮辛安;分布式網(wǎng)絡(luò)化研究中心及其體系結(jié)構(gòu)[J];計(jì)算機(jī)輔助設(shè)計(jì)與制造;1998年12期

7 李戰(zhàn)國,唐亞哲,李增智;分布式網(wǎng)絡(luò)管理技術(shù)及實(shí)現(xiàn)[J];數(shù)據(jù)通信;2000年03期

8 翟潔,邵俊華,陳越;一個(gè)分布式網(wǎng)絡(luò)考試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微機(jī)發(fā)展;2001年01期

9 帥春燕,程文英,呂楊;JINI租借的思想及實(shí)現(xiàn)技術(shù)研究[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2003年06期

10 何曉智;一個(gè)基于移動(dòng)Agent的分布式網(wǎng)絡(luò)管理模型[J];煤炭技術(shù);2003年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 楊璐皓;范文慶;黃瑋;;基于分布式網(wǎng)絡(luò)的負(fù)載均衡與路徑選擇算法[A];虛擬運(yùn)營與云計(jì)算——第十八屆全國青年通信學(xué)術(shù)年會論文集（下冊）[C];2013年

2 習(xí)友寶;古軍;;分布式網(wǎng)絡(luò)化測試技術(shù)綜述[A];第三次全國會員代表大會暨學(xué)術(shù)會議論文集[C];2002年

3 朱暢華;裴昌幸;李建東;彭愛華;肖海云;;分布式網(wǎng)絡(luò)測量和分析基礎(chǔ)架構(gòu)研究與實(shí)現(xiàn)[A];2003年中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)年會論文集[C];2003年

4 劉嶠;何興高;秦志光;;基于Mobile Agent的大規(guī)模分布式網(wǎng)絡(luò)安全檢測體系研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

5 王旭仁;劉寶旭;李雪瀅;曹愛娟;許榕生;于通河;;分布式網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)的研究和實(shí)現(xiàn)[A];第十九次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2004年

6 陳寧軍;倪桂強(qiáng);潘志松;姜?jiǎng)潘?;基于中間件的分布式網(wǎng)絡(luò)異常檢測系統(tǒng)[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

7 朱暢華;裴昌幸;李建東;彭愛華;肖海云;;分布式網(wǎng)絡(luò)測量和分析基礎(chǔ)架構(gòu)(DNMAI)研究與實(shí)現(xiàn)[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2003年年會論文集[C];2003年

8 陳海濤;李旭峰;黃遵國;龔正虎;;基于朋友關(guān)系的分布式文件搜索[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2005年

9 趙懷勛;楊華春;;基于Web的分布式網(wǎng)絡(luò)故障監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第一屆全國Web信息系統(tǒng)及其應(yīng)用會議（WISA2004）論文集[C];2004年

10 許德剛;易虹;;CORBA和Mobile Agent在分布式網(wǎng)絡(luò)管理中的應(yīng)用[A];第一屆全國Web信息系統(tǒng)及其應(yīng)用會議（WISA2004）論文集[C];2004年

中國重要報(bào)紙全文數(shù)據(jù)庫 前3條

1 ;前景廣闊的分布式網(wǎng)絡(luò)架構(gòu)[N];中國計(jì)算機(jī)報(bào);2002年

2 ;在單一平臺上可視化管理分布式網(wǎng)絡(luò)[N];網(wǎng)絡(luò)世界;2002年

3 山楓;1萬美元可買千兆墻[N];中國計(jì)算機(jī)報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 吳迪;分布式網(wǎng)絡(luò)中的通信信號檢測與接收技術(shù)研究[D];解放軍信息工程大學(xué);2014年

2 楊靜;高頻分布式網(wǎng)絡(luò)雷達(dá)系統(tǒng)的研究與實(shí)現(xiàn)[D];武漢大學(xué);2010年

3 郭楠;分布式網(wǎng)絡(luò)自管理模型及相關(guān)問題研究[D];東北大學(xué);2005年

4 何明星;面向群的分布式網(wǎng)絡(luò)密鑰管理[D];西南交通大學(xué);2003年

5 馬永剛;圖劃分方法及其在分布式網(wǎng)絡(luò)環(huán)境下的應(yīng)用[D];大連理工大學(xué);2012年

6 白媛;分布式網(wǎng)絡(luò)入侵檢測防御關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李濤;分布式網(wǎng)絡(luò)在鉆機(jī)監(jiān)控系統(tǒng)中的應(yīng)用研究[D];西安石油大學(xué);2015年

2 王超;分布式網(wǎng)絡(luò)安全預(yù)警系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 張艷敏;基于無線Mesh網(wǎng)絡(luò)的分布式網(wǎng)絡(luò)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

4 林贊;分布式網(wǎng)絡(luò)視頻顯示同步時(shí)鐘的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

5 付志鴻;基于Storm云平臺的分布式網(wǎng)絡(luò)爬蟲技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 趙帥帥;分布式網(wǎng)絡(luò)環(huán)境下的流量調(diào)度與控制技術(shù)研究[D];南京郵電大學(xué);2015年

7 劉昊;面向分布式網(wǎng)絡(luò)環(huán)境的服務(wù)器監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2015年

8 王尋;分布式網(wǎng)絡(luò)中壓縮感知的應(yīng)用研究[D];北京郵電大學(xué);2011年

9 鄭漢彬;分布式網(wǎng)絡(luò)實(shí)驗(yàn)平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

10 鞏冰;無線分布式網(wǎng)絡(luò)中的資源優(yōu)化問題研究[D];北京郵電大學(xué);2015年

，

本文編號：723235