發(fā)布時(shí)間：2017-08-31 09:27

  本文關(guān)鍵詞：淺析如何應(yīng)對(duì)網(wǎng)絡(luò)爬蟲流量

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 User-Agent 網(wǎng)絡(luò)策略

【摘要】：網(wǎng)絡(luò)爬蟲是搜索引擎和網(wǎng)站常用的搜索技術(shù),它在為用戶提高高效便利的搜索服務(wù)的同時(shí)也產(chǎn)生了大量的網(wǎng)絡(luò)流量,這些大量的網(wǎng)絡(luò)流量既占用了網(wǎng)絡(luò)資源,又對(duì)網(wǎng)站性能產(chǎn)生了負(fù)面影響。對(duì)于內(nèi)容驅(qū)動(dòng)型網(wǎng)站而言,網(wǎng)絡(luò)爬蟲的造訪是無法避免的,但可以通過分析網(wǎng)絡(luò)爬蟲的特點(diǎn)進(jìn)而采取相應(yīng)的應(yīng)對(duì)措施。
【作者單位】： 張家口學(xué)院網(wǎng)絡(luò)信息中心;張家口學(xué)院理學(xué)系;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲 User-Agent 網(wǎng)絡(luò)策略
【分類號(hào)】：TP391.3;TP393.06
【正文快照】： 1引言隨著科技的發(fā)展,大眾正面臨著一種信息爆炸的局面。在巨量數(shù)據(jù)面前,大眾面臨著一種尷尬局面,那就是互聯(lián)網(wǎng)中有大量的對(duì)自己有用的數(shù)據(jù),但是怎樣能正確和便捷的獲取到這些數(shù)據(jù)存在著困難。搜索引擎的出現(xiàn)很好地解決了這種局面,讓大眾通過搜索引擎搜索自己想要的數(shù)據(jù)。在互

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 戚欣;;基于本體的主題網(wǎng)絡(luò)爬蟲設(shè)計(jì)[J];武漢理工大學(xué)學(xué)報(bào);2009年03期

2 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

3 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2010年03期

4 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

5 楊靖韜;陳會(huì)果;;對(duì)網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];科技創(chuàng)業(yè)月刊;2010年10期

6 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

7 李志義;;網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報(bào);2011年10期

8 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學(xué)院學(xué)報(bào);2011年05期

9 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

10 王娟;吳金鵬;;網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];軟件導(dǎo)刊;2012年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡(luò)爬蟲系統(tǒng)[D];華南理工大學(xué);2015年

2 馬漢超;基于主題網(wǎng)絡(luò)爬蟲的汽車行業(yè)多元信息web系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

3 李威;基于交通流量圖的交通信息提取技術(shù)研究[D];長(zhǎng)安大學(xué);2015年

4 朱嶸良;分布式并行環(huán)境下的網(wǎng)絡(luò)爬蟲研究[D];中央民族大學(xué);2015年

5 周思華;股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

6 丁杰;基于網(wǎng)絡(luò)爬蟲的虛假網(wǎng)頁(yè)主動(dòng)智能檢測(cè)[D];華北電力大學(xué);2015年

7 唐華棟;網(wǎng)頁(yè)防抓取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

8 白劍飛;基于層次主題模型的網(wǎng)絡(luò)新聞匯聚[D];浙江大學(xué);2015年

9 袁野;企業(yè)內(nèi)網(wǎng)搜索引擎關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

10 滕以芳;基于本體的多媒體素材網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2015年

，

本文編號(hào)：764785