本文選題：搜索引擎 + 網(wǎng)絡(luò)爬蟲(chóng)　； 參考：《網(wǎng)絡(luò)與信息安全學(xué)報(bào)》2016年08期

【摘要】：網(wǎng)絡(luò)爬蟲(chóng)是搜索引擎的重要組成部分,其性能直接影響搜索引擎的準(zhǔn)確性和及時(shí)性。Larbin是一個(gè)高效、簡(jiǎn)單、功能比較完善的開(kāi)源爬蟲(chóng)框架,基于此,介紹了幾種典型的開(kāi)源爬蟲(chóng)框架,并對(duì)其進(jìn)行多維度比較;對(duì)Larbin體系結(jié)構(gòu)進(jìn)行詳細(xì)的介紹;然后指出Larbin在程序結(jié)構(gòu)和流程方面存在的不足,提出對(duì)應(yīng)的優(yōu)化方案;測(cè)試結(jié)果表明,改進(jìn)后的方案在速度和性能方面都有所提高。
[Abstract]:The web crawler is an important part of the search engine. Its performance directly affects the accuracy and timeliness of the search engine..Larbin is an efficient, simple and functional open source crawler framework. Based on this, several typical open source crawler frameworks are introduced, and their multi-dimensional comparison is carried out. The Larbin architecture is described in detail. Then it points out the shortcomings of Larbin in the structure and process of the program, and puts forward the corresponding optimization scheme; the test results show that the improved scheme is improved in speed and performance.
【作者單位】： 北京電子科技學(xué)院信息安全系;西安電子科技大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家重點(diǎn)研發(fā)計(jì)劃基金資助項(xiàng)目(No.2016YFB0800304) 北京市自然科學(xué)基金資助項(xiàng)目(No.4152048) 江蘇省自然科學(xué)基金資助項(xiàng)目(No.BK20150787) 北京電子科技學(xué)院2016年春蕾計(jì)劃基金資助項(xiàng)目(No.2016CL04)~~
【分類(lèi)號(hào)】：TP393.092;TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲(chóng)[J];硅谷;2009年04期

2 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2010年03期

3 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

4 李志義;;網(wǎng)絡(luò)爬蟲(chóng)的優(yōu)化策略探略[J];現(xiàn)代情報(bào);2011年10期

5 焦賽美;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J];瓊州學(xué)院學(xué)報(bào);2011年05期

6 宋海洋;劉曉然;錢(qián)�？�;;一種新的主題網(wǎng)絡(luò)爬蟲(chóng)爬行策略[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

7 王娟;吳金鵬;;網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];軟件導(dǎo)刊;2012年04期

8 金魯峰;邰劍秋;張旭;;基于關(guān)鍵詞過(guò)濾與結(jié)構(gòu)化輸出的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)[J];中國(guó)傳媒科技;2012年07期

9 郭濤;黃銘鈞;;社區(qū)網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];智能計(jì)算機(jī)與應(yīng)用;2012年04期

10 吳菊英;賈炅昊;馮秀芳;;基于農(nóng)業(yè)領(lǐng)域的網(wǎng)絡(luò)爬蟲(chóng)[J];電腦開(kāi)發(fā)與應(yīng)用;2012年08期

相關(guān)會(huì)議論文 前4條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲(chóng)的研究[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)碩士學(xué)位論文 前10條

1 陶俊文;基于Heritrix框架的專(zhuān)業(yè)鎮(zhèn)信息網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)[D];華南理工大學(xué);2015年

2 馬漢超;基于主題網(wǎng)絡(luò)爬蟲(chóng)的汽車(chē)行業(yè)多元信息web系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

3 黃永軍;面向垂直搜索的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

4 羅路天;垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲(chóng)算法的設(shè)計(jì)與研究[D];廣東工業(yè)大學(xué);2016年

5 胡博;基于網(wǎng)絡(luò)爬蟲(chóng)的內(nèi)容資源評(píng)價(jià)研究[D];北京理工大學(xué);2015年

6 金梅;網(wǎng)絡(luò)爬蟲(chóng)性能提升與功能拓展的研究與實(shí)現(xiàn)[D];吉林大學(xué);2012年

7 芮虎;比價(jià)購(gòu)物平臺(tái)中網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2013年

8 楊東權(quán);面向人臉檢測(cè)的主題網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)[D];重慶大學(xué);2015年

9 龔秋艷;并行網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

10 么士宇;基于分布式計(jì)算的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[D];大連海事大學(xué);2011年

，

本文編號(hào)：2015597