本文選題：陷阱技術(shù)　切入點(diǎn)：爬蟲檢測　出處：《計(jì)算機(jī)應(yīng)用》2010年07期

【摘要】：網(wǎng)絡(luò)爬蟲作為一種網(wǎng)絡(luò)資源獲取程序,在被搜索引擎等領(lǐng)域廣泛應(yīng)用的同時(shí),也帶來隱私泄露、版權(quán)糾紛等諸多問題,因此需要檢測和約束Spider的行為�？偨Y(jié)了現(xiàn)有的Spider檢測方法,介紹了陷阱技術(shù)在Spider檢測中的應(yīng)用現(xiàn)狀,提出利用有結(jié)構(gòu)的陷阱技術(shù),構(gòu)建Spider檢測的網(wǎng)站模型和相應(yīng)的檢測算法,并對(duì)該方法的檢測能力進(jìn)行了分析和評(píng)價(jià),最后在通過實(shí)驗(yàn)系統(tǒng)驗(yàn)證陷阱檢測方法與人工分析結(jié)論相一致的基礎(chǔ)上進(jìn)一步分析了該檢測結(jié)果的成因。
[Abstract]:As a kind of network resource acquisition program, the web crawler is widely used by search engines and other fields, but also brings many problems such as privacy disclosure, copyright disputes, etc. Therefore, it is necessary to detect and constrain the behavior of Spider. This paper summarizes the existing methods of Spider detection, introduces the application status of trap technology in Spider detection, and puts forward a website model and corresponding detection algorithm for Spider detection based on structured trap technology. The detection ability of the method is analyzed and evaluated. Finally, the causes of the detection results are further analyzed on the basis of the conclusion that the trap detection method is consistent with the artificial analysis results.
【作者單位】： 沈陽航空工業(yè)學(xué)院計(jì)算機(jī)學(xué)院;
【基金】：遼寧省教育廳基金資助項(xiàng)目(2009B140)
【分類號(hào)】：TP393.08

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

2 曾偉輝;李淼;曾偉輝;;深層網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2008年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

2 汪斌;張?jiān)苽?劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J];安徽農(nóng)業(yè)科學(xué);2009年20期

3 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動(dòng)摘要算法[J];北京交通大學(xué)學(xué)報(bào);2010年05期

4 任斌;毛應(yīng)爽;;基于本體的主動(dòng)學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[J];長春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

5 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

6 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

7 陳麗君;;深層網(wǎng)查詢表單標(biāo)簽識(shí)別技術(shù)研究[J];電腦開發(fā)與應(yīng)用;2010年02期

8 張超;閆宏印;;多線程網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦開發(fā)與應(yīng)用;2012年06期

9 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

10 吳聰聰;趙建立;;基于本體的主題爬蟲的研究[J];電腦知識(shí)與技術(shù);2011年03期

相關(guān)會(huì)議論文 前4條

1 王棟;陳勇;徐建良;;基于預(yù)測的BitTorrent種子評(píng)估方法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

2 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊）[C];2009年

3 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

4 戴玉剛;;藏文網(wǎng)頁采集技術(shù)研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 鄧斌;B2C在線評(píng)論中的客戶知識(shí)管理研究[D];電子科技大學(xué);2010年

3 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險(xiǎn)信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

4 邱峰;遠(yuǎn)程醫(yī)學(xué)教育臨床技能培訓(xùn)模式與平臺(tái)研究[D];華東師范大學(xué);2011年

5 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學(xué);2011年

6 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

7 阮備軍;Web使用挖掘若干關(guān)鍵問題研究[D];復(fù)旦大學(xué);2004年

8 許智超;電子商務(wù)訂單實(shí)時(shí)處理的智能系統(tǒng)研究[D];大連理工大學(xué);2006年

9 董一鴻;動(dòng)態(tài)數(shù)據(jù)庫增量式挖掘算法及其應(yīng)用的研究[D];浙江大學(xué);2007年

10 易明;基于Web挖掘的電子商務(wù)個(gè)性化推薦機(jī)理與方法研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴(kuò)展的垂直搜索研究[D];山東科技大學(xué);2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學(xué);2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 史煒;個(gè)性化搜索引擎的研究與設(shè)計(jì)[D];電子科技大學(xué);2010年

5 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2009年

6 沙有闖;基于Web文本挖掘的網(wǎng)絡(luò)口碑監(jiān)測系統(tǒng)研究[D];安徽大學(xué);2010年

7 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學(xué);2009年

8 張朝威;面向企業(yè)競爭情報(bào)的主題搜索研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

9 單蓉;基于WEB挖掘的E-learning環(huán)境下的個(gè)性化教學(xué)平臺(tái)研究[D];西安電子科技大學(xué);2009年

10 劉永信;主題搜索與Web挖掘的研究及系統(tǒng)實(shí)現(xiàn)[D];西安電子科技大學(xué);2009年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 彭建榮;羅永會(huì);;搜索引擎的基本原理及發(fā)展趨勢[J];電腦知識(shí)與技術(shù);2006年02期

2 宋暉,張嶺,葉允明,馬范援;基于標(biāo)記樹對(duì)象抽取技術(shù)的Hidden Web獲取研究[J];計(jì)算機(jī)工程與應(yīng)用;2002年23期

3 陳珂;陳小英;徐科;;Hidden Web信息獲取[J];計(jì)算機(jī)時(shí)代;2007年05期

4 王映,于滿泉,李盛韜,王斌,余智華;JavaScript引擎在動(dòng)態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2004年02期

5 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

6 孫彬;王東;李娟;;基于XQuery的Deep Web搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];科學(xué)技術(shù)與工程;2007年16期

7 鄭冬冬,趙朋朋,崔志明;Deep Web爬蟲研究與設(shè)計(jì)[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期

8 鄭冬冬;崔志明;;Deep Web爬蟲爬行策略研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年17期

9 嚴(yán)亞蘭;面向動(dòng)態(tài)網(wǎng)頁爬行的Crawler架構(gòu)[J];圖書情報(bào)知識(shí);2003年04期

10 李濤;陳鵬;李哲;;深度Web資源探測系統(tǒng)的研究與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2007年33期

相關(guān)碩士學(xué)位論文 前1條

1 羅兵;支持AJAX的互聯(lián)網(wǎng)搜索引擎爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2007年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張振軍;毛志剛;;基于偽隨機(jī)的微處理器驗(yàn)證方法及改進(jìn)[J];信息技術(shù);2008年10期

2 連蓮;周穎;呂巍;;移動(dòng)通信行業(yè)高價(jià)值客戶識(shí)別指標(biāo)研究[J];移動(dòng)通信;2009年06期

3 萬曉榆;李慧奇;樊自甫;;基于射頻直放站的WCDMA網(wǎng)室內(nèi)覆蓋解決方案[J];郵電設(shè)計(jì)技術(shù);2009年12期

4 底欣;張百海;;一類異類無線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)調(diào)度問題研究[J];儀器儀表學(xué)報(bào);2011年06期

5 夏銘;陳曉光;;河南省DMB-T單頻網(wǎng)信號(hào)覆蓋率的計(jì)算[J];電視技術(shù);2006年06期

6 毛鶯池;龔海剛;劉明;陳道蓄;謝立;;ELIQoS:一種高效節(jié)能、與位置無關(guān)的傳感器網(wǎng)絡(luò)服務(wù)質(zhì)量協(xié)議[J];計(jì)算機(jī)研究與發(fā)展;2006年06期

7 李德仁;寧曉剛;;一種新的基于內(nèi)容遙感圖像檢索的圖像分塊策略[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2006年08期

8 夏銘;顧豐儀;陳曉光;;小功率DVB-T單頻網(wǎng)覆蓋分析[J];電視技術(shù);2006年12期

9 ;2006年全國城市都市報(bào)銷量排行(之一)[J];傳媒;2007年01期

10 孫釗;王勇;;芯片功能驗(yàn)證流的高效生成方法[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年01期

相關(guān)會(huì)議論文 前10條

1 江親瑜;王松年;陳諶聞;;潤滑邊界膜平衡態(tài)覆蓋率計(jì)算模型[A];第三屆全國青年摩擦學(xué)學(xué)術(shù)會(huì)議論文集[C];1995年

2 賈杰;趙林亮;常桂然;;面向異構(gòu)傳感器網(wǎng)絡(luò)的高能效覆蓋控制[A];中國通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（下）[C];2009年

3 鄧忠民;劉敬;趙亦兵;洪友士;;激光毛化技術(shù)對(duì)18-8不銹鋼疲勞性能影響的研究[A];第十二屆全國疲勞與斷裂學(xué)術(shù)會(huì)議論文集[C];2004年

4 景宦;李忠正;王仁榮;吳國泉;王蕊;;原紙表面施膠對(duì)涂布涂層覆蓋率和印刷墨斑的影響[A];中國造紙學(xué)會(huì)第十三屆學(xué)術(shù)年會(huì)論文集（下）[C];2008年

5 倪孟麟;倪澤成;張英林;;LED與其它彩色顯示器色域覆蓋率的比較[A];海峽兩岸第十五屆照明科技與營銷研討會(huì)專題報(bào)告暨論文集[C];2008年

6 宋勝利;李玉濤;徐麗;;公路合理債務(wù)規(guī)模的標(biāo)準(zhǔn)與理論問題[A];中國公路學(xué)會(huì)公路規(guī)劃分會(huì)2003年文集[C];2003年

7 丁克良;童小華;鄭德華;;上海市移動(dòng)終端GPS定位覆蓋率與可靠性分析[A];中國地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

8 鄧忠民;趙亦兵;洪友士;;激光熔凝覆蓋率對(duì)材料接觸疲勞性能影響的模擬[A];疲勞與斷裂2000——第十屆全國疲勞與斷裂學(xué)術(shù)會(huì)議論文集[C];2000年

9 焦勤;袁穎;羅義;王隼;應(yīng)灝;傅一萍;趙艷娜;;性別對(duì)嬰兒髖臼股骨頭覆蓋率影響的研究[A];中華醫(yī)學(xué)會(huì)第八次全國小兒外科學(xué)術(shù)會(huì)論文集[C];2010年

10 王英;呂文正;何擁華;;利用深拖調(diào)查結(jié)果研究多金屬結(jié)核覆蓋率與地形的關(guān)系[A];1999年中國地球物理學(xué)會(huì)年刊——中國地球物理學(xué)會(huì)第十五屆年會(huì)論文集[C];1999年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 孔臻;“十一五”規(guī)劃將給我們帶來什么[N];上饒日報(bào);2006年

2 記者 齊福臣;明年底社區(qū)衛(wèi)生服務(wù)覆蓋率達(dá)到100%[N];唐山勞動(dòng)日報(bào);2007年

3 李茂盛;奈曼森林覆蓋率29.11%居全市第一[N];通遼日報(bào);2009年

4 本報(bào)記者 蔣中意;我市農(nóng)村會(huì)有更多連鎖超市[N];金華日報(bào);2005年

5 本報(bào)記者　　朱夢聰;貴州：“兩基”人口覆蓋率5年提高59%[N];中國教育報(bào);2006年

6 焦新;全國“兩基”人口覆蓋率達(dá)98%[N];中國教育報(bào);2007年

7 本報(bào)記者　 王妮娜;“我們的優(yōu)勢不只在規(guī)�！盵N];中國證券報(bào);2006年

8 通訊員 郎沅龍;南澗著力提高農(nóng)業(yè)綜合生產(chǎn)能力[N];大理日報(bào)(漢);2007年

9 柯金欣;我市冬季農(nóng)業(yè)生產(chǎn)穩(wěn)步推進(jìn)[N];九江日報(bào);2006年

10 記者　 李嵐;中行上市后首份中期業(yè)績報(bào)告表現(xiàn)理想[N];金融時(shí)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 華鋒;破碎波統(tǒng)計(jì)及應(yīng)用研究[D];中國科學(xué)院研究生院（海洋研究所）;2005年

2 張慶茂;送粉激光熔覆應(yīng)用基礎(chǔ)理論的研究[D];中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所;2000年

3 公維賓;無線Ad Hoc網(wǎng)絡(luò)節(jié)點(diǎn)移動(dòng)技術(shù)研究[D];西安電子科技大學(xué);2009年

4 祁力鈞;優(yōu)化液體農(nóng)藥噴施技術(shù)的研究[D];中國農(nóng)業(yè)大學(xué);2000年

5 楊世鐵;先秦漢語常用詞研究[D];安徽大學(xué);2007年

6 章真;胃癌放療中影響靶區(qū)不確定性因素及其對(duì)劑量分布的影響分析[D];復(fù)旦大學(xué);2007年

7 劉漢濤;陰山北麓保護(hù)性耕作地表抗風(fēng)蝕效果的試驗(yàn)研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2006年

8 張碧媛;～（18）F-FDG-PET/CT用于精確確定非小細(xì)胞肺癌放療靶區(qū)的定量條件的研究[D];復(fù)旦大學(xué);2007年

9 曲紅;晉西黃土高原人工林營造對(duì)植物多樣性的影響[D];北京林業(yè)大學(xué);2008年

10 張健;林火視頻監(jiān)測新技術(shù)研究[D];北京林業(yè)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 賈亮;基于覆蓋率驅(qū)動(dòng)的自動(dòng)化驗(yàn)證平臺(tái)實(shí)現(xiàn)[D];西安電子科技大學(xué);2011年

2 趙秀祥;對(duì)稱型與非對(duì)稱型脛骨假體對(duì)脛骨假端覆蓋率的對(duì)照研究[D];天津醫(yī)科大學(xué);2004年

3 陳琦;醫(yī)學(xué)論文中半技術(shù)性詞匯的分析[D];第四軍醫(yī)大學(xué);2004年

4 劉軼歐;嵌入式實(shí)時(shí)系統(tǒng)測試的充分性研究與實(shí)踐[D];電子科技大學(xué);2004年

5 汪雁;發(fā)達(dá)國家職業(yè)年金覆蓋率比較研究[D];中國社會(huì)科學(xué)院研究生院;2003年

6 薛平;基于四舍五入數(shù)據(jù)的參數(shù)估計(jì)[D];東北師范大學(xué);2006年

7 包海濤;共軌跡衛(wèi)星星座的優(yōu)化設(shè)計(jì)及其應(yīng)用[D];華中科技大學(xué);2006年

8 葉磊;“龍騰S2”驗(yàn)證平臺(tái)的設(shè)計(jì)[D];西北工業(yè)大學(xué);2006年

9 張冰潔;智能樓宇模擬量監(jiān)測的無線傳感器網(wǎng)絡(luò)及拓?fù)淇刂芠D];電子科技大學(xué);2007年

10 陳丹;無線傳感器網(wǎng)絡(luò)中節(jié)點(diǎn)調(diào)度算法的研究[D];華中師范大學(xué);2007年

，

本文編號(hào)：1685949