【摘要】：針對用戶在進行農(nóng)業(yè)信息主題或相關領域的網(wǎng)絡查詢時,通用搜索引擎返回的信息過多且主題相關性不強等不足,提出了一種面向農(nóng)業(yè)信息的主題爬蟲的設計方案,詳細討論了該主題爬蟲的爬行策略、結構設計、原理及實現(xiàn)。初步試驗結果表明,基于該設計方案的主題爬蟲在抓取農(nóng)業(yè)信息主題網(wǎng)頁時的準確率、全面率及成功率明顯優(yōu)于普通爬蟲。
[Abstract]:In order to solve the problem that the general search engine returns too much information and the theme correlation is not strong when users are querying the agricultural information subject or related fields, a design scheme of the subject crawler for agricultural information is proposed in this paper. The crawling strategy, structure design, principle and implementation of this topic are discussed in detail. The preliminary experimental results show that the accuracy, total rate and success rate of the theme crawler based on the design scheme are obviously better than that of the common crawler when grabbing the agricultural information theme web page.
【作者單位】： 昆明理工大學現(xiàn)代農(nóng)業(yè)工程學院;
【分類號】：TP391.3

【參考文獻】

相關期刊論文 前4條

1 常為領;孫瑞志;高萬林;;基于ROBOT的農(nóng)業(yè)信息搜索引擎設計[J];農(nóng)業(yè)網(wǎng)絡信息;2006年08期

2 周立柱,林玲;聚焦爬蟲技術研究綜述[J];計算機應用;2005年09期

3 龍宇巍,王永成,許歡慶;定題搜索引擎Robot的設計與算法[J];計算機仿真;2004年04期

4 宋聚平,王永成,滕偉,許歡慶;搜索引擎中Robot搜索算法的優(yōu)化[J];情報學報;2002年02期

【共引文獻】

相關期刊論文 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應用[J];安徽農(nóng)業(yè)科學;2007年22期

2 廉捷;劉云;;網(wǎng)絡輿情中的信息預處理與自動摘要算法[J];北京交通大學學報;2010年05期

3 任斌;毛應爽;;基于本體的主動學習主題爬行的研究與實現(xiàn)[J];長春工程學院學報(自然科學版);2011年01期

4 查志琴;;基于行模式的網(wǎng)頁信息提取算法[J];常州工學院學報;2007年04期

5 高波;;一種面向主題的搜索引擎的實現(xiàn)[J];常州工學院學報;2008年02期

6 張戩慧;;專業(yè)智能搜索系統(tǒng)在動物醫(yī)學領域中的應用[J];東北農(nóng)業(yè)大學學報;2009年09期

7 劉德仿;王斌;;面向教學領域的智能搜索引擎的研究與開發(fā)[J];電化教育研究;2007年05期

8 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應用[J];電腦知識與技術(學術交流);2007年02期

9 吳聰聰;趙建立;;基于本體的主題爬蟲的研究[J];電腦知識與技術;2011年03期

10 蒯曉童,王銀娣;搜索引擎Robot技術的優(yōu)化算法研究[J];地理空間信息;2004年04期

相關會議論文 前6條

1 楊衛(wèi)明;;獨立式搜索引擎原理及存在問題分析[A];2008年計算機應用技術交流會論文集[C];2008年

2 王棟;陳勇;徐建良;;基于預測的BitTorrent種子評估方法[A];2008'中國信息技術與應用學術論壇論文集（二）[C];2008年

3 戴玉剛;;藏文網(wǎng)頁采集技術研究[A];民族語言文字信息技術研究——第十一屆全國民族語言文字信息學術研討會論文集[C];2007年

4 丁軍平;蔡皖東;;基于SVM主動學習算法的元信息獲取研究[A];Proceedings of 2010 International Conference on Circuit and Signal Processing & 2010 Second IITA International Joint Conference on Artificial Intelligence(Volume 2)[C];2010年

5 ;The Model and Optimization of Search Engine Based on Hadoop[A];Proceedings of 2010 International Conference on Services Science, Management and Engineering(Volume 1)[C];2010年

6 劉兵;胡學鋼;;基于多鏈接分析的主題爬蟲設計實現(xiàn)[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

相關博士學位論文 前8條

1 吳羽;面向時間敏感對象的垂直搜索引擎關鍵技術研究[D];浙江大學;2011年

2 張宏斌;信息獲取中的兩類不確定問題研究[D];華中科技大學;2004年

3 杜亞軍;搜索引擎智能行為的研究及實現(xiàn)[D];西南交通大學;2005年

4 陳竹敏;面向垂直搜索引擎的主題爬行技術研究[D];山東大學;2008年

5 王英;Deep Web數(shù)據(jù)集成關鍵技術研究[D];吉林大學;2010年

6 鄧斌;B2C在線評論中的客戶知識管理研究[D];電子科技大學;2010年

7 張翔;文本挖掘技術研究及其在綜合風險信息網(wǎng)絡中的應用[D];西北大學;2011年

8 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學;2011年

相關碩士學位論文 前10條

1 呂芳芳;基于查詢擴展的垂直搜索研究[D];山東科技大學;2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學;2010年

3 蔡宇虹;基于主題的元搜索引擎關鍵技術研究[D];哈爾濱工程大學;2010年

4 史煒;個性化搜索引擎的研究與設計[D];電子科技大學;2010年

5 丁寶瓊;網(wǎng)絡文本信息采集分析關鍵技術研究與實現(xiàn)[D];解放軍信息工程大學;2009年

6 沙有闖;基于Web文本挖掘的網(wǎng)絡口碑監(jiān)測系統(tǒng)研究[D];安徽大學;2010年

7 魏一帆;分布式信息采集系統(tǒng)Web劃分技術研究[D];哈爾濱工業(yè)大學;2010年

8 郝陽;基于語義分析的產(chǎn)品評論挖掘技術研究[D];天津大學;2010年

9 常曉燕;基于Java的新聞搜索引擎的設計與實現(xiàn)[D];西南交通大學;2004年

10 區(qū)玉明;客戶保持中兩個問題的研究：對網(wǎng)站感興趣用戶的識別和網(wǎng)站質(zhì)量評價[D];廣西師范大學;2004年

【二級參考文獻】

相關期刊論文 前1條

1 王桂云;基于Robot搜索引擎的自動檢索技術[J];中國信息導報;2003年01期

【相似文獻】

相關期刊論文 前10條

1 董志昕;淺談農(nóng)業(yè)信息搜索引擎的設計制作[J];計算機與農(nóng)業(yè);2002年08期

2 夏崇鐠;康麗;;基于敘詞表的主題爬蟲技術研究[J];現(xiàn)代圖書情報技術;2007年05期

3 陳晨;;基于主題爬蟲的個性化搜索引擎技術研究[J];黑龍江科技信息;2010年31期

4 趙思佳;尹婷;;基于規(guī)則引擎的個性化主題網(wǎng)頁爬蟲的研究[J];計算機技術與發(fā)展;2011年03期

5 秦學勇;;基于互聯(lián)網(wǎng)資源的學科Ontology構建研究[J];廊坊師范學院學報(自然科學版);2011年02期

6 高靈霞;;基于主題爬蟲的個性化搜索引擎技術分析[J];電腦知識與技術;2009年32期

7 何毅;;建筑院校主題搜索引擎設計與實現(xiàn)[J];吉林建筑工程學院學報;2010年05期

8 劉國靖;康麗;羅長壽;;基于遺傳算法的主題爬蟲策略[J];計算機應用;2007年S2期

9 任輝;;基于關鍵詞的生物主題爬蟲設計[J];圖書情報工作;2009年09期

10 池勇敏;郝泳濤;;分布式主題爬蟲的設計與實現(xiàn)[J];計算機應用與軟件;2010年12期

相關會議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學術交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設聯(lián)合學術研討會論文集[C];2010年

5 湯薇;曾艷;;構建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學會2008年年會論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術的搜索引擎[A];2005年全國開放式分布與并行計算學術會議論文集[C];2005年

7 倪俊峰;;基于黃頁搜索引擎的關鍵字排名廣告系統(tǒng)的設計與實現(xiàn)[A];2005年中國索引學會年會暨學術研討會論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務中的應用研究[A];2010年中國索引學會年會暨學術研討會論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術[A];第二屆和諧人機環(huán)境聯(lián)合學術會議(HHME2006)——第2屆中國普適計算學術會議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡搜索技術下的編輯工作[A];學報編輯論叢（第十一集）[C];2003年

相關重要報紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財經(jīng)時報;2007年

2 周文林;搜狗3.0能否撼動搜索市場[N];經(jīng)濟參考報;2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務咨詢中心 常燕杰;搜索，，還是門戶[N];中國計算機報;2005年

5 陳珊;浙江移動推出手機搜索引擎服務[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點[N];中國經(jīng)營報;2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;搜索引擎駛入“避風港”[N];中國證券報;2006年

9 孫t;搜索引擎驚喜侵權官司止于“避風港”？[N];第一財經(jīng)日報;2006年

10 姜蕊;問天下誰識搜索？[N];中國高新技術產(chǎn)業(yè)導報;2006年

相關博士學位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

3 蘇君華;面向搜索引擎的技術接受模型研究[D];南京大學;2011年

4 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

5 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學;2012年

6 王昤璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學信息檢索可用性評估研究[D];吉林大學;2010年

7 李莎莎;面向搜索引擎的自然語言處理關鍵技術研究[D];國防科學技術大學;2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學院研究生院（遙感應用研究所）;2003年

9 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學;2010年

10 黃河;農(nóng)業(yè)復雜自適應搜索模型研究及實現(xiàn)[D];中國科學技術大學;2010年

相關碩士學位論文 前10條

1 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學;2011年

2 溫泉;基于聚焦相關度排序的搜索引擎研究與應用[D];東華大學;2010年

3 薛云;Internet上元搜索引擎的研究與設計[D];太原理工大學;2003年

4 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結果排序策略的研究[D];西北農(nóng)林科技大學;2010年

5 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學;2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學;2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學;2010年

8 尉建興;基于Lucene搜索引擎的研究與應用[D];太原理工大學;2011年

9 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學院;2003年

10 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學;2004年

本文編號：2248586