發(fā)布時(shí)間：2017-08-28 22:09

  本文關(guān)鍵詞：一種主動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)地理信息服務(wù)的主題爬蟲

  更多相關(guān)文章： 主題爬蟲 網(wǎng)絡(luò)地理信息服務(wù) 最佳優(yōu)先搜索 能力文檔探測(cè)

【摘要】：地理信息服務(wù)已成為分布式環(huán)境下獲取地理數(shù)據(jù)的重要來源,從海量的網(wǎng)絡(luò)資源中找到地理信息服務(wù),是共享與互操作地理數(shù)據(jù)的基礎(chǔ)。目前,地理信息服務(wù)主動(dòng)搜索主要采用通用搜索引擎的接口或者通用爬蟲的抓取方式,但這2種方式存在搜索效率低、搜索結(jié)果可用性差等不足。針對(duì)這一問題,本文設(shè)計(jì)了一種搜索地理信息服務(wù)的主題爬蟲。該算法在最佳優(yōu)先搜索的基礎(chǔ)上進(jìn)行了改進(jìn),綜合考慮網(wǎng)頁內(nèi)容的主題相關(guān)度和鏈接文本的主題相關(guān)度確定鏈接優(yōu)先級(jí),優(yōu)先爬取與地理信息服務(wù)相關(guān)的鏈接,并通過舍棄無關(guān)網(wǎng)頁中的無關(guān)鏈接,減少無效爬取,進(jìn)而提高搜索效率。此外,本文采用關(guān)鍵詞匹配結(jié)合能力文檔探測(cè)的方式識(shí)別地理信息服務(wù),有效篩選出可用的地理信息服務(wù),提高了服務(wù)搜索結(jié)果的可利用率。最后,本文以O(shè)GC WMS為實(shí)例,實(shí)現(xiàn)爬蟲算法的原型系統(tǒng)并進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)證明該算法有效可行。
【作者單位】： 武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室;武漢大學(xué)遙感信息工程學(xué)院;湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院;
【關(guān)鍵詞】： 主題爬蟲 網(wǎng)絡(luò)地理信息服務(wù) 最佳優(yōu)先搜索 能力文檔探測(cè)
【基金】：國(guó)家自然科學(xué)基金面上項(xiàng)目(41371372) 武漢大學(xué)遙感信息工程學(xué)院探索性研發(fā)基金“基于時(shí)空計(jì)算特征挖掘的空間信息云計(jì)算優(yōu)化方法研究”
【分類號(hào)】：P208
【正文快照】： 1引言在開放地理空間聯(lián)盟OGC(Open GeospatialConsortium)和國(guó)際標(biāo)準(zhǔn)化組織ISO/TC211的積極推動(dòng)下,網(wǎng)絡(luò)地理信息服務(wù)規(guī)范逐漸成熟和普及[1],越來越多的符合規(guī)范的地理信息服務(wù)被發(fā)布到互聯(lián)網(wǎng)上。由于地理信息服務(wù)以在線方式提供類型豐富、時(shí)效性高的地理數(shù)據(jù),它已成為公眾免費(fèi)

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前3條

1 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

2 王曙;吉雷靜;張雪英;趙仁亮;陳曉丹;余浩;;面向網(wǎng)頁文本的地理要素變化檢測(cè)[J];地球信息科學(xué)學(xué)報(bào);2013年05期

3 王偉軍;王金鵬;;科學(xué)知識(shí)圖譜在技術(shù)預(yù)見中的應(yīng)用探析[J];情報(bào)科學(xué);2010年08期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻(xiàn)信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

2 赫楓齡,左萬利;利用超鏈接信息改進(jìn)網(wǎng)頁爬行器的搜索策略[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2005年01期

3 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

4 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年18期

5 唐波;;網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2009年11期

6 李園偉;;面向高校主題搜索引擎的的爬行器設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2011年16期

7 周民;邱雅;王華彬;;網(wǎng)絡(luò)輿情分析中智能爬蟲的設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2011年33期

8 張春菊;張雪英;朱少楠;徐希濤;;基于網(wǎng)絡(luò)爬蟲的地名數(shù)據(jù)庫維護(hù)方法[J];地球信息科學(xué)學(xué)報(bào);2011年04期

9 王巖;;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展[J];電信快報(bào);2008年10期

10 許金玲;陳旭翔;趙少娟;丁必蛟;;基于信令分析的客戶網(wǎng)絡(luò)標(biāo)簽體系搭建[J];電信快報(bào);2012年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險(xiǎn)信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

2 張長(zhǎng)利;面向特定領(lǐng)域的互聯(lián)網(wǎng)輿情分析技術(shù)研究[D];吉林大學(xué);2011年

3 王修君;高效數(shù)據(jù)流和海量文本處理算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

4 吳超;信息檢索中top-k問題的并行算法及優(yōu)化研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

5 李常寶;基于索引的web服務(wù)發(fā)現(xiàn)研究[D];北京郵電大學(xué);2011年

6 田俊華;基于本體知識(shí)庫的教學(xué)資源自動(dòng)采集技術(shù)研究[D];南京師范大學(xué);2011年

7 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測(cè)技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

8 許笑;分布式Web信息采集關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

9 寇月;Deep Web實(shí)體搜索的關(guān)鍵技術(shù)研究[D];東北大學(xué);2009年

10 賈自艷;Web信息智能獲取若干關(guān)鍵問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2004年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 陳軍;趙仁亮;王東華;;基礎(chǔ)地理信息動(dòng)態(tài)更新技術(shù)體系初探[J];地理信息世界;2007年05期

2 陳軍;丁明柱;蔣捷;周旭;翟勇;朱武;;從離線數(shù)據(jù)提供到在線地理信息服務(wù)[J];地理信息世界;2009年02期

3 王迪偉;;基于PDA的1∶10000比例尺地形圖野外調(diào)繪[J];測(cè)繪通報(bào);2010年07期

4 陳軍;王東華;商瑤玲;廖安平;趙仁亮;劉建軍;朱武;李力勐;;國(guó)家1∶50000數(shù)據(jù)庫更新工程總體設(shè)計(jì)研究與技術(shù)創(chuàng)新[J];測(cè)繪學(xué)報(bào);2010年01期

5 李麗雙;黨延忠;廖文平;黃德根;張穎;;CRF與規(guī)則相結(jié)合的中文地名識(shí)別[J];大連理工大學(xué)學(xué)報(bào);2012年02期

6 譚駿珊;陳可欽;;聚焦爬行中網(wǎng)頁爬行算法的改進(jìn)[J];電腦知識(shí)與技術(shù);2008年35期

7 錢育華;數(shù)字城鎮(zhèn)的數(shù)據(jù)更新[J];地球信息科學(xué);2002年03期

8 張雪英;閭國(guó)年;;自然語言空間關(guān)系及其在GIS中的應(yīng)用研究[J];地球信息科學(xué);2007年06期

9 張雪英;閭國(guó)年;李伯秋;陳文君;;基于規(guī)則的中文地址要素解析方法[J];地球信息科學(xué)學(xué)報(bào);2010年01期

10 周立;鄧云青;;城市地理信息系統(tǒng)數(shù)據(jù)更新方式研究[J];地理空間信息;2008年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

2 樂小虬;非結(jié)構(gòu)化網(wǎng)絡(luò)空間信息智能搜索與服務(wù)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

3 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 王剛;邊馥苓;;基于語義Web的地理信息服務(wù)自動(dòng)發(fā)現(xiàn)與組合研究[J];科技資訊;2008年06期

2 陳蘭芹;;網(wǎng)絡(luò)直通車——為奧運(yùn)提供網(wǎng)絡(luò)地理信息服務(wù)[J];中國(guó)測(cè)繪;2008年04期

3 唐冬梅;葉修松;;地理信息服務(wù)的思索與探討[J];測(cè)繪與空間地理信息;2008年04期

4 張立朝;潘貞;王青山;鄭海鷹;;本體驅(qū)動(dòng)的地理信息服務(wù)發(fā)現(xiàn)模型研究[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2009年06期

5 王珂珂;張立朝;潘貞;王青山;鄭海鷹;;業(yè)務(wù)驅(qū)動(dòng)的地理信息服務(wù)粒度劃分[J];北京測(cè)繪;2010年01期

6 喬朝飛;;客戶關(guān)系管理在基礎(chǔ)地理信息服務(wù)中的應(yīng)用初探[J];測(cè)繪通報(bào);2010年06期

7 曹曉明;;基于客戶需求導(dǎo)向的基礎(chǔ)地理信息服務(wù)[J];邢臺(tái)職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年02期

8 劉建川;甘泉;;地理信息服務(wù)安全訪問設(shè)計(jì)與實(shí)現(xiàn)[J];測(cè)繪;2011年03期

9 歐其健;徐永書;夏定輝;;地理信息服務(wù)的思考與探究[J];地理空間信息;2011年03期

10 田麗亞;林鴻弟;郭固良;王文杰;滕立生;;湛江市地理信息服務(wù)平臺(tái)的開發(fā)建設(shè)[J];黑龍江科技信息;2012年14期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 王海龍;蘇旭明;翁慧慧;;地理信息服務(wù)的思考與探索[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

2 王少一;蘇繡;蔣許鋒;;基于上下文感知的地理信息服務(wù)發(fā)現(xiàn)與匹配技術(shù)研究[A];第十三屆中國(guó)科協(xié)年會(huì)第12分會(huì)場(chǎng)-測(cè)繪服務(wù)災(zāi)害與應(yīng)急管理學(xué)術(shù)研討會(huì)論文集[C];2011年

3 任福;杜清運(yùn);蔡忠亮;;移動(dòng)計(jì)算在地理信息服務(wù)中的應(yīng)用研究[A];認(rèn)識(shí)地理過程 關(guān)注人類家園——中國(guó)地理學(xué)會(huì)2003年學(xué)術(shù)年會(huì)文集[C];2003年

4 鄒俊平;陳曉嵐;王金誠(chéng);;地理信息服務(wù)共享平臺(tái)在大規(guī)模水準(zhǔn)網(wǎng)設(shè)計(jì)中的應(yīng)用[A];第十三屆華東六省一市測(cè)繪學(xué)會(huì)學(xué)術(shù)交流會(huì)論文集[C];2011年

5 李飛雪;李滿春;梁健;;網(wǎng)絡(luò)地理信息服務(wù)構(gòu)建研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

6 馬潤(rùn)賡;劉少峰;;基于網(wǎng)絡(luò)的戰(zhàn)場(chǎng)基礎(chǔ)地理信息服務(wù)系統(tǒng)的內(nèi)容和關(guān)鍵技術(shù)[A];中國(guó)測(cè)繪學(xué)會(huì)九屆三次理事會(huì)暨2007年“信息化測(cè)繪論壇”學(xué)術(shù)年會(huì)論文集[C];2007年

7 周旭;劉若梅;;新時(shí)期基礎(chǔ)地理信息服務(wù)的特點(diǎn)與對(duì)策[A];中國(guó)測(cè)繪學(xué)會(huì)九屆三次理事會(huì)暨2007年“信息化測(cè)繪論壇”學(xué)術(shù)年會(huì)論文集[C];2007年

8 程鋼;杜清運(yùn);蔡忠亮;;基于本體的地理信息服務(wù)查詢組件設(shè)計(jì)[A];節(jié)能環(huán)保 和諧發(fā)展——2007中國(guó)科協(xié)年會(huì)論文集（二）[C];2007年

9 鄭茂輝;駱華仁;華民強(qiáng);劉鵬;郭月容;;基于GIS的防空防災(zāi)綜合信息服務(wù)平臺(tái)設(shè)計(jì)[A];上海防災(zāi)救災(zāi)研究所20周年慶典會(huì)議研究短文集[C];2009年

10 馬衛(wèi)春;楊友長(zhǎng);;“天地圖·安徽”的建設(shè)與應(yīng)用[A];第十四屆華東六省一市測(cè)繪學(xué)會(huì)學(xué)術(shù)交流會(huì)論文集[C];2012年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 彭博;“中國(guó)社科綜合地理信息服務(wù)平臺(tái)”通過驗(yàn)收[N];中國(guó)社會(huì)科學(xué)院報(bào);2009年

2 陳軍　蔣捷 周旭 翟勇 朱武;在線地理信息服務(wù)的技術(shù)需求與發(fā)展方向[N];中國(guó)測(cè)繪報(bào);2009年

3 記者 王少勇;加快建設(shè)地理信息服務(wù)平臺(tái)[N];中國(guó)國(guó)土資源報(bào);2011年

4 記者 付曉峰;具備條件數(shù)據(jù)必須納入基礎(chǔ)地理信息服務(wù)平臺(tái)[N];濟(jì)南日?qǐng)?bào);2011年

5 王芳　張旭;四川省應(yīng)急地理信息服務(wù)平臺(tái)通過驗(yàn)收[N];中國(guó)測(cè)繪報(bào);2011年

6 盧洪巖;首個(gè)英文版城市地理信息服務(wù)平臺(tái)開通[N];中國(guó)測(cè)繪報(bào);2011年

7 中國(guó)地理信息系統(tǒng)協(xié)會(huì)會(huì)長(zhǎng) 陳軍;在線地理信息服務(wù)的技術(shù)需求與發(fā)展方向[N];中國(guó)測(cè)繪報(bào);2009年

8 閆正龍 吳賢宇 胡婷然;陜西江西公眾版地理信息服務(wù)平臺(tái)上網(wǎng)運(yùn)行[N];中國(guó)測(cè)繪報(bào);2010年

9 張海鵬;重慶成立應(yīng)急救援地理信息服務(wù)隊(duì)[N];中國(guó)測(cè)繪報(bào);2010年

10 本報(bào)評(píng)論員;做大做強(qiáng)“天地圖”[N];中國(guó)測(cè)繪報(bào);2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 吳功和;分布式地理信息服務(wù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2006年

2 劉勇;基于語義的地理信息服務(wù)集成研究[D];山東科技大學(xué);2011年

3 葛文;地理信息服務(wù)發(fā)現(xiàn)方法研究[D];解放軍信息工程大學(xué);2012年

4 李科;網(wǎng)格環(huán)境下地理信息服務(wù)關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2008年

5 王玉海;地理信息服務(wù)中數(shù)據(jù)傳輸?shù)牟呗匝芯縖D];解放軍信息工程大學(xué);2008年

6 寧安良;面向3G終端的移動(dòng)地理信息服務(wù)研究[D];中國(guó)海洋大學(xué);2010年

7 楊建宇;基于組件的分布式地理信息服務(wù)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2005年

8 李世祥;基于語義的地理信息服務(wù)發(fā)現(xiàn)與組合的關(guān)鍵技術(shù)研究[D];武漢大學(xué);2010年

9 張霞;地理信息服務(wù)組合與空間分析服務(wù)研究[D];武漢大學(xué);2004年

10 承達(dá)瑜;空間型熱點(diǎn)會(huì)商系統(tǒng)的動(dòng)態(tài)服務(wù)計(jì)算研究[D];中國(guó)礦業(yè)大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐坤;基于空間數(shù)據(jù)框架的地理信息服務(wù)可持續(xù)研究[D];長(zhǎng)安大學(xué);2007年

2 劉興萬;基于補(bǔ)償服務(wù)鏈的地理信息服務(wù)聚合技術(shù)研究[D];中國(guó)測(cè)繪科學(xué)研究院;2010年

3 董雄;地理信息服務(wù)聚合技術(shù)研究[D];電子科技大學(xué);2013年

4 紀(jì)敏;基于精細(xì)化管理的測(cè)繪地理信息服務(wù)研究[D];西北農(nóng)林科技大學(xué);2014年

5 陳國(guó)華;現(xiàn)代地理信息服務(wù)框架體系研究[D];長(zhǎng)安大學(xué);2007年

6 周娜;電子政務(wù)地理信息服務(wù)應(yīng)用模型管理研究[D];中國(guó)測(cè)繪科學(xué)研究院;2009年

7 張斌;地理信息服務(wù)中空間數(shù)據(jù)調(diào)度策略研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2008年

8 焦明;基于地理信息服務(wù)的數(shù)字校園系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];蘭州大學(xué);2008年

9 韓敏;基于天地圖的三維公眾服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安科技大學(xué);2013年

10 朱建偉;位置信息服務(wù)系統(tǒng)中定位服務(wù)平臺(tái)相關(guān)技術(shù)的研究[D];武漢大學(xué);2005年

，

本文編號(hào)：749734