【摘要】：隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和地理信息技術(shù)的迅猛發(fā)展,地理信息數(shù)據(jù)作為一種重要的基礎(chǔ)信息數(shù)據(jù)資源,使其不僅在城市規(guī)劃、交通導(dǎo)航、災(zāi)害監(jiān)測(cè)、國(guó)防軍事等國(guó)家建設(shè)領(lǐng)域得到了廣泛的運(yùn)用,而且,與人們的日常生活聯(lián)系的也越來(lái)越緊密。特別是Google向公眾推出了基于空間位置服務(wù)(Location Based Services, LBS)用戶體驗(yàn)之后,給人們的工作和生活帶來(lái)了很大的便利。地理信息數(shù)據(jù)在促進(jìn)國(guó)家經(jīng)濟(jì)社會(huì)發(fā)展,給人們?nèi)粘Ｉ詈凸ぷ鲙?lái)很大便利的同時(shí),同樣也有一些亟待解決的問(wèn)題。其中比較突出的是地理信息獲取問(wèn)題,傳統(tǒng)的地理信息獲取主要通過(guò)實(shí)地測(cè)繪和遙感等手段,這些方法都存在著成本高、精度低、無(wú)法實(shí)時(shí)更新等弊端。同時(shí),網(wǎng)絡(luò)地理空間的虛擬性、共享性、無(wú)國(guó)界性等特點(diǎn),特別是現(xiàn)在網(wǎng)絡(luò)中散布著很多地理信息數(shù)據(jù),這都為地理信息獲取提出了一種新的途徑和來(lái)源,研究如何從網(wǎng)絡(luò)中獲取地理信息數(shù)據(jù)具有重要意義。本文主要研究了從網(wǎng)絡(luò)中獲取地理信息數(shù)據(jù)的關(guān)鍵技術(shù)。分別針對(duì)文本、柵格等不同類型的地理信息數(shù)據(jù)提出了不同的獲取方法。對(duì)于文本地理信息數(shù)據(jù)獲取技術(shù),主要通過(guò)網(wǎng)絡(luò)爬蟲(chóng)(Web Crawler)技術(shù)來(lái)獲取,本文重點(diǎn)研究了多種網(wǎng)絡(luò)爬蟲(chóng)算法,將基于內(nèi)容的Shark Search算法和基于鏈接的HITS算法相結(jié)合,提出一種新的網(wǎng)絡(luò)爬蟲(chóng)算法,即SS-HITS算法,該算法不但可以減少基于內(nèi)容算法的局部性問(wèn)題和基于鏈接算法的主題漂移現(xiàn)象,而且提高了網(wǎng)絡(luò)爬蟲(chóng)的頁(yè)面回調(diào)率、查準(zhǔn)率和主題相關(guān)度。對(duì)于柵格地理信息數(shù)據(jù)獲取技術(shù),本文主要通過(guò)分析其投影方式、數(shù)據(jù)組織和管理模型等關(guān)鍵技術(shù),提出了一種柵格地理信息獲取方案,通過(guò)該方案可以獲取全球范圍高精度的柵格地理信息數(shù)據(jù);另外,本文還提出了一種地圖拼接、漫游和縮放算法,該算法不僅可以將獲取到的柵格地理信息數(shù)據(jù)拼接成完整的影像地圖,而且拼接后的地圖還支持地圖漫游和地圖縮放功能。
【圖文】：

據(jù)ＧＩＳ里面的數(shù)據(jù)進(jìn)行數(shù)據(jù)查詢和分析，比如拓?fù)淇臻g查詢、地形分模型等。逡逑息系統(tǒng)具有空間地理信息數(shù)據(jù)查詢和分析的能力，可以根據(jù)用戶需求間拓?fù)潢P(guān)系查詢、建立高程模型等。逡逑開(kāi)發(fā)和編程功能逡逑息系統(tǒng)一般都通過(guò)提供應(yīng)用程序接口（ＡＰＩ）的形式來(lái)為用戶提供二可以通過(guò)這些應(yīng)用程序接口來(lái)調(diào)用地理信息系統(tǒng)的服務(wù)，來(lái)開(kāi)發(fā)其領(lǐng)應(yīng)用程序。逡逑據(jù)組織與結(jié)構(gòu)逡逑理信息數(shù)據(jù)作為地理信息系統(tǒng)的重要組成部分，地理信息系統(tǒng)的重要數(shù)據(jù)的采集、分析、存儲(chǔ)和加工，地理空間數(shù)據(jù)是對(duì)地球表面自然、數(shù)據(jù)的抽象化描述。逡逑

２．２．２網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)逡逑如圖２．５所示，，圖中描繪了通用網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)，通用網(wǎng)絡(luò)爬蟲(chóng)涉及到的數(shù)據(jù)逡逑結(jié)構(gòu)主要包括初始化ＵＲＬ隊(duì)列、待抓�。眨遥剃�(duì)列、解析出來(lái)ＵＲＬ隊(duì)列等，并且，通逡逑用網(wǎng)絡(luò)爬蟲(chóng)的體系結(jié)構(gòu)一般包括以下幾個(gè)模塊：逡逑１）初始化模塊逡逑初始化模塊主要完成對(duì)于給定的初始化ＵＲＬ序列，將初始化ＵＲＬ隊(duì)列中的ＵＲＬ逡逑加入到待抓取ＵＲＬ隊(duì)列中，為進(jìn)一步抓�。祝澹忭�(yè)面做準(zhǔn)備。逡逑２）邐Ｗｅｂ頁(yè)面獲取模塊逡逑Ｗｅｂ頁(yè)面獲取模塊主要完成下載待抓�。眨遥剃�(duì)列中ＵＲＬ對(duì)應(yīng)的Ｗｅｂ頁(yè)面。該模逡逑塊首先按照隊(duì)列先進(jìn)先出的順序從待抓�。眨遥剃�(duì)列中取出ＵＲＬ，并且調(diào)用ＤＮＳ服務(wù)將逡逑ＵＲＬ解析成ＩＰ地址，訪問(wèn)ＩＰ地址對(duì)應(yīng)的服務(wù)器，將ＵＲＬ對(duì)應(yīng)的Ｗｅｂ頁(yè)面下載到本地。逡逑３）邐Ｗｅｂ頁(yè)面解析模塊逡逑Ｗｅｂ頁(yè)面解析模塊主要功能是對(duì)下載到本地的Ｗｅｂ頁(yè)面進(jìn)行解析，解析出Ｗｅｂ頁(yè)逡逑
【學(xué)位授予單位】：哈爾濱工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：P208;TP391.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 俞鍵;俞曉松;江玉成;;配電線路智能巡檢系統(tǒng)web離線地圖的技術(shù)研究[J];通信電源技術(shù);2015年02期

2 閆佳;閆楓;;基于XNA的地理信息系統(tǒng)的研究與實(shí)現(xiàn)[J];測(cè)繪與空間地理信息;2014年11期

3 喻依;甘若迅;樊鎖海;劉慶;邵晴;;基于PageRank算法和HITS算法的期刊評(píng)價(jià)研究[J];計(jì)算機(jī)科學(xué);2014年S1期

4 羅林波;陳綺;吳清秀;;基于Shark-Search和Hits算法的主題爬蟲(chóng)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年11期

5 楊仁廣;宋宇;孟祥增;;一種改進(jìn)Shark-Search的多媒體主題搜索算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年14期

6 范聰賢;徐汀榮;范強(qiáng)賢;;Web結(jié)構(gòu)挖掘中HITS算法改進(jìn)的研究[J];微計(jì)算機(jī)信息;2010年03期

7 王冬;雷景生;;一種基于PageRank的頁(yè)面排序改進(jìn)算法[J];微電子學(xué)與計(jì)算機(jī);2009年04期

8 楊云源;何禮平;;基于Goolge Maps API的WebGIS應(yīng)用研究[J];電腦開(kāi)發(fā)與應(yīng)用;2009年01期

9 宋宇;孟祥增;;基于改進(jìn)Fish-search算法的多媒體檢索[J];計(jì)算機(jī)工程;2008年11期

10 陳軍;陳竹敏;;基于網(wǎng)頁(yè)分塊的Shark-Search算法[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2007年09期

相關(guān)碩士學(xué)位論文 前10條

1 謝月;網(wǎng)頁(yè)排序中PageRank算法和HITS算法的研究[D];電子科技大學(xué);2012年

2 林捷;主題網(wǎng)絡(luò)爬蟲(chóng)的研究和實(shí)現(xiàn)[D];武漢理工大學(xué);2011年

3 陳輝;Web方式下電子海圖的顯示技術(shù)研究與應(yīng)用[D];武漢理工大學(xué);2011年

4 李新鋼;基于GIS的流域整治查詢管理系統(tǒng)的建設(shè)[D];中國(guó)海洋大學(xué);2011年

5 劉馳;基于Google maps的交通信息服務(wù)平臺(tái)研究與設(shè)計(jì)[D];華南理工大學(xué);2010年

6 邵晶晶;基于PageRank排序算法改進(jìn)的若干研究[D];華中師范大學(xué);2009年

7 張阿紅;Web鏈接結(jié)構(gòu)挖掘中HITS算法的分析與改進(jìn)[D];西北師范大學(xué);2009年

8 劉軍;基于Web結(jié)構(gòu)挖掘的HITS算法研究[D];中南大學(xué);2008年

9 朱良峰;主題網(wǎng)絡(luò)爬蟲(chóng)的研究與設(shè)計(jì)[D];南京理工大學(xué);2008年

10 華f;基于GIS的長(zhǎng)沙市景觀格局定量分析與優(yōu)化研究[D];湖南大學(xué);2008年

本文編號(hào)：2531287