當(dāng)前位置：主頁 > 經(jīng)濟(jì)論文 > 建筑經(jīng)濟(jì)論文 >

基于高德地圖的廣東省POI抓取程序設(shè)計(jì)與實(shí)現(xiàn)

發(fā)布時間：2020-09-23 10:37

　　隨著網(wǎng)絡(luò)信息技術(shù)持續(xù)不斷快速地發(fā)展,POI數(shù)據(jù)作為一種非常重要的網(wǎng)絡(luò)數(shù)據(jù)資源越來越被人們所重視,在新世紀(jì)的國土空間規(guī)劃行業(yè)里,更是被規(guī)劃設(shè)計(jì)師們廣泛應(yīng)用。POI數(shù)據(jù)應(yīng)用雖然很方便,但由于POI數(shù)據(jù)的特殊性,其獲取過程卻不容易。如何采用低成本、高效率地獲取POI的方法一直困擾著規(guī)劃師們。本文實(shí)現(xiàn)了快速而自動化地抓取互聯(lián)網(wǎng)地圖的POI數(shù)據(jù),為規(guī)劃師們很好地解決目前所遇到的問題,也為國土空間規(guī)劃編制和研究提供有力的數(shù)據(jù)支持。本文在分析研究了文獻(xiàn)資料及眾多地圖數(shù)據(jù)服務(wù)提供商的POI之后,選擇了高德地圖POI作為研究對象。通過對POI數(shù)據(jù)抓取的關(guān)鍵技術(shù)進(jìn)行研究后,最后開發(fā)了廣東省POI的抓取程序。論文的主要內(nèi)容包括以下幾個方面:(1)分析了當(dāng)前規(guī)劃行業(yè)的數(shù)據(jù)分析的POI使用需求、可行性情況,采用由Python語言編寫廣東省POI自動化抓取程序的方案。(2)根據(jù)研究目標(biāo),進(jìn)行了程序的詳細(xì)設(shè)計(jì)和數(shù)據(jù)庫設(shè)計(jì),并采用Scrapy開源框架,設(shè)計(jì)開發(fā)了基于高德地圖廣東省POI抓取程序,并完成抓取了500多萬的數(shù)據(jù)。(3)在程序設(shè)計(jì)開發(fā)過程中,研究了:(1)廣東省地級市范圍的獲取和應(yīng)用;(2)城市POI多邊形搜索的實(shí)現(xiàn),使用了二分遞歸方法進(jìn)行對城市范圍進(jìn)行分割;(3)網(wǎng)址換頁的方法研究;(4)實(shí)現(xiàn)對高德地圖KEY的變換方法;(5)GCJ-02坐標(biāo)系轉(zhuǎn)換成常用的WGS-84的方法;(6)對最終獲取的廣東省POI數(shù)據(jù)進(jìn)行存儲研究,包括實(shí)現(xiàn)了在Redis數(shù)據(jù)庫和Mongodb數(shù)據(jù)庫的數(shù)據(jù)存儲;(7)對Mongodb數(shù)據(jù)庫中的POI數(shù)據(jù)進(jìn)行去重研究,實(shí)現(xiàn)對已經(jīng)抓取的廣東省POI數(shù)據(jù)進(jìn)行去重處理。(4)通過和第三方軟件對獲取POI的方法和數(shù)據(jù)量進(jìn)行對比,結(jié)果表明,本文的POI抓取程序比第三方軟件能獲取更加完整的POI數(shù)據(jù),本文的研究成果具有較強(qiáng)的應(yīng)用價(jià)值。
【學(xué)位單位】：廣州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP311.1;TU981
【部分圖文】：

分布圖,交通設(shè)施,廣東省,分布圖

廣東省交通設(shè)施分布圖

軟件,數(shù)據(jù),開發(fā)程序,程序員

圖 2-2 利用 bigemap 軟件采集 POI 數(shù)據(jù)寫開發(fā)程序進(jìn)行抓取利用地理信息或地圖服務(wù)提供者提供的數(shù)據(jù) API 接口，程序員可以自己碼進(jìn)行數(shù)據(jù)的獲取，其工作量和所需時間受數(shù)據(jù)量和獲取難度限制，重點(diǎn)

界面圖,開發(fā)程序,界面圖,技術(shù)方法