天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當前位置:主頁 > 科技論文 > 測繪論文 >

基于Hadoop的瓦片數據管理研究

發(fā)布時間:2020-04-30 06:45
【摘要】:在最近的幾十年里,GIS(地理信息系統(tǒng))技術取得了巨大的進步,應用也日趨廣泛和深化。作為GIS數據中的一種重要數據格式,地圖瓦片文件的存儲與管理也愈發(fā)得到人們的關注。早期的GIS運行在單機系統(tǒng)上,主要以文件方式來管理瓦片文件,隨著計算機技術和Internet的發(fā)展,瓦片文件的管理逐漸走向網絡化以及分布式。瓦片地圖技術采用了“以空間換取時間”的策略,從而提供快速的地圖服務,給用戶帶來了更好的體驗。這種策略帶來了磁盤空間浪費、瓦片文件安全性和共享性差等問題。因此針對瓦片文件數據量大,文件小,結構嚴格等特點,結合Hadoop分布式框架的特性,本文研究并設計了一套基于Hadoop的瓦片文件管理方案。從瓦片文件的組織方式和存儲方式對瓦片文件的管理進行研究,在對比分析了目前主流的幾種瓦片文件管理方法后,從以下幾個方面開展工作:在對瓦片文件結構分析的基礎上,設計并實現(xiàn)一套瓦片緊湊方法,將原有的松散瓦片文件轉化為緊湊瓦片文件;建立瓦片文件的兩級索引機制,為第三方GIS平臺或用戶訪問瓦片文件提供接口;實現(xiàn)瓦片文件在Hadoop中的分布式管理,解決瓦片文件存儲中磁盤空間浪費以及安全性和共享性等問題;建立兩級瓦片文件訪問機制,提供瓦片文件的多并發(fā)訪問,保證多用戶多并發(fā)情況下的數據訪問穩(wěn)定。本文探索性地將Hadoop技術引入GIS系統(tǒng),通過基于Hadoop的云技術和架構提升電子地圖瓦片的存儲效率、傳輸效率,設計并實現(xiàn)一種具有創(chuàng)新性的瓦片文件的緊湊型組織方式,并在此基礎上發(fā)布電子地圖瓦片,對外提供基礎性云GIS服務,所研發(fā)的基于Hadoop架構的GIS云計算與云存儲系統(tǒng)具有良好的實用性。
【圖文】:

模式圖,模式圖,政府單位,互聯(lián)網企業(yè)


圖 1. 1 云計算的基本應用模式圖Fig 1.1 The basic application pattern of cloud computing、歐盟、韓國以及日本等發(fā)達國家都在大力推動云計臺了《聯(lián)邦云計算戰(zhàn)略》,旨在鼓勵技術創(chuàng)新,推動這一措施的推行讓云計算服務在美國政府單位的各部。與此同時,美國的各個大中型的互聯(lián)網企業(yè),例如 IBM 等國際龍頭公司也在實行自己的云計算計劃,并與產品。亞馬遜網絡服務推出了 DaaS 產品 WorkSpa的 Cloud OS 云操作系統(tǒng),同年十一月,云計算及跨hnologies 推出針對 System z 的 CA 云存儲技術,該技上處理的數據轉移到云環(huán)境中,并進行備份,,從而降在云計算方面也是走到世界的前列,早在 2012 年 5 月了《通信業(yè)“十二五”發(fā)展規(guī)劃》,明確表示將云計算進行建設,推動云服務在各行各業(yè)中的應用。目前我

架構圖,架構


SMS 和文本消息。Social Inboxl 是用來替代上一代決實時的信息服務。Facebook 每個月需要存儲 10短期小批量的臨時數據以及長期增長但是很少被訪擇 Hadoop 以及 HBase 主要基于以下特點:的一致性模型比 Cassandra 更簡單;列的 key-value 存儲系統(tǒng),擅長用 key 來掃描并獲模式,有更好的性能和擴展性;層數據存儲使用的是 HDFS,能夠提供自動負載平六大存儲架構直使用 MySQL 作為存儲架構的核心,但是隨著數來越繁雜,基于 NoSQL 和分布式的云計算平臺更e 的低延時,Twitter 可以為用戶提供穩(wěn)定可靠的實主要使用的存儲架構占比如下:
【學位授予單位】:合肥工業(yè)大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:P208

【參考文獻】

相關期刊論文 前10條

1 李偉;;電子地圖在大數據政工領域的應用[J];無線互聯(lián)科技;2015年13期

2 黎文陽;;大數據處理模型Apache Spark研究[J];現(xiàn)代計算機(專業(yè)版);2015年08期

3 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數據計算框架及其資源調度機制研究[J];信息通信技術;2015年01期

4 宋繼紅;李夢楠;郝得智;;基于Hadoop分布式文件系統(tǒng)的單點問題的研究[J];軟件工程師;2014年12期

5 劉鵬;趙羲;史宜南;;ArcGIS Server平臺下地圖瓦片存儲關鍵技術研究[J];地理空間信息;2014年05期

6 楊光;;各國云計算產業(yè)發(fā)展扶持政策盤點[J];計算機與網絡;2014年Z1期

7 洪旭升;林世平;;基于MapFile的HDFS小文件存儲效率問題[J];計算機系統(tǒng)應用;2012年11期

8 蘇旭明;譚建成;;WebGIS中瓦片地圖關鍵技術研究[J];北京測繪;2012年02期

9 蒙琳;張衍毓;;ArcGIS與MapGIS在土地利用規(guī)劃制圖中的比較[J];中國土地科學;2012年04期

10 王晟;趙壁芳;;云計算中MapReduce技術研究[J];通信技術;2011年12期

相關博士學位論文 前1條

1 范建永;基于Hadoop的云GIS若干關鍵技術研究[D];解放軍信息工程大學;2013年

相關碩士學位論文 前10條

1 孫佳麗;Web應用中的客戶端緩存技術研究[D];首都經濟貿易大學;2016年

2 高宗寶;基于HDFS的海量小文件讀寫策略研究[D];山東大學;2016年

3 高];基于云計算的GIS數據存儲管理研究[D];合肥工業(yè)大學;2016年

4 湯辰;基于HDFS的小文件存儲方法的研究與應用[D];燕山大學;2015年

5 賈玉辰;Hadoop中海量小文件存取關鍵技術的研究與實現(xiàn)[D];南京郵電大學;2015年

6 萬家雪;Hadoop平臺運維關鍵技術研究與實現(xiàn)[D];北京郵電大學;2015年

7 秦滔;Hadoop分布式架構的研究與實際應用[D];北京郵電大學;2015年

8 每春輝;基于Hadoop的多版本柵格地圖存儲與管理系統(tǒng)[D];西安電子科技大學;2014年

9 王錚;基于Hadoop的分布式系統(tǒng)研究與應用[D];吉林大學;2014年

10 盧俊華;HDFS存儲機制的分析與研究[D];武漢理工大學;2014年



本文編號:2645499

資料下載
論文發(fā)表

本文鏈接:http://www.sikaile.net/kejilunwen/dizhicehuilunwen/2645499.html


Copyright(c)文論論文網All Rights Reserved | 網站地圖 |

版權申明:資料由用戶879de***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com