本文關鍵詞：基于MapReduce的柵格地圖切片系統(tǒng)

  更多相關文章： MapReduce 柵格地圖 分布式地圖切片

【摘要】：近年來,地理信息技術的飛速發(fā)展和空間遙感儀器分辨率的不斷提高,使得地圖應用領域不斷擴大、柵格地圖數(shù)據(jù)量急劇增長�，F(xiàn)階段WebGIS系統(tǒng)通常預先對柵格地圖數(shù)據(jù)進行切片,并以瓦片金字塔形式組織柵格地圖數(shù)據(jù)。當客戶端訪問WebGIS系統(tǒng)獲取地圖數(shù)據(jù)時,服務器端將預先切片完成的瓦片數(shù)據(jù)返回給客戶端。傳統(tǒng)單機式地圖切片系統(tǒng)受限于單一節(jié)點的計算能力和存儲能力,漸漸成為海量柵格地圖數(shù)據(jù)處理技術發(fā)展的瓶頸。加快海量柵格地圖數(shù)據(jù)的切片速度,對提高WebGIS的效率具有重要意義。云計算技術能夠將數(shù)據(jù)和計算任務分散到大量計算機節(jié)點上進行管理,具備高可靠性和高可擴展性等特點。云計算技術提供了前所未有的計算能力和存儲能力,為提高海量柵格地圖數(shù)據(jù)的切片速度提供了新的基礎平臺。本文基于分布式計算框架MapReduce搭建了柵格地圖數(shù)據(jù)切片系統(tǒng),解決了海量柵格地圖數(shù)據(jù)的切片問題。本文的主要研究內(nèi)容和創(chuàng)新點如下:1.對現(xiàn)有分布式柵格地圖切片系統(tǒng)關鍵技術進行了研究。指出了當前柵格地圖切片系統(tǒng)的不足之處。針對海量地圖數(shù)據(jù)的切片需求,設計了基于MapReduce的柵格地圖切片系統(tǒng)。2.對HDFS的冗余備份機制進行了研究。提出了一種地圖源文件拆分算法。該算法利用MapReduce的“本地計算”機制,能夠減少地圖切片過程中的網(wǎng)絡數(shù)據(jù)傳輸,使切片任務在實際存儲地圖數(shù)據(jù)的節(jié)點上運行,降低了切片系統(tǒng)對網(wǎng)絡帶寬資源的依賴程度。3.對瓦片金字塔構建方案進行了研究。結合瓦片金字塔的模型結構,設計了一種利用瓦片緩存技術的瓦片金字塔構建方法。通過降低瓦片縮放時的計算量來加快瓦片金字塔的構建速度。利用金字塔內(nèi)瓦片的排布規(guī)律,減少瓦片金字塔構建過程中的內(nèi)存使用量。4.對海量數(shù)據(jù)下的瓦片金字塔并行構建技術進行了研究。結合MapReduce的應用特點,提出了一種基于MapReduce的迭代式瓦片金字塔構建方案。該方案將格式塊文件分配到多個節(jié)點獨立切片,實現(xiàn)了瓦片金字塔的并行構建。通過合并瓦片金字塔的底層數(shù)據(jù)并將其作為下一輪切片操作的輸入數(shù)據(jù),實現(xiàn)了迭代式切片。該方案利用云計算技術強大的計算能力和存儲能力,提高了海量柵格地圖數(shù)據(jù)的切片速度。結合上述研究成果,本文實現(xiàn)了基于MapReduce的海量柵格地圖數(shù)據(jù)切片系統(tǒng),并針對系統(tǒng)切片時間進行了性能測試,實際測試結果證實了本文所述內(nèi)容的可行性及有效性。測試結果證明了在柵格地圖數(shù)據(jù)量保持不變的情況下,系統(tǒng)的切片時間隨著集群中切片節(jié)點數(shù)的增加而線性下降。本文利用云計算技術提高了地圖切片系統(tǒng)的切片速度,解決了海量柵格地圖數(shù)據(jù)的切片問題。
【關鍵詞】：MapReduce 柵格地圖 分布式地圖切片
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：P208;TP393.09
【目錄】：

• 摘要5-7
• ABSTRACT7-12
• 符號對照表12-13
• 縮略語對照表13-18
• 第一章 緒論18-24
• 1.1 課題背景18-21
• 1.1.1 WebGIS的發(fā)展18-20
• 1.1.2 海量地圖數(shù)據(jù)處理20-21
• 1.2 地圖切片系統(tǒng)現(xiàn)狀及研究意義21-22
• 1.3 文章內(nèi)容及章節(jié)結構22-24
• 1.3.1 研究內(nèi)容22
• 1.3.2 論文章節(jié)安排22-24
• 第二章 地圖切片技術分析24-32
• 2.1 地圖切片流程24-26
• 2.1.1 傳統(tǒng)分布式地圖切片系統(tǒng)24-25
• 2.1.2 RMTS設計目標25-26
• 2.2 GIS相關技術26-32
• 2.2.1 數(shù)字地圖分類26
• 2.2.2 地圖投影26-28
• 2.2.3 瓦片金字塔28-30
• 2.2.4 四叉樹編碼30-32
• 第三章 相關平臺及工具庫介紹32-38
• 3.1 分布式計算框架32-35
• 3.1.1 Hadoop32-33
• 3.1.2 HDFS33-34
• 3.1.3 MapReduce34-35
• 3.2 第三方工具庫35-38
• 3.2.1 圖片縮放庫35
• 3.2.2 圖片編碼庫35-36
• 3.2.3 地圖源文件讀取庫36
• 3.2.4 投影變換庫36-38
• 第四章 系統(tǒng)概要設計38-54
• 4.1 RMTS組成結構38-39
• 4.2 RMTS切片流程39-40
• 4.3 數(shù)據(jù)預處理模塊40-44
• 4.3.1 格式塊文件大小40-41
• 4.3.2 格式塊文件規(guī)范41-43
• 4.3.3 投影變換43-44
• 4.4 切片模塊44-48
• 4.4.1 MapReduce執(zhí)行流程44-45
• 4.4.2 格式塊文件切片45
• 4.4.3 瓦片金字塔緩存模型45-46
• 4.4.4 中間文件分配46-47
• 4.4.5 格式塊文件合并47-48
• 4.5 底層支撐模塊48-49
• 4.5.1 圖片縮放模塊48-49
• 4.5.2 圖片編碼模塊49
• 4.6 瓦片存儲模塊49-54
• 4.6.1 本地文件系統(tǒng)存儲49-51
• 4.6.2 本地SQLite數(shù)據(jù)庫存儲51-52
• 4.6.3 Hadoop云端存儲52-54
• 第五章 系統(tǒng)詳細設計54-72
• 5.1 預處理模塊54-58
• 5.1.1 數(shù)據(jù)預處理54-57
• 5.1.2 格式塊文件大小57-58
• 5.2 切片模塊58-67
• 5.2.1 格式塊文件切片58-61
• 5.2.2 Map任務相關類定制61-63
• 5.2.3 Partitioner類定制63-64
• 5.2.4 格式塊文件合并64-65
• 5.2.5 Reduce任務相關類定制65-67
• 5.3 底層支撐模塊67-69
• 5.3.1 圖片縮放67-68
• 5.3.2 圖片編碼68-69
• 5.4 瓦片存儲69-72
• 第六章 系統(tǒng)性能測試及優(yōu)化72-80
• 6.1 性能測試方案72-74
• 6.1.1 性能影響因素72
• 6.1.2 測試環(huán)境72-73
• 6.1.3 測試數(shù)據(jù)73
• 6.1.4 測試方案73-74
• 6.2 性能測試結果分析74-77
• 6.2.1 瓦片格式測試74
• 6.2.2 瓦片存儲方式測試74-75
• 6.2.3 集群節(jié)點數(shù)量測試75-76
• 6.2.4 存儲空間測試76-77
• 6.3 RMTS橫向對比77-80
• 6.3.1 切片時間橫向對比77-78
• 6.3.2 系統(tǒng)切片操作對比78-80
• 第七章 總結與展望80-82
• 參考文獻82-84
• 致謝84-86
• 作者簡介86-87

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 毛瓊;羅傳文;單瑤瑤;;結合GIS創(chuàng)建三維可視化園林景觀[J];黑龍江生態(tài)工程職業(yè)學院學報;2007年05期

2 陳會利;;石化企業(yè)總圖三維GIS系統(tǒng)的建設實踐[J];石油化工建設;2010年02期

3 劉京鵬;王圣潔;蘇國輝;;基于GIS的海砂資源管理信息系統(tǒng)的開發(fā)與設計[J];海洋地質動態(tài);2008年05期

4 余芳文;尚建嘎;古富強;胡旭科;;動態(tài)定位精度測試方法及實驗研究[J];測控技術;2012年01期

5 王海龍;米紅軍;秦志輝;;三維虛擬采礦系統(tǒng)實體礦床模型的構建[J];金屬礦山;2007年02期

6 劉偉;郭潤利;;山西石膏山風景區(qū)規(guī)劃[J];山西建筑;2010年12期

7 葉璐;張珞平;郭娟;袁蕾;王中瑗;張保學;;河口區(qū)海洋環(huán)境監(jiān)測與評價一體化研究1——珠江口水環(huán)境監(jiān)視性監(jiān)測方案設計、實施和改進[J];海洋環(huán)境科學;2014年01期

8 馬駿;孔帥可;周兵;張桐;;基于薄板樣條插值算法的巨幅影像分塊并行處理[J];計算機時代;2015年07期

9 彭緒富;胡柳武;周攀;;一種交通路徑的生成與最佳線路尋找算法[J];微計算機應用;2009年02期

10 夏華麗;王俊s，

本文編號：928700