面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn)
發(fā)布時間:2017-05-03 22:01
本文關鍵詞:面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn),由筆耕文化傳播整理發(fā)布。
【摘要】:隨著增強現(xiàn)實在生活中的逐步應用以及空間數(shù)據(jù)的爆炸性增長,對空間數(shù)據(jù)的存儲也提出了更嚴格的要求,尤其是存儲系統(tǒng)的可用性,可擴展性和高效性等。傳統(tǒng)的分布式數(shù)據(jù)存儲方案不符合空間數(shù)據(jù)存儲的要求,而大部分的空間數(shù)據(jù)庫又不能有效的存儲大量的空間數(shù)據(jù),尤其是實現(xiàn)與互聯(lián)網的對接,實現(xiàn)線上和線下的結合,因此面向空間的分布式結構化存儲系統(tǒng)的研究是勢在必行的,面向POI的分布式結構化存儲系統(tǒng)即是這樣一種針對于POI的存儲系統(tǒng)。本文首先對增強現(xiàn)實以及云計算目前的研究現(xiàn)狀做了大致的介紹,調研了目前國內外比較主流的幾種分布式存儲系統(tǒng),描述了各個系統(tǒng)的優(yōu)缺點。在增強現(xiàn)實的各種技術開始成熟時,面對海量的空間數(shù)據(jù),本文設計并實現(xiàn)了面向POI的分布式結構化存儲系統(tǒng)CBASE,同時對CBASE的數(shù)據(jù)存儲引擎進行了重點研究。CBASE采用分布式的架構,底層存儲數(shù)據(jù)庫為MySQL,主要使用的MySQL的空間擴展實現(xiàn)對空間數(shù)據(jù)的支持。CBASE設計了良好的空間索引機制,通過使用POIID解析規(guī)則將標識符和范圍合并成一個唯一性的ID,對客戶隱藏了內部的查詢機制,提高系統(tǒng)的透明性。系統(tǒng)使用二級索引提高系統(tǒng)的效率,第一級索引為R樹索引,根據(jù)POI的地理位置坐標定位POI所處的空間,第二級索引為索引表,根據(jù)POI所處的空間定位該空間所處的存儲節(jié)點。CBASE的容錯機制采用副本冗余策略,通過版本號機制實現(xiàn)數(shù)據(jù)的一致性。當數(shù)據(jù)發(fā)生修改時,系統(tǒng)都會通過Lazy同步機制修改版本號。系統(tǒng)在修改數(shù)據(jù)時采用多數(shù)派策略,即只有當超過半數(shù)的副本操作成功后才返回給用戶成功消息,提高了系統(tǒng)的效率同時保證了數(shù)據(jù)的正確性。CBASE設計了區(qū)域四分策略進行區(qū)域負載均衡的管理,區(qū)域四分策略會在區(qū)域超載的時候將區(qū)域拆分以保證不會有過量的用戶請求對該區(qū)域進行訪問,同時設計了域遷移和域拆分兩個流程來實現(xiàn)區(qū)域和存儲節(jié)點之間的數(shù)據(jù)轉移,防止區(qū)域和存儲節(jié)點產生熱點問題,影響系統(tǒng)的效率。本文最后對系統(tǒng)的實現(xiàn)進行了描述,并進行功能和性能測試,生成并分析了測試結果。
【關鍵詞】:分布式 POI 空間數(shù)據(jù) 資源定位
【學位授予單位】:電子科技大學
【學位級別】:碩士
【學位授予年份】:2014
【分類號】:TP333
【目錄】:
- 摘要5-6
- ABSTRACT6-11
- 第一章 緒論11-15
- 1.1 背景介紹11-12
- 1.2 國內外研究現(xiàn)狀12-13
- 1.3 主要研究內容13
- 1.4 論文組織13-14
- 1.5 本章小結14-15
- 第二章 相關理論與技術基礎15-30
- 2.1 POI概述15
- 2.2 分布式數(shù)據(jù)庫15-21
- 2.2.1 HBase分布式數(shù)據(jù)庫16-17
- 2.2.2 Google Spanner分布式數(shù)據(jù)庫17-19
- 2.2.3 Clustrix Sierra數(shù)據(jù)庫19-21
- 2.3 OpenGIS幾何模型21-23
- 2.3.1 類Geometry22
- 2.3.2 類Point22
- 2.3.3 類Polygon22-23
- 2.4 二維空間數(shù)據(jù)結構表示23-25
- 2.4.1 四叉樹23-24
- 2.4.2 R樹24-25
- 2.5 負載均衡25-27
- 2.6 容錯機制27-29
- 2.6.1 雙機熱備27-29
- 2.6.2 Paxos算法29
- 2.7 本章小結29-30
- 第三章 分布式存儲系統(tǒng)的總體設計30-41
- 3.1 需求分析30-31
- 3.2 系統(tǒng)設計方案31-32
- 3.2.1 空間數(shù)據(jù)管理31-32
- 3.2.2 可擴展性32
- 3.2.3 性能32
- 3.3 CBASE系統(tǒng)架構32-35
- 3.3.1 訪問接.庫33-34
- 3.3.2 元數(shù)據(jù)服務器34
- 3.3.3 調度服務器34
- 3.3.4 存儲節(jié)點34-35
- 3.4 系統(tǒng)主要流程35-40
- 3.4.1 上傳域35-36
- 3.4.2 上傳POI36-37
- 3.4.3 查詢POI37-38
- 3.4.4 域拆分38-39
- 3.4.5 域遷移39-40
- 3.5 本章小結40-41
- 第四章 存儲引擎的分析與設計41-56
- 4.1 資源查詢機制的設計41-46
- 4.1.1 資源定位機制41-45
- 4.1.2 任務下發(fā)機制45-46
- 4.2 數(shù)據(jù)存儲模塊的設計46-53
- 4.2.1 表結構的設計46-48
- 4.2.2 容錯機制48-50
- 4.2.3 負載均衡50-53
- 4.3 通信協(xié)議設計53-55
- 4.4 本章小結55-56
- 第五章 存儲引擎的實現(xiàn)56-70
- 5.1 通信框架的實現(xiàn)56-57
- 5.2 GWLib的實現(xiàn)57-62
- 5.2.1 結構圖57-58
- 5.2.2 類圖58-61
- 5.2.3 典型任務流程圖61-62
- 5.3 Master的實現(xiàn)62-66
- 5.3.1 結構圖62-63
- 5.3.2 類圖63-65
- 5.3.3 典型任務流程圖65-66
- 5.4 LDB的實現(xiàn)66-69
- 5.4.1 結構圖66-67
- 5.4.2 類圖67-69
- 5.4.3 典型任務流程圖69
- 5.5 本章小結69-70
- 第六章 系統(tǒng)測試與分析70-77
- 6.1 測試環(huán)境70-71
- 6.2 系統(tǒng)功能測試71-74
- 6.2.1 基本功能測試71-73
- 6.2.2 負載均衡功能測試73-74
- 6.3 系統(tǒng)性能測試74-76
- 6.3.1 上傳POI74-75
- 6.3.2 查詢POI75-76
- 6.4 本章小結76-77
- 第七章 結論77-78
- 致謝78-79
- 參考文獻79-81
- 攻研期間的研究成果81-82
【參考文獻】
中國期刊全文數(shù)據(jù)庫 前6條
1 董曉霞;呂廷杰;;云計算研究綜述及未來發(fā)展[J];北京郵電大學學報(社會科學版);2010年05期
2 楊建宇,楊崇俊,劉冬林,芮小平,高積糧;基于OpenGIS規(guī)范的GIS組件的設計與實現(xiàn)[J];計算機工程;2005年09期
3 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲系統(tǒng)副本布局研究[J];計算機應用;2012年03期
4 張玉芳;魏欽磊;趙膺;;基于負載權值的負載均衡算法[J];計算機應用研究;2012年12期
5 徐小龍;鄒勤文;楊庚;;分布式存儲系統(tǒng)中數(shù)據(jù)副本管理機制[J];計算機技術與發(fā)展;2013年02期
6 邵秀麗;王亞光;李云龍;劉一偉;;Hadoop副本放置策略[J];智能系統(tǒng)學報;2013年06期
本文關鍵詞:面向POI的分布式結構化存儲系統(tǒng)存儲引擎設計與實現(xiàn),,由筆耕文化傳播整理發(fā)布。
本文編號:343801
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/343801.html
最近更新
教材專著