發(fā)布時(shí)間：2019-11-02 15:15

【摘要】：隨著遙感技術(shù)的發(fā)展,遙感數(shù)據(jù)的類型和量級(jí)發(fā)生了巨大變化,對(duì)于傳統(tǒng)的存儲(chǔ)方法產(chǎn)生了挑戰(zhàn)。針對(duì)HBase中海量地形數(shù)據(jù)管理效率不高的問(wèn)題,提出一種四叉樹(shù)-Hilbert相結(jié)合的索引設(shè)計(jì)方法。首先,對(duì)傳統(tǒng)地形數(shù)據(jù)管理方式和基于HBase的數(shù)據(jù)存儲(chǔ)國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了綜述;然后,在基于四叉樹(shù)對(duì)全球數(shù)據(jù)進(jìn)行組織的基礎(chǔ)上,提出了四叉樹(shù)和Hilbert編碼相結(jié)合的設(shè)計(jì)思想;其次,設(shè)計(jì)了根據(jù)經(jīng)緯度求地形數(shù)據(jù)的行列號(hào)和根據(jù)行列號(hào)計(jì)算Hilbert編碼的算法;最后,對(duì)設(shè)計(jì)的索引的物理存儲(chǔ)結(jié)構(gòu)進(jìn)行了設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明,利用設(shè)計(jì)的索引進(jìn)行海量地形數(shù)據(jù)入庫(kù),數(shù)據(jù)入庫(kù)速度與單機(jī)情況相比,提高了63.79%~78.45%;在地形數(shù)據(jù)的范圍查詢中,設(shè)計(jì)的索引與傳統(tǒng)的行序索引相比,查詢時(shí)間降低了16.13%~39.68%。查詢速度最低為14.71 MB/s,可以滿足地形數(shù)據(jù)顯示的要求。
【圖文】：

se系統(tǒng)架構(gòu)如圖1所示［7］，，分為用戶層、服務(wù)層和支撐層。其中:支撐層是系統(tǒng)運(yùn)行的基礎(chǔ)，分布式文件系統(tǒng)作為底層的數(shù)據(jù)存儲(chǔ)系統(tǒng)保證數(shù)據(jù)的可靠性，分布式鎖系統(tǒng)Zookeeper用來(lái)保證數(shù)據(jù)的同步服務(wù)和配置維護(hù);主服務(wù)器是系統(tǒng)的核心部分，負(fù)責(zé)處理來(lái)自客戶端的連接請(qǐng)求，維護(hù)與子表服務(wù)器的連接和子表的分配。元數(shù)據(jù)表類似于數(shù)據(jù)字典，用來(lái)維護(hù)子表的記錄范圍;子表服務(wù)器負(fù)責(zé)處理所有操作的讀寫操作，隨著數(shù)據(jù)量的急劇增加，可以通過(guò)增加子表服務(wù)器的數(shù)量動(dòng)態(tài)擴(kuò)容，客戶端對(duì)數(shù)據(jù)的操作通過(guò)直接和子表服務(wù)器交互實(shí)現(xiàn)。圖1HBase系統(tǒng)體系架構(gòu)通過(guò)查閱相關(guān)文獻(xiàn)，現(xiàn)階段使用HBase進(jìn)行數(shù)據(jù)存儲(chǔ)的研究如表1所示。其中:ＲDF(ＲesourceDescriptionFramework)為海量資源描述框架。表1基于HBase的存儲(chǔ)研究現(xiàn)狀存儲(chǔ)數(shù)據(jù)類型解決的主要問(wèn)題文獻(xiàn)地圖瓦片數(shù)據(jù)提出了一種地圖瓦片數(shù)據(jù)緩存方案，解決了單機(jī)瓦片緩存效率不高的問(wèn)題文獻(xiàn)［8］海量圖片數(shù)據(jù)提出了一種海量圖片數(shù)據(jù)存儲(chǔ)方案，解決了HBase無(wú)校驗(yàn)碼和鍵值對(duì)字節(jié)數(shù)組未對(duì)齊問(wèn)題，在城市監(jiān)控系統(tǒng)中得到應(yīng)用文獻(xiàn)［9］無(wú)線傳感信息提出了兩層存儲(chǔ)架構(gòu)，可以滿足大規(guī)模傳感器的存儲(chǔ)需要文獻(xiàn)［10－11］海量影像數(shù)據(jù)提出了適用于海量影像數(shù)據(jù)分布式存儲(chǔ)的索引結(jié)構(gòu)P2H，可以進(jìn)行影像數(shù)據(jù)的存儲(chǔ)和快速查詢文獻(xiàn)［12］矢量空間數(shù)據(jù)設(shè)計(jì)了基于HBase的矢量空間數(shù)據(jù)存儲(chǔ)模型和空間索引方法文獻(xiàn)［13］ＲDF數(shù)據(jù)提出一種基于基于HBase的ＲDF數(shù)據(jù)存儲(chǔ)模型，實(shí)現(xiàn)了基于該模型的8種查詢算法并進(jìn)行了可行性驗(yàn)證文獻(xiàn)［14］海量空間數(shù)據(jù)提出一種HGrid數(shù)據(jù)模型，設(shè)計(jì)了基于四叉樹(shù)和網(wǎng)格索引的雙重索引結(jié)構(gòu)文獻(xiàn)［15］通過(guò)表1可以看出，HBase適于存儲(chǔ)海量數(shù)據(jù)，尤其對(duì)于海量

⒑Ａ渴

本文編號(hào)：2554559