一種支持高效并行處理的矢量數(shù)據(jù)索引方法
發(fā)布時間:2018-06-15 07:43
本文選題:spark + hilbert; 參考:《計算機工程與應(yīng)用》2017年11期
【摘要】:分析了HBase的存儲模型和Spark的并行處理機制,提出一種矢量空間數(shù)據(jù)的分布式存儲、索引和并行區(qū)域查詢方法。設(shè)計了基于空間對象中心點的行鍵存儲方案,將中心點的Hilbert編碼與經(jīng)緯度小數(shù)位結(jié)合實現(xiàn)行鍵的唯一性,保證地理位置接近的要素在表中存儲在相鄰的行。實現(xiàn)了基于Spark的空間索引并行構(gòu)建和區(qū)域查詢方法,借助空間對象中心點的Hilbert編碼快速構(gòu)建索引,通過多邊形區(qū)域的最小外接矩形過濾查詢結(jié)果。實驗結(jié)果表明,索引并行構(gòu)建可靠性好速度快,區(qū)域查詢并行處理算法可行且效率高。
[Abstract]:This paper analyzes the storage model of HBase and the parallel processing mechanism of Spark, and proposes a distributed storage, index and parallel region query method for vector spatial data. A row key storage scheme based on the center point of the spatial object is designed. The Hilbert coding of the center point is combined with the latitude and longitude decimal places to realize the uniqueness of the line key, which ensures that the elements close to the geographical position are stored in the adjacent rows in the table. The spatial index parallel construction and the region query method based on Spark are implemented. The index is constructed quickly by Hilbert coding of the center point of the spatial object, and the query results are filtered by the minimum external rectangle of the polygon region. The experimental results show that the parallel construction of index is reliable and fast, and the parallel processing algorithm of region query is feasible and efficient.
【作者單位】: 平頂山學(xué)院軟件學(xué)院;武漢大學(xué)軟件工程國家重點實驗室;桂林理工大學(xué)南寧分校;平頂山學(xué)院資源與環(huán)境科學(xué)學(xué)院;
【基金】:國家自然科學(xué)基金青年科學(xué)基金(No.41201405) 河南省科技廳科技攻關(guān)項目(No.152102310202)
【分類號】:TP333;TP391.3
【相似文獻(xiàn)】
相關(guān)碩士學(xué)位論文 前1條
1 費倫宙;基于矢量瓦片的地理數(shù)據(jù)存儲訪問技術(shù)研究與實現(xiàn)[D];西安電子科技大學(xué);2016年
,本文編號:2021263
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/2021263.html
最近更新
教材專著