本文關(guān)鍵詞： MapReduce Hilbert空間曲線 空間數(shù)據(jù)并行劃分　出處：《測(cè)繪通報(bào)》2017年11期 　論文類(lèi)型：期刊論文

【摘要】：針對(duì)海量空間數(shù)據(jù)分布式存儲(chǔ)中存在的不顧及空間鄰近性、分布不均和數(shù)據(jù)傾斜的問(wèn)題,基于MapReduce并行編程模型,對(duì)Hilbert空間曲線層次分解的思想和節(jié)點(diǎn)容量感知的方法進(jìn)行了研究,提出了一種層次分解的空間數(shù)據(jù)并行劃分策略,并通過(guò)臨界值判定實(shí)現(xiàn)空間數(shù)據(jù)的均衡存儲(chǔ)。最后通過(guò)實(shí)例分析說(shuō)明該方法可以在保證空間數(shù)據(jù)鄰近特性的同時(shí),解決海量空間數(shù)據(jù)分布式存儲(chǔ)不均和數(shù)據(jù)傾斜的問(wèn)題。
[Abstract]:In order to solve the problems of spatial proximity, uneven distribution and skew of data in distributed storage of massive spatial data, a parallel programming model based on MapReduce is proposed. In this paper, the idea of hierarchical decomposition of Hilbert spatial curve and the method of node capacity perception are studied, and a parallel partition strategy of spatial data based on hierarchical decomposition is proposed. Finally, through the analysis of an example, the method can guarantee the proximity of spatial data at the same time. To solve the problem of distributed storage and skew of massive spatial data.
【作者單位】： 濟(jì)南市勘察測(cè)繪研究院;中國(guó)地質(zhì)大學(xué)(武漢)信息工程學(xué)院;北京創(chuàng)時(shí)空科技發(fā)展有限公司;廣東省氣象探測(cè)數(shù)據(jù)中心;武漢兆圖科技有限公司;
【基金】：國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFB0502603) 湖北省自然科學(xué)基金(ZRY2015001543) 中國(guó)地質(zhì)大學(xué)(武漢)中央高�；究蒲袠I(yè)務(wù)費(fèi)資金(1610491B20)
【分類(lèi)號(hào)】：P208
【正文快照】： 5.武漢兆圖科技有限公司,湖北武漢430070)隨著GIS應(yīng)用的逐步深入和拓展,各行業(yè)對(duì)GIS海量空間數(shù)據(jù)的處理能力及效率提出更高要求,分布式GIS及分布式空間數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生[1]。特別是隨著現(xiàn)代測(cè)量計(jì)算技術(shù)的發(fā)展,空間數(shù)據(jù)呈TB和PB級(jí)增長(zhǎng),大規(guī)�？臻g數(shù)據(jù)的分布式處理效率顯得尤為重，

本文編號(hào)：1476187