隨著物聯(lián)網(wǎng)、5G和人工智能等技術的發(fā)展,在類似于網(wǎng)絡安全態(tài)勢感知、智能制造、智慧城市這樣的綜合性信息應用系統(tǒng)中,對不同來源的異構時序性日志數(shù)據(jù)的需求呈現(xiàn)爆炸式增長。傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法應對這些海量異構數(shù)據(jù)的統(tǒng)一存儲要求,HBase作為一種分布式列族數(shù)據(jù)庫,因其具有良好的可擴展性,可以解決該類應用場景中的海量數(shù)據(jù)存儲問題。目前HBase所采用的分區(qū)存儲機制以及相關負載均衡策略,能讓各RegionServer上Region數(shù)目大致相同,但各Region上數(shù)據(jù)訪問請求不均等,容易引發(fā)數(shù)據(jù)負載傾斜問題,從而極大地影響其讀寫性能,無法有效的應用到上述應用場景中。本文以高效能的海量多源異構時序數(shù)據(jù)存儲為應用場景,對HBase中負載傾斜問題進行分析研究。針對數(shù)據(jù)訪問請求負載不均衡問題,本文設計了一種基于用戶訪問行為預測的分布式數(shù)據(jù)存儲策略。該策略在HBase原有分區(qū)存儲基礎上,通過對用戶訪問行為的建模,可實現(xiàn)對數(shù)據(jù)冷熱性的預測,并結合數(shù)據(jù)相關時空特征的Rowkey裝配方案,完成對數(shù)據(jù)的冷熱分層分區(qū)存儲,從而將系統(tǒng)數(shù)據(jù)訪問請求負載均衡化。針對熱點數(shù)據(jù)索引負載不均衡問題,本文改進現(xiàn)有二級索引構建策略,通過... 

【文章來源】：湖南大學湖南省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【部分圖文】：

HBaseRegion分裂示意圖

HBase系統(tǒng)架構圖

HBase數(shù)據(jù)存儲格式HBase通過表來存儲數(shù)據(jù)，表是由行和列組成，相比于其他數(shù)據(jù)庫，HBase


本文編號：3409247