為解決傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲(chǔ)QAR數(shù)據(jù)可擴(kuò)展性低、可用性差的問題,設(shè)計(jì)一種基于HBase的QAR數(shù)據(jù)分布式存儲(chǔ)方法。根據(jù)QAR數(shù)據(jù)的特點(diǎn),設(shè)計(jì)HBase表結(jié)構(gòu),將QAR參數(shù)劃分為安全、航跡、燃油、發(fā)動(dòng)機(jī)、預(yù)測(cè)、飛行員操作及其它共七大主題,構(gòu)建基于航班號(hào)、航班日期、參數(shù)主題三者組合的MD5散列值行鍵結(jié)構(gòu),根據(jù)行鍵散列值對(duì)QAR數(shù)據(jù)值表預(yù)分區(qū),通過行鍵散列機(jī)制和預(yù)分區(qū)技術(shù)相結(jié)合的兩級(jí)優(yōu)化策略實(shí)現(xiàn)QAR數(shù)據(jù)文件分布式存儲(chǔ)。真實(shí)QAR數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該QAR數(shù)據(jù)存儲(chǔ)模式能使數(shù)據(jù)均衡分布在集群中,避免了寫熱點(diǎn)和數(shù)據(jù)傾斜問題,有較高的存取性能。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖6實(shí)驗(yàn)2結(jié)果

圖5實(shí)驗(yàn)1結(jié)果圖7實(shí)驗(yàn)3結(jié)果

圖7實(shí)驗(yàn)3結(jié)果

圖6實(shí)驗(yàn)2結(jié)果3.4查詢對(duì)比實(shí)驗(yàn)

圖1Value表行鍵結(jié)構(gòu)

根據(jù)QAR參數(shù)的主題劃分及2.2.1節(jié)HBase表結(jié)構(gòu)設(shè)計(jì)對(duì)Value表的行鍵結(jié)構(gòu)進(jìn)行了設(shè)計(jì)，其結(jié)構(gòu)如圖1所示。Value表的行鍵設(shè)計(jì)中包含了以下信息：航班號(hào)、航班日期、參數(shù)及參數(shù)所屬主題、參數(shù)取值對(duì)應(yīng)的時(shí)間。由于在設(shè)計(jì)行鍵時(shí)應(yīng)保證行鍵的長(zhǎng)度應(yīng)盡量短，盡可能占用較少的存儲(chǔ)空間，本....

圖2行鍵計(jì)算

現(xiàn)以2017年7月19日的某航班的名為GROUNDSPEED的參數(shù)在4∶46分的數(shù)據(jù)為例說明Value表行鍵結(jié)構(gòu)及數(shù)據(jù)存儲(chǔ)形式。該航班的fid為0018，參數(shù)的pid為0179，將時(shí)間4∶46以0446表示，將一分鐘內(nèi)的數(shù)據(jù)存入Value表，其存儲(chǔ)形式如圖2所示。2.2.3預(yù)....

本文編號(hào)：3958075