發(fā)布時間：2023-03-12 20:34

　　移動設(shè)備的廣泛使用和用戶位置信息的實(shí)時可用性正在促進(jìn)新的個性化、基于位置的應(yīng)用程序和服務(wù)(LBSs)的開發(fā)。此類應(yīng)用程序需要能夠?qū)崿F(xiàn)多屬性查詢、實(shí)時查詢、大數(shù)據(jù)分析及支持?jǐn)?shù)百萬用戶的可伸縮性。新一代的分布式數(shù)據(jù)庫從大量數(shù)據(jù)中提取值,同時具有高可用性、容錯性和可伸縮性,因此提供了非常需要的基礎(chǔ)設(shè)施來支持LBSs。但是,它不能有效地處理多維數(shù)據(jù)上的復(fù)雜查詢,因?yàn)樗鼈儾惶峁┰L問多個屬性的方法。因而,為實(shí)現(xiàn)多維查詢以及提高實(shí)時查詢效率,本文對基于HBase的多維索引機(jī)制以及優(yōu)化策略進(jìn)行了研究,主要工作如下:(1)提出了New-grid方案,一個基于HBase的統(tǒng)一的索引和數(shù)據(jù)分發(fā)框架,它利用鍵值存儲來支持多維查詢。首先,對P-grid進(jìn)行了改進(jìn),在覆蓋網(wǎng)絡(luò)中組織了一組節(jié)點(diǎn),使其能夠提供有效的數(shù)據(jù)分布、容錯和多維數(shù)據(jù)的查詢處理。其次,為了建立索引,使用了基于Hilbert空間填充曲線的線性化技術(shù),該技術(shù)保留了數(shù)據(jù)的局部性,有效地管理鍵值存儲中的多維數(shù)據(jù)。最后,優(yōu)化了動態(tài)處理范圍查詢和k近鄰查詢的算法,這消除了單獨(dú)索引表的維護(hù)開銷。該方法完全獨(dú)立于底層存儲層,可以在任何云基礎(chǔ)設(shè)施上實(shí)現(xiàn)。(2)提出...

【文章頁數(shù)】：83 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 研究目的及意義
    1.3 研究現(xiàn)狀
    1.4 論文主要的工作
    1.5 論文各章節(jié)安排
2 相關(guān)技術(shù)
    2.1 HBase技術(shù)基礎(chǔ)
        2.1.1 Hadoop平臺
        2.1.2 HDFS體系結(jié)構(gòu)
        2.1.3 HBase整體架構(gòu)
    2.2 線性化技術(shù)
    2.3 多維索引結(jié)構(gòu)
        2.3.1 多維索引結(jié)構(gòu)
        2.3.2 最長公共前綴命名方案
    2.4 多維索引方案MD-HBase
        2.4.1 MD-HBase基礎(chǔ)
        2.4.2 MD-HBase整體結(jié)構(gòu)
        2.4.3 MD-HBase索引結(jié)構(gòu)
    2.5 MD-HBase的查詢分析
    2.6 本章小結(jié)
3 New-grid數(shù)據(jù)分發(fā)和索引框架
    3.1 New-grid整體架構(gòu)設(shè)計
    3.2 填充曲線Hilbert曲線的方案
    3.3 基于覆蓋網(wǎng)絡(luò)P-grid的優(yōu)化構(gòu)造算法
        3.3.1 覆蓋網(wǎng)絡(luò)P-grid的介紹
        3.3.2 覆蓋網(wǎng)絡(luò)P-grid構(gòu)造算法的優(yōu)化
        3.3.3 P-grid的優(yōu)化搜索查詢
    3.4 數(shù)據(jù)存儲層
        3.4.1 鍵值存儲層Apache HBase
        3.4.2 存儲模型
    3.5 數(shù)據(jù)查詢與處理的算法優(yōu)化
        3.5.1 數(shù)據(jù)插入和點(diǎn)查詢
        3.5.2 范圍查詢處理
        3.5.3 k近鄰查詢查詢處理
    3.6 實(shí)驗(yàn)設(shè)計與分析
        3.6.1 實(shí)驗(yàn)環(huán)境
        3.6.2 實(shí)驗(yàn)方案
        3.6.3 實(shí)驗(yàn)及分析
        3.6.4 實(shí)驗(yàn)結(jié)論
    3.7 本章小結(jié)
4 基于機(jī)器學(xué)習(xí)的HBase配置參數(shù)優(yōu)化
    4.1 參數(shù)問題
        4.1.1 HBase配置參數(shù)介紹
        4.1.2 HBase應(yīng)用程序的數(shù)據(jù)流
        4.1.3 參數(shù)問題分析
    4.2 基于隨機(jī)森林算法的模型建立
        4.2.1 隨機(jī)森林算法原理
        4.2.2 性能模型的建立
    4.3 基于遺傳算法的參數(shù)優(yōu)化搜索
        4.3.1 遺傳算法原理
        4.3.2 自動參數(shù)最優(yōu)搜索
    4.4 實(shí)驗(yàn)設(shè)計與分析
        4.4.1 實(shí)驗(yàn)環(huán)境
        4.4.2 實(shí)驗(yàn)方案
        4.4.3 實(shí)驗(yàn)及分析
        4.4.4 實(shí)驗(yàn)結(jié)論
    4.5 本章小結(jié)
5 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
個人簡歷、在校期間研究成果
致謝



本文編號：3761903