隨著數(shù)據(jù)量及其內(nèi)容復(fù)雜性的急速增長,存儲系統(tǒng)作為海量異構(gòu)數(shù)據(jù)的后端變得愈加難以管理。其中,查詢操作作為管理和分析數(shù)據(jù)的重要方式面臨著前所未有的挑戰(zhàn)。存儲系統(tǒng)中大量的查詢操作是通過元數(shù)據(jù)完成的。當(dāng)今存儲系統(tǒng)中廣泛使用的目錄樹結(jié)構(gòu)和簡單的元數(shù)據(jù)不能滿足基于內(nèi)容的語義查詢的要求,即用戶無法通過文件內(nèi)容本身的相似程度進(jìn)行有效地查詢,從而限制了存儲系統(tǒng)的功能以及數(shù)據(jù)管理與分析的能力。面對上述問題,提出一種新的語義元數(shù)據(jù)組織方式SwiftGraph用于支持存儲系統(tǒng)快速且相對準(zhǔn)確的語義查詢。該方式能夠適用于大數(shù)據(jù)場景和應(yīng)用。SwiftGraph首先通過深度哈希算法提取得到存儲系統(tǒng)中文件或者對象的二值定長語義哈希碼,以此作為元數(shù)據(jù)使用基于圖的數(shù)據(jù)結(jié)構(gòu)進(jìn)行組織,使得語義相似的文件在元數(shù)據(jù)圖結(jié)構(gòu)上被聚集到鄰近區(qū)域。SwiftGraph支持兩種語義查詢操作:語義范圍查詢和語義top-k查詢。SwiftGraph實(shí)現(xiàn)于開源的云存儲系統(tǒng)上,并且SwiftGraph作為一種中間件,可以以獨(dú)立分支的形式應(yīng)用于任何的文件系統(tǒng)和存儲系統(tǒng)中,不會影響系統(tǒng)本身的元數(shù)據(jù)組織結(jié)構(gòu)和功能。在三種不同的圖像數(shù)據(jù)集上對該系統(tǒng)進(jìn)了測試... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究目標(biāo)和主要工作
    1.4 全文結(jié)構(gòu)
2 研究基礎(chǔ)和相關(guān)技術(shù)
    2.1 存儲系統(tǒng)元數(shù)據(jù)管理
    2.2 OpenStack Swift對象存儲系統(tǒng)
    2.3 圖像哈希學(xué)習(xí)算法
    2.4 語義漢明圖
    2.5 本章小結(jié)
3 面向語義查詢的元數(shù)據(jù)系統(tǒng)—SwiftGraph的設(shè)計(jì)
    3.1 SwiftGraph總體框架
    3.2 SwiftGraph語義提取模塊設(shè)計(jì)
    3.3 SwiftGraph元數(shù)據(jù)通信設(shè)計(jì)
    3.4 SwiftGraph語義漢明圖的優(yōu)化
    3.5 SwiftGraph語義查詢接口設(shè)計(jì)
    3.6 本章小結(jié)
4 面向語義查詢的元數(shù)據(jù)系統(tǒng)—SwiftGraph的實(shí)現(xiàn)
    4.1 語義元數(shù)據(jù)獲取模塊的實(shí)現(xiàn)
    4.2 基于圖的元數(shù)據(jù)組織的實(shí)現(xiàn)
    4.3 語義查詢功能的實(shí)現(xiàn)
    4.4 本章小結(jié)
5 性能測試與結(jié)果分析
    5.1 測試環(huán)境與數(shù)據(jù)集
    5.2 元數(shù)據(jù)開銷測試
    5.3 語義查詢準(zhǔn)確率測試
    5.4 語義查詢性能測試
    5.5 可擴(kuò)展性分析
    5.6 本章小結(jié)
6 總結(jié)與展望
    6.1 本文總結(jié)
    6.2 未來展望
致謝
參考文獻(xiàn)



本文編號：3205719