【摘要】：為了解決非結構化數(shù)據(jù)的存儲與訪問問題,向上層應用提供數(shù)據(jù)存儲基礎性架構,加快應用開發(fā)進度,設計并實現(xiàn)了面向非結構化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng),提供統(tǒng)一、簡單、透明、安全的數(shù)據(jù)訪問接口和查詢方式,有效組織、管理非結構化數(shù)據(jù),保證低延遲、高吞吐量的數(shù)據(jù)服務及系統(tǒng)的高可用性。 面向非結構化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng)的主要思想是借鑒Bigtable的數(shù)據(jù)模型和架構思路并做出改進,采用鍵值對的形式提取非結構化數(shù)據(jù)的元數(shù)據(jù)信息、建立索引,并將索引信息及非結構化數(shù)據(jù)持久化存儲到文檔數(shù)據(jù)庫,同時,系統(tǒng)接口采用REST架構,提供系統(tǒng)平臺、語言無關的數(shù)據(jù)訪問方式,解決了Bigtable將復雜的數(shù)據(jù)處理和控制交由用戶實現(xiàn)的問題,工作主要集中在以下幾個方面:(1)根據(jù)NWR模型在數(shù)據(jù)一致性與可用性之間做出權衡,大量使用層次化的緩存結構,并根據(jù)數(shù)據(jù)的相關性建立了預緩存機制;(2)采用基于消息隊列的數(shù)據(jù)同步機制同步緩存與持久化存儲,使數(shù)據(jù)達到最終一致,同時還進行節(jié)點之間數(shù)據(jù)同步、備份,以保證有限數(shù)量節(jié)點失效時系統(tǒng)始終可用;(3)采用基于URL數(shù)字簽名的方式保證數(shù)據(jù)訪問的安全性,最后,提供復雜查詢功能以滿足不同層次的用戶需求,通過將鍵值對形式的查詢語法翻譯為類似于SQL的查詢語句進行實現(xiàn)。 在充分挖掘系統(tǒng)需求和特點的前提下實現(xiàn)了上述系統(tǒng),實驗表明,在高負載情況下該系統(tǒng)也能穩(wěn)定提供數(shù)據(jù)存儲服務。相比于以文件形式存于文件系統(tǒng)和以BLOB類型存于關系數(shù)據(jù)庫這兩種方式,面向非結構化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng)在吞吐量和并發(fā)處理能力上提高了大約30%,響應時間保持在200ms左右。
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2011
【分類號】：TP333

【引證文獻】

相關期刊論文 前1條

1 李春林;;海量非結構化數(shù)據(jù)存儲管理技術解析[J];中國-東盟博覽;2012年12期

本文編號：2801798