發(fā)布時間：2017-08-10 17:12

  本文關(guān)鍵詞：面向海量非結(jié)構(gòu)化數(shù)據(jù)的非關(guān)系型存儲管理機制

  更多相關(guān)文章： 非結(jié)構(gòu)化數(shù)據(jù) 海量數(shù)據(jù)存儲 非關(guān)系型存儲管理 一致性哈希 故障處理

【摘要】：針對傳統(tǒng)的關(guān)系數(shù)據(jù)存儲系統(tǒng)性能不足、容錯性差,無法適應(yīng)海量非結(jié)構(gòu)化數(shù)據(jù)管理的問題,提出一種高性能、高可用非關(guān)系型存儲管理機制。首先,設(shè)計了良好的用戶訪問服務(wù)接口,通過高效的一致性哈希算法支持數(shù)據(jù)分發(fā)到多個存儲節(jié)點;其次,采用可配置的數(shù)據(jù)副本機制改善存儲系統(tǒng)的可用性;最后,提出查詢故障處理機制,用以提升存儲系統(tǒng)的容錯性,避免節(jié)點失效導(dǎo)致服務(wù)中斷問題。實驗結(jié)果表明,在不同規(guī)模用戶負載下,新的存儲系統(tǒng)的并發(fā)訪問請求能力和傳統(tǒng)的文件系統(tǒng)、關(guān)系數(shù)據(jù)庫相比,分別提升了30%和50%;同時,在合理響應(yīng)時間內(nèi),故障狀態(tài)下的存儲系統(tǒng)的可用性損失小于14%。因此,該機制適用于海量非結(jié)構(gòu)化數(shù)據(jù)的高效存儲管理。
【作者單位】： 華中科技大學(xué)服務(wù)計算技術(shù)與系統(tǒng)教育部重點實驗室;中國地質(zhì)大學(xué)(武漢)智能地學(xué)信息處理湖北省重點實驗室;
【關(guān)鍵詞】： 非結(jié)構(gòu)化數(shù)據(jù) 海量數(shù)據(jù)存儲 非關(guān)系型存儲管理 一致性哈希 故障處理
【基金】：國家自然科學(xué)基金資助項目(61305087,61272470,61440060,61501412) 湖北省自然科學(xué)基金重點項目(2015CFA065) 中國博士后科學(xué)基金資助項目(2014M562086) 中央高�；究蒲袠I(yè)務(wù)費專項資金資助項目(CUGL130233)~~
【分類號】：TP311.13;TP333
【正文快照】： 0引言隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的普及與發(fā)展,人們對圖像、視頻、網(wǎng)頁、文檔等非結(jié)構(gòu)化數(shù)據(jù)的管理需求也日益增長。例如:搜索引擎行業(yè)巨頭Google公司每天處理超過20 PB的網(wǎng)頁數(shù)據(jù)[1];著名的社交網(wǎng)站Facebook存儲了超過2 PB的圖像、評論、用戶狀態(tài)信息等非結(jié)構(gòu)化數(shù)據(jù),并且數(shù)據(jù)，

本文編號：651904