基于糾刪碼的分布式固態(tài)盤鍵值存儲系統(tǒng)優(yōu)化設(shè)計
發(fā)布時間:2023-01-25 21:50
互聯(lián)網(wǎng)的高速發(fā)展帶來了數(shù)據(jù)量的激增,海量的數(shù)據(jù)請求都需要存儲系統(tǒng)提供快速響應(yīng),并提供高可用性保證。為提高系統(tǒng)性能,熱門數(shù)據(jù)大量緩存在高速鍵值存儲系統(tǒng)中,以減輕數(shù)據(jù)庫的壓力。緩存失效會導(dǎo)致數(shù)據(jù)庫的負(fù)載極大增加,導(dǎo)致系統(tǒng)性能下降,甚至崩潰。Twitter的Fatcache與Facebook的Mcdipper均為基于固態(tài)盤的分布式鍵值緩存系統(tǒng),為大量數(shù)據(jù)提供相對較低成本緩存,然而均未為數(shù)據(jù)提供可靠性保證。糾刪碼具有良好的容錯性,存儲開銷小,被廣泛應(yīng)用于分布式存儲系統(tǒng)中以保證數(shù)據(jù)可靠性,但糾刪碼在更新、修復(fù)失效數(shù)據(jù)塊時需要獲取大量數(shù)據(jù),為系統(tǒng)帶來了響應(yīng)性能低、帶寬成本高的挑戰(zhàn)。論文設(shè)計了基于糾刪碼的高可靠固態(tài)盤鍵值存儲系統(tǒng)EC-fatcache,實現(xiàn)了校驗塊日志方案以優(yōu)化更新操作,在更新數(shù)據(jù)塊時不對校驗塊進(jìn)行及時更新,以減少固態(tài)盤壽命損耗、提升更新性能,針對校驗塊日志方案帶來的降級讀性能下降問題,設(shè)計了首塊校驗塊優(yōu)化方案以優(yōu)化降級讀操作,增加一個基于內(nèi)存的節(jié)點集中存放各條帶中的首塊校驗塊,以提升性能、降低成本,更好地適應(yīng)讀密集應(yīng)用場景。實驗測試表明,EC-fatcache與副本方案相比能夠節(jié)省...
【文章頁數(shù)】:65 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 國內(nèi)外研究現(xiàn)狀
1.3 研究內(nèi)容和目標(biāo)
1.4 本文的組織結(jié)構(gòu)
2 EC-fatcache系統(tǒng)設(shè)計
2.1 EC-fatcache系統(tǒng)設(shè)計動機(jī)
2.2 EC-fatcache系統(tǒng)功能模塊設(shè)計
2.3 基于校驗塊日志更新方案的優(yōu)化設(shè)計
2.4 面向讀密集的校驗塊日志更新方案的優(yōu)化
2.5 本章小結(jié)
3 EC-fatcache系統(tǒng)實現(xiàn)
3.1 基本功能模塊的實現(xiàn)
3.2 校驗塊日志方案的實現(xiàn)
3.3 首塊校驗塊優(yōu)化方案的實現(xiàn)
3.4 本章小結(jié)
4 EC-fatcache系統(tǒng)測試與分析
4.1 功能測試
4.2 性能測試與分析
4.3 本章小結(jié)
5 總結(jié)與展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J]. 王意潔,孫偉東,周松,裴曉強(qiáng),李小勇. 軟件學(xué)報. 2012(04)
本文編號:3731834
【文章頁數(shù)】:65 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 國內(nèi)外研究現(xiàn)狀
1.3 研究內(nèi)容和目標(biāo)
1.4 本文的組織結(jié)構(gòu)
2 EC-fatcache系統(tǒng)設(shè)計
2.1 EC-fatcache系統(tǒng)設(shè)計動機(jī)
2.2 EC-fatcache系統(tǒng)功能模塊設(shè)計
2.3 基于校驗塊日志更新方案的優(yōu)化設(shè)計
2.4 面向讀密集的校驗塊日志更新方案的優(yōu)化
2.5 本章小結(jié)
3 EC-fatcache系統(tǒng)實現(xiàn)
3.1 基本功能模塊的實現(xiàn)
3.2 校驗塊日志方案的實現(xiàn)
3.3 首塊校驗塊優(yōu)化方案的實現(xiàn)
3.4 本章小結(jié)
4 EC-fatcache系統(tǒng)測試與分析
4.1 功能測試
4.2 性能測試與分析
4.3 本章小結(jié)
5 總結(jié)與展望
致謝
參考文獻(xiàn)
【參考文獻(xiàn)】:
期刊論文
[1]云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J]. 王意潔,孫偉東,周松,裴曉強(qiáng),李小勇. 軟件學(xué)報. 2012(04)
本文編號:3731834
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/3731834.html
最近更新
教材專著