近年來,隨著互聯(lián)網(wǎng)的普及與大數(shù)據(jù)的蓬勃發(fā)展,各大云服務提供商和各大電商的業(yè)務不斷擴張,數(shù)據(jù)量呈爆發(fā)式增長,海量數(shù)據(jù)的存儲與管理給分布式數(shù)據(jù)庫系統(tǒng)帶來嚴峻的挑戰(zhàn)。傳統(tǒng)分布式數(shù)據(jù)庫架構的一個顯著特點是計算(查詢解析、查詢優(yōu)化等)與存儲(數(shù)據(jù)持久化、備份、故障恢復等)在物理上緊耦合,但是該模式下計算與存儲業(yè)務存在資源競爭,性能相互制約,同時也使得集群難以實現(xiàn)快速彈性擴展,系統(tǒng)調(diào)度效率較低。本論文針對以上問題進行深入研究,將數(shù)據(jù)庫這個“黑盒子”打開,研究如何在分布式數(shù)據(jù)庫上實現(xiàn)計算與存儲分離,即將查詢解析、查詢優(yōu)化等計算邏輯與數(shù)據(jù)持久化、備份、故障恢復等存儲業(yè)務在物理上解耦,實現(xiàn)上層計算層無狀態(tài),底層存儲層池化。同時,由于近年來NoSQL數(shù)據(jù)庫憑借其高可用、高可擴展的優(yōu)良特性被廣泛應用于海量數(shù)據(jù)管理,因此本論文采用NoSQL中的一個重要分支Key-Value數(shù)據(jù)模型進行數(shù)據(jù)庫系統(tǒng)的實現(xiàn)。具體而言,本論文主要完成以下工作:(1)深入研究數(shù)據(jù)庫計算與存儲分離的意義與可行性,調(diào)研當前國內(nèi)外計算與存儲分離數(shù)據(jù)庫系統(tǒng)的發(fā)展現(xiàn)狀,在充分的調(diào)研工作基礎上完成本論文系統(tǒng)整體架構設計與功能模塊設計。(2)針對計...

【文章頁數(shù)】：81 頁

【學位級別】：碩士

【部分圖文】：

圖5-1增刪改基本操作測試代碼片段

圖5-1增刪改基本操作測試代碼片段圖5-2增刪改基本操作結果單點故障恢復測試本小節(jié)將測試系統(tǒng)自愈能力，主要測試計算層主節(jié)點宕機之后，系統(tǒng)能否監(jiān)測到異常并重新發(fā)起選舉，完成新主節(jié)點的更替，繼續(xù)提供服務。首先啟動集群，CacheRaft進行一次選舉，從日志文件可以看出，節(jié)點....

圖5-4集群選舉過程

圖5-4集群選舉過程負載均衡測試本小節(jié)為負載均衡測試。由于計算層沒有數(shù)據(jù)持久化功能，因此僅測試存儲層數(shù)據(jù)分布情況。本小節(jié)測試中，調(diào)用Put函數(shù)向系統(tǒng)輸入測試數(shù)據(jù)100w條，單條記錄大小為1KB，由于存儲層采用三副本模式，因此系統(tǒng)存儲總數(shù)據(jù)量大約為3GB。操作完成后....

圖5-5OSD存儲空間使用情況

圖5-4集群選舉過程負載均衡測試本小節(jié)為負載均衡測試。由于計算層沒有數(shù)據(jù)持久化功能，因此僅測試存儲層數(shù)據(jù)分布情況。本小節(jié)測試中，調(diào)用Put函數(shù)向系統(tǒng)輸入測試數(shù)據(jù)100w條，單條記錄大小為1KB，由于存儲層采用三副本模式，因此系統(tǒng)存儲總數(shù)據(jù)量大約為3GB。操作完成后....

本文編號：3928665