近年來,在數(shù)據(jù)泛濫的時代,從電子商務(wù)到社交網(wǎng)絡(luò)等移動互聯(lián)網(wǎng)技術(shù)的應(yīng)用,用戶以前所未有的規(guī)模產(chǎn)生了大量的數(shù)據(jù)。傳統(tǒng)的通過增加服務(wù)器并采用基于分庫分表的方法來解決數(shù)據(jù)庫擴展性問題需要大量的人工維護成本和硬件開銷。為了降低開銷和分庫分表帶來的各種問題,業(yè)界通常利用新型數(shù)據(jù)庫系統(tǒng)替換原有的系統(tǒng)。其中,基于日志結(jié)構(gòu)合并樹存儲的數(shù)據(jù)庫系統(tǒng)(例如:OceanBase)被廣泛采用,這類系統(tǒng)磁盤上存儲的數(shù)據(jù)塊一般呈現(xiàn)全局有序的特征。在從傳統(tǒng)數(shù)據(jù)庫切換到新型數(shù)據(jù)庫過程中,需要將大量數(shù)據(jù)加載到新型數(shù)據(jù)庫系統(tǒng)中,并且長時間加載過程中可能出現(xiàn)存儲節(jié)點故障或加載進程故障。為了減少總加載時間和故障恢復時間,本文提出一種負載均衡且支持高效故障恢復的數(shù)據(jù)加載方法。為了支持負載均衡的數(shù)據(jù)加載,考慮到目標系統(tǒng)默認存儲塊大小,本文采用一種預計算分區(qū)數(shù)目方法,這種方法基于目標系統(tǒng)默認存儲塊大小和加載數(shù)據(jù)文件大小,同時利用數(shù)據(jù)在分庫分表的系統(tǒng)中導出通常局部有序的特點,選擇一些采樣塊并等間隔選樣本來確定分區(qū)間邊界點,減少選取所有采樣塊并在每個采樣塊中頭部或隨機選樣本引起的高開銷。為了處理不同的故障類型,加快故障恢復速度,特別是存儲...

【文章頁數(shù)】：95 頁

【學位級別】：碩士

【部分圖文】：

圖4.5采樣塊數(shù)

華東師范大學碩士學位論文（圖4.5中的陰影塊）進行采樣來估計數(shù)據(jù)集的大致分布情況，相當于在每個分區(qū)中選擇一個采樣塊。圖4.5采樣塊數(shù)樣本選取在確定了采樣塊的數(shù)目后，需要進一步從所有數(shù)據(jù)塊中選擇需要數(shù)目的數(shù)據(jù)塊作為采樣塊，然后在每個采樣塊中按照一定方法選擇樣本，通常有以下三種方法可....

圖4.6樣本選取部選取樣本，在每個采樣塊中選擇前個作為樣本，雖然效率高，但不適用

華東師范大學碩士學位論文圖4.6樣本選取部選取樣本，在每個采樣塊中選擇前n個key作為樣本，雖然效率高，但不適用于有序數(shù)據(jù)，因此，本文采用等間隔選取樣本。在收集所有樣本數(shù)據(jù)后，需要對樣本集合進行一個排序，然后根據(jù)分區(qū)數(shù)目確定分區(qū)之間的邊界點，即生成的邊界點等于分區(qū)數(shù)目減去1。4.....

圖5.2遷移過程中存儲節(jié)點故障

?.6的故障恢復時間Tr來近似表示。由定義3.2中式3.6可得，當數(shù)據(jù)量比較大時，一個存儲節(jié)點上分配的副本數(shù)量也比較多，如果存儲節(jié)點發(fā)生故障，則會導致大量副本數(shù)據(jù)需要重新加載，即Np值較大。雖然可以并行分配給其它正常工作的存儲節(jié)點來并行恢復，但單個存儲節(jié)點恢復的副本量仍然比較大，....

圖5.3存儲節(jié)點故障下基于重啟全局故障恢復

華東師范大學碩士學位論文圖5.3存儲節(jié)點故障下基于重啟全局故障恢復圖5.4存儲節(jié)點故障下基于副本局部故障恢復5.2.2基于副本局部故障恢復在上一節(jié)中，我們主要討論了在數(shù)據(jù)遷移過程中存儲節(jié)點發(fā)生故障時基于重啟全局故障恢復方法下的恢復時間的分析，而這種方法通常需要重新從數(shù)據(jù)源拉取所有....

本文編號：3959209