為了應對日漸增長的數(shù)據規(guī)模和存儲集群規(guī)模以及對數(shù)據讀寫越來越嚴格的性能要求,分布式存儲系統(tǒng)在數(shù)據存儲業(yè)界得到了日漸廣泛的應用。在分布式存儲系統(tǒng)中,為了使數(shù)據獲得更好的可用性,對數(shù)據進行冗余是很有必要的。副本是一種常用的冗余方式,在規(guī)模較大的系統(tǒng)中,由于數(shù)據體量是極為龐大的,如果不使用合理高效的算法對數(shù)據副本進行放置,將會對整個系統(tǒng)造成極大的性能損失。在分布式存儲系統(tǒng)中,目前應用較為廣泛的數(shù)據分布算法包括crush算法以及kinesis算法等。crush算法旨在存儲集群發(fā)生變化時獲得最少的數(shù)據移動,而kinesis算法旨在在相對靈活的存儲位置選擇下,使系統(tǒng)的資源使用更加均勻。但是這些現(xiàn)有的數(shù)據分布算法都沒有關注讀寫均勻問題,對讀寫均勻關注的缺失導致集群中的節(jié)點之間在故障恢復和數(shù)據遷移過程中出現(xiàn)負載不均,從而增加花費的時間。因此,我們針對上述的問題展開研究,目標旨在在分布式存儲系統(tǒng)中,找到一種可以滿足讀寫均勻特性的數(shù)據分布方法,保證在同一節(jié)點上不會放置相同數(shù)據的多個副本,并且可以隨著集群的動態(tài)擴展進行數(shù)據副本的自動調整,保持數(shù)據的讀寫均勻特性。針對crush算法存在的問題,我們提出了一種新... 

【文章來源】：吉林大學吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【部分圖文】：

crush算法映射過程

圖 2.1 crush 算法映射過程指的是對象存儲設備(OSD)分布的邏輯視圖，其中 間的 bucket 節(jié)點可以根據集群的不同情況表示不同、數(shù)據中心等。指定了對象數(shù)據副本應當如何放置，即在存儲集群的節(jié)點存放數(shù)據，這為數(shù)據分布提供了極大的靈活性，點用于雙向鏡像，一條策略用于在兩個不同數(shù)據中心像，一條策略用于六個節(jié)點上的 RAID-4 等。說明了放置策略的執(zhí)行步驟，take(a)操作選擇存儲層一個 bucket)。select(n,t)操作在以該節(jié)點為根的子樹點。每次執(zhí)行 select 將會在節(jié)點中使用函數(shù) c(r,x)進符合要求的 t 類型的節(jié)點為止。

第 2 章 典型數(shù)據分布算法介紹原則：結構化(將服務器劃分為幾個故障隔離段)，自由選擇(根據當前資源可用性自由分配最佳服務器來存儲和檢索數(shù)據)和分散分布(系統(tǒng)中副本的獨立，偽隨機分布) 。這些設計原則使存儲系統(tǒng)能夠在存在增量系統(tǒng)擴展，單個和共享組件故障以及數(shù)據大小和流行度的偏差分布的情況下實現(xiàn)存儲和網絡資源的均衡利用。反過來可以顯著降低資源配置成本，具有良好的用戶感知響應時間，以及故障的快速并行恢復速度。

【參考文獻】：
期刊論文
[1]面向大數(shù)據分析的分布式文件系統(tǒng)關鍵技術[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)



本文編號：3234775