【摘要】：近年來,隨著信息技術的飛速發(fā)展,數據海量化逐漸成為一種趨勢。如何有效可靠地存儲這些海量數據成為一個亟待解決的問題。針對傳統集中式存儲在可靠性、可擴展性等方面的局限性,分布式存儲系統以其低成本和高可擴展性等特點,逐漸贏得廣泛關注。為保證系統的可靠性,分布式存儲系統常采用冗余存儲的方式,以犧牲一定的存儲開銷為代價來換取系統可靠性。復制與糾刪碼是分布式存儲系統中2種傳統的冗余存儲策略。為解決復制策略在存儲開銷方面以及糾刪碼策略在修復帶寬開銷方面的不足,網絡編碼技術被引入到分布式存儲系統中,稱為再生碼,用于均衡系統存儲開銷與修復帶寬開銷。本文重點針對基于再生碼的節(jié)點修復方法進行了研究,主要工作如下:(1)基于MSR碼的分布式存儲系統單節(jié)點修復算法由于人為操作失誤或機器故障等原因,常常導致分布式存儲系統中某些節(jié)點不可用,無法獲取節(jié)點上存儲的數據,這樣的節(jié)點稱為失效節(jié)點。為維持系統的可靠性,設計一個良好的節(jié)點修復機制對失效節(jié)點進行修復,對于分布式存儲系統非常重要。本文提出了一種新的基于MSR碼的分布式存儲系統節(jié)點修復算法,該算法可以對單節(jié)點進行確定性修復。該算法首先對系統中的節(jié)點進行分組,對原始文件進行分組存儲,每個節(jié)點都有其對應的唯一分組,且各個分組相互獨立。其次,每個分組內,采用異或算法對原始文件數據塊進行編碼存儲,不涉及有限域乘法等高級運算。最后,解碼時,各分組可同時獨立進行,同時,新生節(jié)點對失效節(jié)點上數據進行修復時,只與該分組有關,通過連接該分組其他存活節(jié)點并下載少量數據進行異或運算即可完成精確修復,減小磁盤I/O開銷與修復復雜度。(2)基于MBR碼的多節(jié)點協作修復算法除了單節(jié)點失效外,在分布式存儲系統中,多節(jié)點同時失效的情況也時有發(fā)生,并且,在有些分布式存儲系統中,采用的是延遲修復,即失效節(jié)點數目達到一定數目時,才啟動修復過程,因此,對分布式存儲系統的多節(jié)點修復算法進行研究也是很有必要的。相比于將多節(jié)點修復分解為單個節(jié)點依次修復,多個節(jié)點協作修復能減小修復帶寬開銷。本文對基于MBR碼的多節(jié)點協作修復方法進行了研究,給出了一種新的基于MBR碼的多節(jié)點協作修復方法。理論分析表明,本文所提方法達到了其修復帶寬的理論最小值。
【圖文】：

第二章 分布式存儲系統概述17圖2.7 存儲-帶寬開銷權衡曲線上圖，橫軸表示修復單個節(jié)點的帶寬開銷，縱軸表示每個存儲節(jié)點的存儲開銷。由圖，當節(jié)點存儲開銷不斷增加時，修復帶寬開銷會不斷減小，達到某一點時，不再減小，該點對應該再生碼系統的修復帶寬下界；同理，當修復帶寬不斷增加時，，節(jié)點存儲開銷不斷減小，到達某一點時，存儲開銷不在減小，該點對應該再生碼系統的存儲開銷下界。這兩個下界點，分別對應最小修復帶寬再生(Minimum BandwidthRegeneration, MBR )碼和最小存儲再生(Minimum Storage Regeneration, MSR)碼。由前面存儲開銷閾值函數，可得到 MSR 點的存儲開銷為和修復帶寬開銷分別為： , ,( 1)MSR MSRM Mdk k d k (2-12)同理，MBR 點的存儲開銷與修復帶寬開銷分別為： 2 22 2, ,2 2MBR MBRMd Mdkd k k kd k k (2-13)圖 2.7 對再生碼存儲開銷與修復帶寬開銷進行分析時
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 孫韶輝,王新梅;互聯網數據可靠傳輸中前向糾錯技術[J];長安大學學報(自然科學版);2002年02期

相關博士學位論文 前3條

1 趙浩天;基于網絡編碼的分布式存儲容錯及擴容問題研究[D];中國科學技術大學;2013年

2 王禹;分布式存儲系統中的數據冗余與維護技術研究[D];華南理工大學;2011年

3 胡q

本文編號：2658141