本文選題：RAID + 糾刪碼　； 參考：《北京理工大學(xué)》2015年博士論文

【摘要】：在現(xiàn)代RAID系統(tǒng)中,可靠性和性能是最重要的兩個(gè)方面。在存儲(chǔ)介質(zhì)中利用糾刪碼可以提高可靠性。多年來(lái)研究人員嘗試?yán)脝纹媾夹ｒ?yàn)、鏡像、最大距離可分碼等不同方案來(lái)容錯(cuò)和備災(zāi)。但最新理論表明,隨著新技術(shù)的應(yīng)用和新理論的發(fā)展,這些技術(shù)不能很好得應(yīng)對(duì)新問題。目前,研究人員著手利用條帶寫數(shù)據(jù)時(shí)的糾刪碼技術(shù)方案提高存儲(chǔ)可靠性。本文的研究成果是在RAID存儲(chǔ)系統(tǒng)中提高了錯(cuò)誤數(shù)據(jù)的恢復(fù)效率和概率。論文的第一部分,分析了RAID6的工作機(jī)制、奇偶校驗(yàn)碼寫入機(jī)制、以及數(shù)據(jù)和校驗(yàn)碼更新機(jī)制。同時(shí)這一部分引出了一種新方案,利用雙糾刪碼來(lái)解決錯(cuò)誤數(shù)據(jù)恢復(fù)問題。在實(shí)現(xiàn)這一方案的過程中,我們發(fā)現(xiàn)現(xiàn)有的很多技術(shù)方法不能很好的處理大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng),比如只能處理單一磁盤的錯(cuò)誤。文中提出的新方法可以在一定程度上克服上述弊端,利用雙糾刪碼在校驗(yàn)盤的基礎(chǔ)上恢復(fù)數(shù)據(jù)。論文的第二部分,研究了RAID中單個(gè)磁盤的數(shù)據(jù)分布機(jī)制,即數(shù)據(jù)條帶化。所謂條帶化,是指將數(shù)據(jù)分塊,并將這些數(shù)據(jù)塊均衡分布到存儲(chǔ)系統(tǒng)的不同磁盤的不同區(qū)域。條帶數(shù)據(jù)塊大小是一個(gè)重要參數(shù),會(huì)極大影響各個(gè)磁盤的讀寫性能。隨著磁盤技術(shù)的發(fā)展,以及IO優(yōu)化技術(shù)的出現(xiàn),有必要進(jìn)一步分析研究這些變化給條帶化帶來(lái)的新影響。文中對(duì)此做了闡述。第三部分,描述了RAID6系統(tǒng)中發(fā)生數(shù)據(jù)錯(cuò)誤時(shí)的恢復(fù)方法。RAID6具有高容錯(cuò)性,但恢復(fù)效率差,每一校驗(yàn)集都需獨(dú)立計(jì)算,尤其影響寫效率。當(dāng)存儲(chǔ)系統(tǒng)中的某一數(shù)據(jù)出錯(cuò)時(shí),整個(gè)容錯(cuò)陣列都會(huì)受到很大影響。為此,我們?cè)O(shè)計(jì)了多種方法在數(shù)據(jù)重建過程中消除錯(cuò)誤數(shù)據(jù)影響。最后,我們使用糾刪碼來(lái)分析和優(yōu)化RAID6中的分塊,并采用XOR技術(shù)恢復(fù)失敗或崩潰的數(shù)據(jù),減少使用陣列資源來(lái)降低重建的不利因素。在這個(gè)RAID級(jí)別,我們使用2個(gè)奇偶校驗(yàn)設(shè)備和校驗(yàn)技術(shù)構(gòu)造擴(kuò)展陣列,以容許任何一個(gè)或兩個(gè)存儲(chǔ)設(shè)備故障。在此過程中新舊兩種都要應(yīng)用于校驗(yàn)數(shù)據(jù)的計(jì)算中。在更新存儲(chǔ)系統(tǒng)中,會(huì)實(shí)施6步操作(讀數(shù)據(jù)、寫數(shù)據(jù)、讀寫兩個(gè)校驗(yàn)盤),由此可以應(yīng)對(duì)數(shù)據(jù)災(zāi)害。論文的主要貢獻(xiàn)為:1、分析了雙糾刪碼技術(shù),并驗(yàn)證了其在RAID中數(shù)據(jù)容錯(cuò)應(yīng)用的有效性。2、改善了RAID中利用兩塊校驗(yàn)盤進(jìn)行小寫的性能。3、基于XOR技術(shù)優(yōu)化了利用糾刪碼在RAID中恢復(fù)數(shù)據(jù)的方案。
[Abstract]:In modern raid systems, reliability and performance are the two most important aspects. Using erasure codes in storage media can improve reliability. Over the years, researchers have tried to use single parity check, mirror image, maximum distance divisible code and other different schemes to fault tolerance and disaster preparedness. But the latest theory shows that with the application of new technology and the development of new theory, these technologies can not deal with new problems well. At present, researchers are using erasure code to improve storage reliability. The research result of this paper is to improve the recovery efficiency and probability of error data in raid storage system. In the first part of this paper, the working mechanism of RAID6, the parity code writing mechanism, and the updating mechanism of data and check codes are analyzed. At the same time, this part introduces a new scheme, using double erasure code to solve the problem of error data recovery. In the process of implementing this scheme, we find that many existing technical methods can not deal with large scale data storage system well, for example, we can only handle single disk errors. The new method proposed in this paper can overcome the above disadvantages to a certain extent and use double erasure codes to recover the data on the basis of the check disk. In the second part of this paper, we study the data distribution mechanism of single disk in raid, that is, data striping. Striping refers to dividing the data into blocks and distributing them evenly across different disks of the storage system. Strip data block size is an important parameter, which greatly affects the read and write performance of each disk. With the development of disk technology and the emergence of IO optimization technology, it is necessary to further analyze and study the new effects of these changes on striping. This article has made the elaboration to this. In the third part, we describe the recovery method of RAID6 system when data error occurs. RAID6 has high fault tolerance, but the recovery efficiency is poor, each check set needs to be calculated independently, especially affecting the write efficiency. When a data in the storage system goes wrong, the whole fault-tolerant array will be greatly affected. Therefore, we design a variety of methods to eliminate the impact of error data in the process of data reconstruction. Finally, we use erasure codes to analyze and optimize blocks in RAID6, and use XOR technology to restore data that fail or crash, reducing the use of array resources to reduce the adverse factors of reconstruction. At this raid level, we use two parity devices and check techniques to construct an extended array to allow any or both storage devices to fail. In this process, both the new and the old should be applied to the calculation of the calibration data. In the update storage system, six steps will be implemented (read data, write data, read and write two checkboxes), which can deal with data disaster. The main contribution of this paper is to analyze the technology of double erasure code. The validity of the data fault-tolerant application in raid is verified, and the performance of using two check disks in raid for lowercase is improved. Based on XOR technology, the scheme of recovering data in raid by erasure code is optimized.
【學(xué)位授予單位】：北京理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333.35

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫志卓;李元章;左偉歡;萬(wàn)軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學(xué)學(xué)報(bào);2014年02期

2 李俊濤;周其力;;基于改進(jìn)分組遺傳算法的虛擬機(jī)初始化放置算法[J];電子科技;2015年06期

3 鐘瀟柔;翟健宏;;基于動(dòng)態(tài)遺傳算法的云計(jì)算任務(wù)節(jié)能調(diào)度策略研究[J];智能計(jì)算機(jī)與應(yīng)用;2015年03期

4 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計(jì)算平臺(tái)的能耗管理[J];計(jì)算機(jī)學(xué)報(bào);2012年06期

5 劉永;王新華;王朕;隋敬麒;;節(jié)能及信任驅(qū)動(dòng)的虛擬機(jī)資源調(diào)度[J];計(jì)算機(jī)應(yīng)用研究;2012年07期

6 廖彬;于炯;孫華;年梅;;基于存儲(chǔ)結(jié)構(gòu)重配置的分布式存儲(chǔ)系統(tǒng)節(jié)能算法[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

7 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

8 曾凱;佘X;敬思遠(yuǎn);;云環(huán)境下基于功耗感知的虛擬機(jī)博弈遷移算法[J];計(jì)算機(jī)應(yīng)用研究;2013年06期

9 王加昌;曾輝;何騰蛟;張娜;;面向數(shù)據(jù)中心的虛擬機(jī)部署及優(yōu)化算法[J];計(jì)算機(jī)應(yīng)用;2013年10期

10 Claudia Canali;Riccardo Lancellotti;;Improving Scalability of Cloud Monitoring Through PCA-Based Clustering of Virtual Machines[J];Journal of Computer Science & Technology;2014年01期

相關(guān)博士學(xué)位論文 前9條

1 胡晗;大規(guī)模網(wǎng)絡(luò)服務(wù)系統(tǒng)能耗控制與性能優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

2 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

3 劉志飄;成本感知的云服務(wù)虛擬資源供應(yīng)機(jī)制研究[D];北京郵電大學(xué);2013年

4 敬思遠(yuǎn);面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

5 樊沛;虛擬計(jì)算環(huán)境中面向通信特征的應(yīng)用部署優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

6 龍賽琴;云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)布局策略研究[D];華南理工大學(xué);2014年

7 徐昕;基于博弈論的云計(jì)算資源調(diào)度方法研究[D];華東理工大學(xué);2015年

8 張樹本;云計(jì)算數(shù)據(jù)中心的能耗成本建模與優(yōu)化研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

9 郭力爭(zhēng);云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 湯慧明;面向任務(wù)調(diào)度的集群功耗管理[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 劉永;云計(jì)算環(huán)境下虛擬機(jī)資源調(diào)度策略研究[D];山東師范大學(xué);2012年

3 陳靜怡;云環(huán)境下基于內(nèi)存共享的服務(wù)器整合算法研究[D];復(fù)旦大學(xué);2012年

4 謝文靜;云計(jì)算環(huán)境下虛擬機(jī)資源分配優(yōu)化方法研究[D];湖南大學(xué);2011年

5 王文婷;云環(huán)境下多約束動(dòng)態(tài)虛擬資源管理研究[D];上海交通大學(xué);2013年

6 訾晨楊;虛擬化數(shù)據(jù)中心能耗管理自適應(yīng)系統(tǒng)的設(shè)計(jì)[D];上海交通大學(xué);2013年

7 劉培松;云計(jì)算環(huán)境下任務(wù)調(diào)度和資源分配策略的研究[D];華東師范大學(xué);2013年

8 張飛飛;云環(huán)境中基于Map/Reduce的虛擬機(jī)調(diào)度策略研究[D];西安電子科技大學(xué);2013年

9 彭近堯;基于能效的數(shù)據(jù)中心資源整合機(jī)制[D];電子科技大學(xué);2013年

10 武靜;云計(jì)算平臺(tái)調(diào)度管理技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號(hào)：1998620