本文選題：云存儲 + 糾刪碼��； 參考：《東北大學》2013年碩士論文

【摘要】：隨著云計算時代的到來,各種應用程序需要分析計算的數(shù)據(jù)所占用的空問越來越大,一度由GB到TB甚至發(fā)展到EB數(shù)量級。隨著數(shù)據(jù)量的增大,需要的存儲空間也變得越來越大,相應的能源消耗也越來越大。在云存儲環(huán)境下,研究如何利用糾刪碼編碼技術(shù)和重復數(shù)據(jù)刪除技術(shù)有效的提高存儲空間利用率是有現(xiàn)實意義的。本文對現(xiàn)有的云存儲技術(shù)進行了分析,現(xiàn)有研究表明以糾刪碼為容災策略的數(shù)據(jù)存儲技術(shù)相比多副本存儲技術(shù)能夠節(jié)省更多的存儲空間和網(wǎng)絡帶寬；在云計算平臺Hadoop中,大量數(shù)據(jù)之間存在重復數(shù)據(jù),而重復數(shù)據(jù)刪除技術(shù)能發(fā)現(xiàn)這些重復的數(shù)據(jù),避免重復數(shù)據(jù)的存儲,提高存儲空間利用率�？挛骼锏�-所羅門編碼是一種主流的糾刪碼編碼方式,為了優(yōu)化云存儲中柯西里德-所羅門編碼效率,并向云儲存系統(tǒng)中加入重復數(shù)據(jù)刪除功能,本文做了以下幾方面的工作：(1)提出了一種優(yōu)化柯西里德-所羅門編碼效率的選擇框架。任何利用柯西里德-所羅門編碼的數(shù)據(jù)存儲系統(tǒng)都可以利用該選擇框架產(chǎn)生高效的數(shù)據(jù)編碼調(diào)度,以用于提高編碼效率。(2)將上述選擇框架產(chǎn)生的優(yōu)化調(diào)度方案集成到了Hadoop中去,優(yōu)化了云存儲環(huán)境下的柯西里德-所羅門編碼的編碼效率。(3)在Hadoop平臺的每個數(shù)據(jù)節(jié)點實現(xiàn)了重復數(shù)據(jù)刪除功能,提高了每個數(shù)據(jù)節(jié)點的存儲空間利用率。在Hadoop云存儲實驗平臺上實現(xiàn)了柯西里德-所羅門編碼效率的優(yōu)化和重復數(shù)據(jù)刪除功能。本文提高了云存儲中柯西里德-所羅門編碼效率,提高了存儲空間利用率。
[Abstract]:With the advent of cloud computing, applications need to analyze the calculation of the data occupied more and more empty question, once from GB to TB and even developed to EB order of magnitude. As the amount of data increases, the storage space needed becomes larger and larger, and the corresponding energy consumption becomes larger and larger. In the cloud storage environment, it is of practical significance to study how to use erasure coding technology and repeated data deletion technology to effectively improve the utilization of storage space. In this paper, the existing cloud storage technology is analyzed. The existing research shows that the data storage technology with erasure code as disaster recovery strategy can save more storage space and network bandwidth than multi-copy storage technology. There are repeated data among a large number of data, and repeated data deletion technology can find these duplicated data, avoid the storage of duplicate data, and improve the utilization of storage space. Caucheld-Solomon coding is a mainstream erasure coding method. In order to optimize the efficiency of Cauchy Reed-Solomon coding in cloud storage, and add duplicate data deletion function to cloud storage system, In this paper, the following work is done: 1) A selection framework is proposed to optimize the efficiency of Caucheld-Solomon coding. Any data storage system using Caucheld-Solomon coding can use the selection framework to generate efficient data coding scheduling, which can be used to improve coding efficiency. (2) the optimal scheduling scheme generated by the above selection framework is integrated into Hadoop. The coding efficiency of Caucheld-Solomon coding in cloud storage environment is optimized. The efficiency of repeated data deletion is realized at each data node in Hadoop platform and the storage space utilization ratio of each data node is improved. The optimization of Caucheld-Solomon coding efficiency and the repeated data deletion are realized on the Hadoop cloud storage experimental platform. In this paper, the efficiency of Cauchy-Solomon coding in cloud storage is improved, and the utilization of storage space is improved.
【學位授予單位】：東北大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 ;重復數(shù)據(jù)刪除可實現(xiàn)25:1壓縮[J];每周電腦報;2007年01期

2 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數(shù)據(jù)刪除技術(shù)[J];計算機研究與發(fā)展;2011年S1期

3 Eric Bassier;;應對數(shù)據(jù)增長的重磅武器——重復數(shù)據(jù)刪除技術(shù)[J];計算機與網(wǎng)絡;2013年06期

4 于丹;;昆騰進入重復數(shù)據(jù)刪除市場[J];每周電腦報;2007年09期

5 盧敏;;“零距離”重復數(shù)據(jù)刪除[J];軟件世界;2008年11期

6 盧敏;;點亮“重復數(shù)據(jù)刪除”[J];軟件世界;2008年06期

7 徐立洋;;選購重復數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計算機用戶;2009年08期

8 邢延剛;;刪除重復值我有妙法[J];電腦迷;2009年09期

9 李剛;;重復數(shù)據(jù)刪除走向“源頭”[J];中國計算機用戶;2009年16期

10 雷赫;;重復數(shù)據(jù)刪除技術(shù)方案選型 刪除冗余 優(yōu)化存儲[J];中國計算機用戶;2009年23期

相關(guān)會議論文 前3條

1 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復數(shù)據(jù)刪除的靶場試驗信息存儲技術(shù)[A];2009年西部光子學學術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學術(shù)交流會議論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 本報記者 張偉;重復數(shù)據(jù)刪除能被扶正嗎[N];中國計算機報;2008年

2 王琨月;重復數(shù)據(jù)刪除不該忽視弱點[N];網(wǎng)絡世界;2008年

3 本報記者 郭濤;基于硬件的重復數(shù)據(jù)刪除效率更高[N];中國計算機報;2009年

4 朱皎;重復數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報;2009年

5 邢小萍;重復數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡世界;2009年

6 本報記者 刑小萍;重復數(shù)據(jù)刪除市場迎來開門紅[N];網(wǎng)絡世界;2010年

7 清水　編譯;部署重復數(shù)據(jù)刪除[N];計算機世界;2010年

8 編譯 張磊;誰在拖重復數(shù)據(jù)刪除的后腿[N];中國計算機報;2009年

9 本報記者 郭濤;重復數(shù)據(jù)刪除2.0追求“雙高”[N];中國計算機報;2012年

10 編譯 沈建苗;你果真需要重復數(shù)據(jù)刪除技術(shù)嗎[N];計算機世界;2013年

相關(guān)博士學位論文 前10條

1 林彬;主存儲服務系統(tǒng)中高I/O性能的重復數(shù)據(jù)刪除技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 閻芳;重復數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學;2015年

3 周炳;海量數(shù)據(jù)的重復數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學;2015年

4 王國華;高效重復數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學;2014年

5 王燦;基于在線重復數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學;2012年

6 付印金;面向云環(huán)境的重復數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2013年

7 周正達;信息存儲系統(tǒng)中重復數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學;2012年

8 楊天明;網(wǎng)絡備份中重復數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學;2010年

9 朱銳;重復數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學;2013年

10 葉鵬迪;云存儲系統(tǒng)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學;2014年

相關(guān)碩士學位論文 前10條

1 張明月;客戶端加密重復數(shù)據(jù)刪除機制的研究[D];西安電子科技大學;2014年

2 黃可;重復數(shù)據(jù)可刪除的云數(shù)據(jù)審計協(xié)議的研究[D];電子科技大學;2015年

3 王振宇;安全云存儲中重復數(shù)據(jù)刪除機制研究[D];南京郵電大學;2015年

4 李志然;云存儲中集群重復數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計[D];東北大學;2014年

5 張宏亮;重復數(shù)據(jù)刪除技術(shù)在云存儲中的應用與實現(xiàn)[D];華中科技大學;2014年

6 曹秀秀;面向XML相似性重復數(shù)據(jù)的清洗方法研究[D];首都經(jīng)濟貿(mào)易大學;2016年

7 彭健;基于重復數(shù)據(jù)刪除的教育資源管理系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2016年

8 陳琳;基于存儲系統(tǒng)的重復數(shù)據(jù)刪除技術(shù)的研究[D];南京郵電大學;2016年

9 涂群;云存儲系統(tǒng)中重復數(shù)據(jù)刪除機制的研究[D];南京郵電大學;2016年

10 曲新奎;云存儲中數(shù)據(jù)編碼優(yōu)化和重復數(shù)據(jù)刪除技術(shù)研究[D];東北大學;2013年

，

本文編號：1799421