本文選題：云存儲系統(tǒng)　切入點：可靠性　出處：《計算機應用與軟件》2014年02期

【摘要】：在云存儲中,數(shù)據(jù)可以分為三種類型:讀頻繁、寫頻繁以及冷數(shù)據(jù)。對不同類型的數(shù)據(jù)設置不同的編碼機制:對讀頻繁數(shù)據(jù)采用多副本技術,頻繁寫的數(shù)據(jù)采用單文件編碼方案,冷數(shù)據(jù)采用跨文件編碼方案。在云存儲系統(tǒng)中提出了一種新的糾刪碼技術的可靠性機制—魔方碼,該編碼易于實現(xiàn),具備高的容錯性并且相比多副本機制可以減少資源的消耗。以HDFS上的一個RAID包為基礎,實現(xiàn)魔方碼的原型,并添加BlaumRoth、RDP以對比測試。雖然各種編碼各有優(yōu)缺點,通過單機和集群測試RAID-5、BlaumRoth、RDP和魔方碼的編譯碼速度,魔方碼譯碼速度比現(xiàn)有最優(yōu)RAID-6編碼RDP碼提高了一個數(shù)量級。同時,針對大規(guī)模分布式系統(tǒng)提出了一種三維糾刪碼,可以容任意7個錯誤。總之,測試結(jié)果顯示魔方碼相比三份副本技術,在減少一半資源消耗的同時可以保證高的可用性和可靠性。
[Abstract]:In cloud storage, data can be divided into three types: frequent reading, frequent writing and cold data. Different encoding mechanisms are set for different types of data. This paper presents a new reliability mechanism of erasure correcting code, which is the magic square code, which is easy to realize in cloud storage system. It has high fault tolerance and can reduce resource consumption compared with multi-copy mechanism. Based on a RAID package on HDFS, it implements the prototype of the magic code and adds Blaum Roth RDP to compare the test. Although each coding has its own advantages and disadvantages, By testing the encoding and decoding speed of RAID-5 Blaum Rothian RDP and magic cube code on single computer and cluster, the decoding speed of magic square code is improved by an order of magnitude compared with the existing optimal RAID-6 coding RDP code. At the same time, a three dimensional erasure correcting code is proposed for large-scale distributed system. All in all, the test results show that compared with three replicas, the code can reduce resource consumption by half while ensuring high availability and reliability.
【作者單位】： 武漢體育學院體育工程與信息技術系;
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 吳吉義;章劍林;傅建慶;平玲娣;;基于Kademlia的云存儲系統(tǒng)數(shù)據(jù)冗余方案研究[J];電信科學;2011年02期

【共引文獻】

相關期刊論文 前10條

1 王青峰;;云計算及云數(shù)據(jù)管理技術研究初探[J];計算機光盤軟件與應用;2013年04期

2 馬瑋駿;吳海佳;劉鵬;;MassCloud云存儲系統(tǒng)構(gòu)架及可靠性機制[J];河海大學學報(自然科學版);2011年03期

3 馬曉亭;陳臣;;數(shù)字圖書館云存儲應用系統(tǒng)研究與實現(xiàn)[J];圖書館理論與實踐;2012年05期

4 張殿奎;;基于云計算的虛擬化存儲技術研究[J];科技傳播;2013年16期

5 馬曉亭;陳臣;;云計算環(huán)境下基于收益優(yōu)化的數(shù)字圖書館網(wǎng)絡虛擬化研究[J];情報科學;2014年03期

6 張巍;賈玉輝;張志楠;;一種語音識別的可定制云計算方法[J];中國海洋大學學報(自然科學版);2014年01期

7 曹英忠;謝曉蘭;趙鵬;;基于Hadoop的云存儲實踐[J];現(xiàn)代計算機(專業(yè)版);2011年24期

8 陳臣;馬曉亭;;數(shù)字圖書館云存儲系統(tǒng)安全架構(gòu)與安全策略研究[J];現(xiàn)代情報;2011年09期

9 張勝偉;;云存儲中副本冗余技術的研究[J];無線互聯(lián)科技;2012年09期

10 王引娜;宋耀光;倪巍;徐廣慶;;基于RS糾刪碼的HDFS云存儲動態(tài)副本策略研究[J];科技創(chuàng)新導報;2013年17期

相關博士學位論文 前1條

1 肖宜龍;隨機化數(shù)據(jù)冗余方法及其在存儲系統(tǒng)中的應用[D];電子科技大學;2013年

相關碩士學位論文 前8條

1 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關鍵技術研究[D];河南大學;2013年

2 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

3 徐淑琦;基于MapReduce的高性能云計算任務調(diào)度技術的研究[D];北京工業(yè)大學;2013年

4 鮑文磊;LS-SVM的GPU高性能計算方法研究[D];哈爾濱工業(yè)大學;2012年

5 徐驍勇;技術創(chuàng)新平臺存儲系統(tǒng)的冗余容錯機制研究[D];南京工業(yè)大學;2012年

6 呂陽;分布式網(wǎng)絡爬蟲系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

7 劉瓊;融合新媒體業(yè)務的廣電協(xié)同服務平臺[D];華南理工大學;2013年

8 劉曉偉;一種基于P2P的云存儲模型研究[D];西安電子科技大學;2012年

【二級參考文獻】

相關期刊論文 前4條

1 吳吉義;平玲娣;潘雪增;李卓;;云計算:從概念到平臺[J];電信科學;2009年12期

2 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學;2010年05期

3 侯孟書;王曉斌;盧顯良;任立勇;;一種新的動態(tài)副本管理機制[J];計算機科學;2006年09期

4 田敬;代亞非;;P2P持久存儲研究[J];軟件學報;2007年06期

相關碩士學位論文 前2條

1 肖哲鋒;基于Erasure Code的高可用分布式存儲系統(tǒng)的設計與實現(xiàn)[D];國防科學技術大學;2006年

2 李勤;P2P內(nèi)容分發(fā)系統(tǒng)中編碼解碼算法設計與實現(xiàn)[D];電子科技大學;2008年

【相似文獻】

相關期刊論文 前10條

1 甘勇;;抗輻射計算機糾錯編碼芯片的研制[J];鄭州輕工業(yè)學院學報;1995年04期

2 張煥國,丁玉龍,覃中平;計算機并行通信糾錯設計[J];武漢大學學報(自然科學版);2000年03期

3 李亦凡,張煥國;利用糾錯碼的確定性分布式表決策略[J];武漢大學學報(自然科學版);2000年03期

4 劉海龍;;光存儲系統(tǒng)中的糾錯碼[J];記錄媒體技術;2008年04期

5 曹德勝;糾錯碼在計算機科學中的應用——離散數(shù)學與糾錯碼[J];華北科技學院學報;2000年01期

6 譚國律;計算機糾錯碼中的0-1矩陣[J];上饒師范學院學報;2002年03期

7 萬武南;孟慶春;王曉京;;基于V碼的高可靠性磁盤陣列容錯模型[J];計算機工程;2007年08期

8 郭御風;郭誦忻;龔銳;;一種面向多核處理器I/O系統(tǒng)軟錯誤容錯方法[J];計算機工程與科學;2011年10期

9 王冰容;用于存儲器容錯的糾、檢單向字節(jié)錯誤碼的設計[J];華東交通大學學報;1996年01期

10 楊瓊;崔西寧;周波;;事務型文件系統(tǒng)存儲管理機制的研究與實現(xiàn)[J];航空計算技術;2011年05期

相關會議論文 前10條

1 郭建立;劉宏偉;董劍;楊孝宗;;雙機容錯服務器中的浮動IP技術研究[A];第十屆全國容錯計算學術會議論文集[C];2003年

2 李璋輝;倪曉強;王永文;;高性能處理器中ECC糾錯碼的設計及實現(xiàn)[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（A輯）[C];2011年

3 隋厚堂;;系統(tǒng)(16,8)碼的錯誤分布和性能比較[A];空間探測的今天和未來——中國空間科學學會空間探測專業(yè)委員會第七次學術會議論文集（下冊）[C];1994年

4 馬衛(wèi)東;李幼平;;基于FPSOC的一類嵌入式系統(tǒng)設計[A];中國工程物理研究院科技年報（2005）[C];2005年

5 顏運強;;容錯性指令分析與處理技術[A];中國工程物理研究院科技年報（2005）[C];2005年

6 吳知真;馮文全;;基于FPGA的VXI總線接口的設計[A];全國第十屆信號與信息處理、第四屆DSP應用技術聯(lián)合學術會議論文集[C];2006年

7 竇峰山;曹壯;駱力;龍志強;;基于二乘“二取二”的安全型計算機系統(tǒng)設計與實現(xiàn)[A];2007中國控制與決策學術年會論文集[C];2007年

8 謝浩;張健;;星載SPARC V8嵌入式系統(tǒng)設計[A];2007'中國儀器儀表與測控技術交流大會論文集（二）[C];2007年

9 陳海堅;張擁軍;;實時嵌入式系統(tǒng)容錯與低功耗結(jié)合的調(diào)度技術[A];2007北京地區(qū)高校研究生學術交流會通信與信息技術會議論文集（上冊）[C];2008年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯組的布局策略研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

相關重要報紙文章 前10條

1 高嵐;可靠性第一 穩(wěn)定性第一[N];中國計算機報;2002年

2 魏;國內(nèi)PC可靠性記錄大幅刷新[N];國際商報;2007年

3 四川 萬琳;提高24C04數(shù)據(jù)存儲可靠性的方法[N];電子報;2002年

4 ;Windows Server 2003可靠性增強[N];計算機世界;2003年

5 富士通(中國)信息系統(tǒng)有限公司;FUJITSU ETERNUS2000磁盤陣列問世[N];通信產(chǎn)業(yè)報;2007年

6 中國電源學會副理事長 張廣明;可靠性 Vs 可用性[N];網(wǎng)絡世界;2004年

7 周健邋田夢;尋找磁盤可靠性新標準[N];計算機世界;2008年

8 韓勖;同有iSCSI戰(zhàn)略：瞄準中高端[N];計算機世界;2008年

9 郭濤;中端存儲：只選最適合的[N];中國計算機報;2006年

10 ;UPS設計5大新理念[N];網(wǎng)絡世界;2005年

相關博士學位論文 前10條

1 萬武南;分布式安全存儲系統(tǒng)糾刪碼技術的研究[D];中國科學院研究生院（成都計算機應用研究所）;2006年

2 陳海波;云計算平臺可信性增強技術的研究[D];復旦大學;2008年

3 彭和平;基于航天及空間應用的單片多處理體系結(jié)構(gòu)研究[D];西北工業(yè)大學;2006年

4 劉云新;面向新一代移動計算平臺的系統(tǒng)虛擬化研究與應用[D];上海交通大學;2011年

5 朱曉敏;異構(gòu)集群系統(tǒng)中實時任務若干調(diào)度問題研究[D];復旦大學;2009年

6 劉曉光;二級網(wǎng)絡條紋數(shù)據(jù)布局及其相關問題的研究[D];南開大學;2002年

7 陳宇;高可靠容錯實時系統(tǒng)的支撐技術研究[D];電子科技大學;2001年

8 王永慶;基于快速網(wǎng)絡的新型存儲層次設計與實現(xiàn)[D];國防科學技術大學;2003年

9 萬勝剛;磁盤陣列高容錯模式及重構(gòu)技術研究[D];華中科技大學;2010年

10 潘立陽;新型低壓低功耗快閃存儲器技術研究[D];清華大學;2002年

相關碩士學位論文 前10條

1 舒星;磁盤陣列在線重建與RAID5擴容的設計與實現(xiàn)[D];華中科技大學;2007年

2 楊照宏;分布式海量存儲系統(tǒng)的可靠性和容錯性研究[D];大連海事大學;2007年

3 李楠;基于Intel386EX處理器的高可靠航天嵌入式系統(tǒng)的設計與研制[D];中國科學院研究生院（空間科學與應用研究中心）;2006年

4 劉怡;單管多位MNOS結(jié)構(gòu)閃速存儲器的研究[D];暨南大學;2005年

5 劉光輝;星載并行計算機體系結(jié)構(gòu)的研究與實現(xiàn)[D];國防科學技術大學;2005年

6 劉漢波;對象存儲系統(tǒng)的I/O處理與緩存研究[D];華中科技大學;2007年

7 姚蘭;基于ADS中間件的容錯系統(tǒng)的研究與設計[D];西南交通大學;2005年

8 王克朝;基于冗余機制的網(wǎng)絡存儲系統(tǒng)可靠性研究[D];華中科技大學;2006年

9 顧懷懷;金屬納米晶非揮發(fā)存儲器存儲特性的模擬[D];上海交通大學;2008年

10 葉靜;“銀河飛騰”DSP的IP核物理設計與優(yōu)化[D];國防科學技術大學;2007年

，

本文編號：1693918