本文選題：云中云　切入點：重復數據刪除　出處：《計算機研究與發(fā)展》2015年06期 　論文類型：期刊論文

【摘要】：隨著云存儲技術的快速發(fā)展和應用,越來越多的企業(yè)和用戶都開始將數據從本地轉移到云存儲服務提供商進行存儲.但是,在享受云存儲高質量服務的同時,將數據僅僅存儲于單個云存儲服務商中會帶來一定的風險,例如云存儲服務提供商的壟斷、數據可用性和安全性等問題.為了解決這個問題,提出了一種基于重復數據刪除技術的云中云存儲系統(tǒng)架構,首先消除云存儲系統(tǒng)中的冗余數據量,然后基于重復數據刪除集中的數據塊引用率將數據塊以復制和糾刪碼2種數據布局方式存儲在多個云存儲服務提供商中.基于復制的數據布局方式易于實現(xiàn)部署,但是存儲開銷大;基于糾刪碼的數據布局方式存儲開銷小,但是需要編碼和解碼,計算開銷大.為了充分挖掘復制和糾刪碼數據布局的優(yōu)點并結合重復數據刪除技術中數據引用的特點,新方法用復制方式存儲高引用數據塊,用糾刪碼方式存儲其他數據塊,從而使系統(tǒng)整體性能和成本達到較優(yōu).通過原型系統(tǒng)的實現(xiàn)和測試驗證了相比現(xiàn)有云中云存儲策略,新方法在性能和成本上都有大幅度提高.
[Abstract]:With the rapid development and application of cloud storage technology, more and more enterprises and users begin to transfer data from local to cloud storage service providers for storage. Storing data in a single cloud storage service provider poses certain risks, such as the monopoly of cloud storage service providers, data availability, and security. In this paper, a cloud storage system architecture based on repeated data deletion technology is proposed. Firstly, the redundant data in cloud storage system is eliminated. Then the data blocks are stored in multiple cloud storage service providers by replication and erasure code based on the data block reference rate in the duplicate data delete set. The data layout based on replication is easy to deploy. However, the storage overhead is large; the data layout based on erasure code has less storage overhead, but it requires encoding and decoding. In order to fully exploit the advantages of replication and erasure code data layout and combine the characteristics of data reference in repeated data deletion technology, the new method stores high reference data blocks by replication and other data blocks by erasure code. Through the implementation and test of the prototype system, the performance and cost of the new method are greatly improved compared with the existing cloud storage strategy.
【作者單位】： 廈門大學軟件學院;廈門大學信息科學與技術學院計算機科學系;高效能服務器和存儲技術國家重點實驗室(山東海量信息技術研究院);
【基金】：國家自然科學基金項目(61472336,61402385) 國家科技支撐計劃基金項目(2015BAH16F02) 教育部留學回國人員科研啟動基金 高效能服務器和存儲技術國家重點實驗室開放課題(2014HSSA04) 中央高校基本科研業(yè)務費專項資金項目(20720140515)
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

2 王意潔;孫偉東;周松;裴曉強;李小勇;;云計算環(huán)境下的分布存儲關鍵技術[J];軟件學報;2012年04期

【共引文獻】

相關期刊論文 前10條

1 鐘德榮;蔣園園;張愷樂;王智泉;;基于云計算的全球眼視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)[J];計算機光盤軟件與應用;2012年20期

2 宋秀麗;陳龍;肖敏;;云存儲中支持XOR旋轉編碼的可恢復性驗證方案[J];重慶郵電大學學報(自然科學版);2012年06期

3 王永;李敏;張勤;;云計算模式下合同協(xié)同擬定模型研究[J];重慶郵電大學學報(自然科學版);2012年06期

4 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數據云存儲與服務方法[J];地球信息科學學報;2013年02期

5 謝垂益;鐘紅君;;Rabin指紋算法在重復數據檢測中的應用研究[J];電腦知識與技術;2013年21期

6 饒慶云;丁晶晶;蘇樂樂;谷永權;夏良暉;胡中南;;基于云計算的分布式切圖服務設計與實現(xiàn)[J];測繪與空間地理信息;2013年S1期

7 范真榮;;基于云計算的企業(yè)XBRL跨平臺協(xié)同管理研究[J];財會通訊;2013年25期

8 郭翠云;;云計算環(huán)境下的分布存儲關鍵技術分析[J];硅谷;2013年16期

9 萬武南;王拓;索望;;一種三容錯數據布局[J];電子與信息學報;2013年10期

10 張志杰;何利力;;煙草工業(yè)數據災備中重復數據刪除技術研究[J];工業(yè)控制計算機;2013年12期

相關會議論文 前4條

1 司煒;;IT支撐系統(tǒng)云計算資源池實現(xiàn)研究[A];2013年中國通信學會信息通信網絡技術委員會年會論文集[C];2013年

2 陳玉龍;王丹平;方曉群;;工業(yè)視頻監(jiān)控系統(tǒng)在豐山銅礦的應用和發(fā)展[A];第三屆全國數字礦山高新技術成果交流會論文集[C];2014年

3 司煒;;IT支撐系統(tǒng)云計算資源池實現(xiàn)研究[A];中國通信學會信息通信網絡技術委員會2013年年會論文集[C];2013年

4 田原;王營康;肖達;楊榆;;云存儲系統(tǒng)中的存儲與數據拆分方案[A];第十九屆全國青年通信學術年會論文集[C];2014年

相關博士學位論文 前10條

1 陳震;黑龍江省森工林區(qū)“智慧林業(yè)”框架應用技術研究[D];東北林業(yè)大學;2012年

2 肖宜龍;隨機化數據冗余方法及其在存儲系統(tǒng)中的應用[D];電子科技大學;2013年

3 蔣海波;海量數據存儲系統(tǒng)的高可靠性關鍵技術研究與應用[D];電子科技大學;2013年

4 黃震;大規(guī)模分布式存儲系統(tǒng)中數據冗余技術研究[D];國防科學技術大學;2012年

5 夏純中;云存儲多數據中心QoS保障機制研究[D];江蘇大學;2014年

6 龍賽琴;云存儲系統(tǒng)中的數據布局策略研究[D];華南理工大學;2014年

7 王繼彬;磁盤陣列快速重構，，擴容及性能優(yōu)化研究[D];華中科技大學;2013年

8 姜久雷;云計算環(huán)境下跨組織業(yè)務流程建模方法研究[D];東華大學;2014年

9 馬莉;云計算環(huán)境下煤礦應急管理關鍵技術研究[D];西安科技大學;2014年

10 朱李楠;云制造環(huán)境下資源建模及其匹配方法研究[D];浙江工業(yè)大學;2014年

相關碩士學位論文 前10條

1 張航;文件同步服務中數據同步傳輸消重策略研究[D];國防科學技術大學;2011年

2 蔡博;基于MBasedSWC-Varsize算法的重復數據消除技術研究[D];電子科技大學;2012年

3 魏偉;一種基于laaS的模式的管理系統(tǒng)的設計與實現(xiàn)[D];復旦大學;2012年

4 孫春菊;云環(huán)境下數據模型和索引技術研究[D];南京郵電大學;2013年

5 田怡萌;BlueOcean海量存儲系統(tǒng)Windows客戶端設計與實現(xiàn)[D];上海交通大學;2013年

6 方旋;云計算在土地利用規(guī)劃信息系統(tǒng)中的應用研究[D];浙江大學;2013年

7 田曉艷;云環(huán)境下高考視頻監(jiān)控數據管理技術研究[D];山東師范大學;2013年

8 吳永發(fā);面向終端應用的云存儲系統(tǒng)研究與設計[D];廣東工業(yè)大學;2013年

9 諶侃;用戶數據融合云計算存儲方案研究[D];北京郵電大學;2013年

10 許維龍;基于HDFS的數據備份系統(tǒng)的分析與設計[D];北京郵電大學;2013年

【二級參考文獻】

相關期刊論文 前2條

1 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

2 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

【相似文獻】

相關期刊論文 前10條

1 盧敏;;“零距離”重復數據刪除[J];軟件世界;2008年11期

2 盧敏;;點亮“重復數據刪除”[J];軟件世界;2008年06期

3 徐立洋;;選購重復數據刪除方案 軟硬兼施剔除雞肋數據[J];中國計算機用戶;2009年08期

4 邢延剛;;刪除重復值我有妙法[J];電腦迷;2009年09期

5 李剛;;重復數據刪除走向“源頭”[J];中國計算機用戶;2009年16期

6 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

7 王樹鵬;;重復數據刪除技術的發(fā)展及應用[J];中興通訊技術;2010年05期

8 倪顯利;;重復數據刪除技術的應用與實踐[J];中國金融電腦;2011年05期

9 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

10 拜路;;重復數據刪除技術分析及其對存儲系統(tǒng)性能的影響[J];電腦編程技巧與維護;2012年06期

相關會議論文 前3條

1 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數據刪除技術[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復數據刪除的靶場試驗信息存儲技術[A];2009年西部光子學學術會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學術交流會議論文集[C];2011年

相關重要報紙文章 前10條

1 本報記者 郭濤;基于硬件的重復數據刪除效率更高[N];中國計算機報;2009年

2 朱皎;重復數據刪除技術漸成主流[N];電腦商報;2009年

3 邢小萍;重復數據刪除技術漸入佳境[N];網絡世界;2009年

4 郭濤;重復數據刪除比越大越好嗎？[N];中國計算機報;2007年

5 中國傳媒大學計算機學院 朱立谷;重復數據刪除：改寫存儲行業(yè)經濟規(guī)則？[N];中國計算機報;2007年

6 劉學習;刪除重復數據[N];計算機世界;2006年

7 張群英;重復數據刪除技術異軍突起[N];網絡世界;2006年

8 張峰;重復數據刪除 難走的平衡木[N];網絡世界;2007年

9 王s

本文編號：1613506