本文關鍵詞： 重復數據刪除 重刪率 體系結構 元數據結構 I/O優(yōu)化　出處：《計算機科學》2014年01期 　論文類型：期刊論文

【摘要】：目前企業(yè)對數據量不斷增長的需求使得數據中心面臨嚴峻的挑戰(zhàn)。研究發(fā)現,存儲系統(tǒng)中高達60%的數據是冗余的,如何縮減存儲系統(tǒng)中的冗余數據受到越來越多科研人員的關注。重復數據刪除技術利用CPU計算資源,通過數據塊指紋對比能夠有效地減少數據存儲空間,已成為工業(yè)界和學術界研究的熱點。在分析和總結近10年重復數據刪除技術文獻后,首先通過分析卷級重刪系統(tǒng)體系結構,闡述了重刪系統(tǒng)的原理、實現機制和評價標準。然后結合數據規(guī)模行為對重刪系統(tǒng)性能的影響,重點分析和總結了重刪系統(tǒng)的各種性能改進技術。最后對各種應用場景的重刪系統(tǒng)進行對比分析,給出了4個需要重點研究的方向,包括基于主存儲環(huán)境的重刪方案、基于分布式集群環(huán)境的重刪方案、快速指紋查詢優(yōu)化技術以及智能數據檢測技術。
[Abstract]:At present, the growing demand for data in enterprises makes data centers face severe challenges. The study found that up to 60% of the data in storage systems are redundant. How to reduce redundant data in storage system has attracted more and more attention of researchers. Repeated data deletion technology can effectively reduce data storage space by comparing data block fingerprints with CPU computing resources. It has become a hot topic in industry and academic circles. After analyzing and summarizing the technical documents of data deletion in the past 10 years, the principle of redelete system is expounded by analyzing the architecture of volume level redelete system. Based on the effect of data scale behavior on the performance of the redelete system, the performance improvement techniques of the redelete system are analyzed and summarized. Finally, the redelete system of various application scenarios is compared and analyzed. Four important research directions are given, including redelete scheme based on main storage environment, redelete scheme based on distributed cluster environment, fast fingerprint query optimization technology and intelligent data detection technology.
【作者單位】： 青海師范大學計算機學院;華中科技大學計算機科學與技術學院;
【基金】：國家973重點基礎研究發(fā)展計劃(2011CB302303)資助
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

2 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

【共引文獻】

相關期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復數據刪除技術的SQL Server數據庫備份系統(tǒng)[J];計算機安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠程文件備份系統(tǒng)[J];計算機安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災備中心[J];計算機安全;2012年05期

4 張清松;梁智強;;基于硬盤的主機防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復數據刪除的Oracle數據庫備份系統(tǒng)[J];電腦知識與技術;2013年01期

6 謝垂益;鐘紅君;;Rabin指紋算法在重復數據檢測中的應用研究[J];電腦知識與技術;2013年21期

7 王燦;秦志光;楊磊;楊皓;;基于改進Sparse Indexing的多負載消冗方法[J];電子科技大學學報;2013年05期

8 張志杰;何利力;;煙草工業(yè)數據災備中重復數據刪除技術研究[J];工業(yè)控制計算機;2013年12期

9 彭成;王樹鵬;賈志凱;;基于糾刪碼的數據消冗存儲系統(tǒng)可靠性增強研究[J];計算機研究與發(fā)展;2011年S1期

10 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

相關會議論文 前1條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數據消冗存儲系統(tǒng)可靠性增強研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

相關博士學位論文 前4條

1 譚玉娟;數據備份系統(tǒng)中數據去重技術研究[D];華中科技大學;2012年

2 王燦;基于在線重復數據消除的海量數據處理關鍵技術研究[D];電子科技大學;2012年

3 魏建生;高性能重復數據檢測與刪除技術研究[D];華中科技大學;2012年

4 蔣海波;海量數據存儲系統(tǒng)的高可靠性關鍵技術研究與應用[D];電子科技大學;2013年

相關碩士學位論文 前10條

1 丁躍進;網關型病毒防火墻的設計與實現[D];電子科技大學;2011年

2 胡盼盼;在線重復數據刪除技術的研究與實現[D];華中科技大學;2011年

3 曾濤;重復數據刪除技術的研究與實現[D];華中科技大學;2011年

4 張鵬;在線備份系統(tǒng)中存儲服務器的研究與實現[D];華中科技大學;2011年

5 周國惠;支持重復數據刪除的網絡備份系統(tǒng)中存儲服務器的設計與實現[D];華中科技大學;2011年

6 張航;文件同步服務中數據同步傳輸消重策略研究[D];國防科學技術大學;2011年

7 武銓;廣域網數據冗余消除TCP透明代理的設計與實現[D];南京郵電大學;2012年

8 郭永安;網絡協(xié)議棧下TCP隊列管理研究[D];南京郵電大學;2012年

9 毛允亭;廣域網數據壓縮算法的研究與實現[D];南京郵電大學;2012年

10 肖紅鳳;基于數據中心的數據訪問服務模型研究[D];東北石油大學;2012年

【二級參考文獻】

相關期刊論文 前1條

1 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

【相似文獻】

相關期刊論文 前10條

1 王敬治;計算系統(tǒng)體系結構的發(fā)展趨勢[J];計算機工程與應用;1979年08期

2 李金良;日本正準備制造數據流計算機[J];計算機工程與設計;1983年04期

3 惠毓明;;CONVEX C-1小巨型計算機的體系結構[J];計算機研究與發(fā)展;1988年12期

4 郭仲偉，張燕云，肖田元;計算機集成制造系統(tǒng)(CIMS)的體系結構、模型與方法[J];管理科學學報;1994年01期

5 倪鵬云;對開放系統(tǒng)互聯OSI有關重要概念的分析[J];計算機工程與科學;1994年04期

6 江芳澤,李昕;現場總線體系結構的研究[J];自動化儀表;1996年03期

7 尚明，，李晶;Internet網絡體系結構及其應用資源[J];術語標準化與信息技術;1996年03期

8 Markus Levy;;微機體系結構主宰芯片集的特性[J];電子設計技術;1997年05期

9 王晨;;Bay副總裁“泄密” 交換路由集一芯片[J];每周電腦報;1997年35期

10 ;TI方案端口多[J];每周電腦報;1997年49期

相關會議論文 前10條

1 王宇;程小輝;;基于移動agent虛擬儀器系統(tǒng)體系結構研究[A];第三屆全國虛擬儀器大會論文集[C];2008年

2 徐海;韓宇;孫永兵;韋水生;鄧慶緒;于戈;;基于軟硬件聯合設計的嵌入式實時數據庫體系結構[A];第二十二屆中國數據庫學術會議論文集（技術報告篇）[C];2005年

3 蕭蘊詩;武廣;徐立鴻;;復雜信息系統(tǒng)集成方法及其在智能建筑中的應用研究[A];1998中國控制與決策學術年會論文集[C];1998年

4 魏定國;;試論企業(yè)級數據傳輸體系結構[A];1998中國控制與決策學術年會論文集[C];1998年

5 董永貴;董恩生;賈惠波;;生物啟發(fā)儀器的體系結構及實現技術[A];第二屆全國信息獲取與處理學術會議論文集[C];2004年

6 苗宇;程蔭杭;張超;;室外自主輪式移動機器人的發(fā)展及關鍵技術[A];可持續(xù)發(fā)展的中國交通——2005全國博士生學術論壇（交通運輸工程學科）論文集（下冊）[C];2005年

7 劉仲英;胡衍強;胡斌;;物流公共信息平臺的體系結構研究[A];第11屆海峽兩岸信息管理發(fā)展策略研討會論文集[C];2005年

8 李勁;;綜合射頻傳感器的開放式系統(tǒng)結構[A];中國雷達行業(yè)協(xié)會航空電子分會暨四川省電子學會航空航天專委會學術交流會論文集[C];2005年

9 王瑜;孟濤;相敬林;夏靖波;;一種應用于Ad hoc網絡管理的分簇算法[A];2005中國控制與決策學術年會論文集（下）[C];2005年

10 蔡京平;賈云得;;星球探測機器人分布式計算系統(tǒng)體系結構研究[A];中國宇航學會深空探測技術專業(yè)委員會第一屆學術會議論文集[C];2005年

相關重要報紙文章 前10條

1 四川 陳路;淺談網格的典型體系結構[N];電子報;2008年

2 ;電聯關注面向用戶基于業(yè)務的體系結構[N];人民郵電;2001年

3 安燁;企業(yè)門戶的特點及體系結構[N];網絡世界;2001年

4 ;詮釋智能理念 奠基存儲未來[N];計算機世界;2003年

5 劉鈍;我國研究成果對新一代互聯網體系結構產生重大影響[N];大眾科技報;2007年

6 ;思科演示IP網絡體系結構[N];中國電子報;2000年

7 ;新磚瓦精裝新數據中心[N];網絡世界;2006年

8 彭芳;更新ASIC體系結構[N];中國計算機報;2001年

9 李貴林;瑞星：網絡殺毒取決于體系結構[N];計算機世界;2002年

10 憨墨;構畫20世紀出版學的體系結構[N];中華讀書報;2005年

相關博士學位論文 前10條

1 王醒策;基于強化學習和群集智能方法的多機器人協(xié)作協(xié)調研究[D];哈爾濱工程大學;2005年

2 李治軍;美韓同盟與東亞安全：一種結構主義理論的分析[D];復旦大學;2008年

3 楊建宇;基于組件的分布式地理信息服務研究[D];中國科學院研究生院（遙感應用研究所）;2005年

4 董艇艦;基于開放結構數控系統(tǒng)引導型二次開發(fā)仿真平臺構建研究[D];天津大學;2005年

5 孟憲松;多水下機器人系統(tǒng)合作與協(xié)調技術研究[D];哈爾濱工程大學;2006年

6 耿文莉;中國林產工業(yè)企業(yè)管理信息化問題研究[D];東北林業(yè)大學;2007年

7 夏緒輝;逆向供應鏈的體系結構及其物流關鍵技術研究[D];重慶大學;2003年

8 林川;基于立體跨層體系結構無線傳感器網絡的能量問題研究[D];武漢大學;2007年

9 嚴勇杰;多機器人系統(tǒng)協(xié)調與控制研究[D];哈爾濱工程大學;2007年

10 甘永;水下機器人運動控制系統(tǒng)體系結構的研究[D];哈爾濱工程大學;2007年

相關碩士學位論文 前10條

1 常武;三層分布式PACS體系結構的研究與實現[D];北京工業(yè)大學;2001年

2 王征;現場總線通信技術的研究與實現[D];大慶石油學院;2004年

3 屈紅軍;基于網關安全平臺的虛擬線程體系結構[D];華中科技大學;2004年

4 白玉;基于供應鏈的采購管理系統(tǒng)研究[D];河北工業(yè)大學;2005年

5 朱健松;一種基于RISC及DSP雙內核集成芯片系統(tǒng)的研究[D];廣東工業(yè)大學;2005年

6 徐德宏;全集成的石化儲運計量監(jiān)控與管理系統(tǒng)研究[D];南京理工大學;2005年

7 李艷;論國際貿易理論的體系與發(fā)展[D];黑龍江大學;2005年

8 林森;大規(guī)模定制制造企業(yè)的產品平臺擴展策略及優(yōu)化分析[D];重慶大學;2005年

9 盧松杰;基于Internet的車輛監(jiān)控系統(tǒng)設計與實現[D];中國人民解放軍信息工程大學;2005年

10 沈青春;大重集團產品數據管理系統(tǒng)的研究與實現[D];大連理工大學;2006年

本文編號：1533065