【摘要】：利用網(wǎng)絡(luò)分布式存儲系統(tǒng)存儲大數(shù)據(jù)已成為數(shù)據(jù)存儲技術(shù)的發(fā)展趨勢。網(wǎng)絡(luò)分布式存儲系統(tǒng)通常由數(shù)量眾多的存儲節(jié)點(diǎn)構(gòu)成，由于人為或自然災(zāi)難的不可避免性，或是存儲節(jié)點(diǎn)本身的低可靠性，常常會發(fā)生部分存儲節(jié)點(diǎn)損壞或是無法及時使用的情況。而這一旦發(fā)生，存儲其中的重要數(shù)據(jù)就會丟失或是不可用，造成極大的損失。因此，為了保證存儲數(shù)據(jù)的安全性和可靠性，將數(shù)據(jù)冗余方法引入網(wǎng)絡(luò)分布式存儲系統(tǒng)成為一種必然。 已有的數(shù)據(jù)冗余方法，，如基于復(fù)制的數(shù)據(jù)冗余方法，基于陣列碼的數(shù)據(jù)冗余方法等均存在種種不足，或者是存儲冗余度過高，或者是容錯能力有限，無法滿足網(wǎng)絡(luò)環(huán)境下分布式存儲系統(tǒng)的需求。針對這一問題，本文首次以隨機(jī)矩陣?yán)碚摓榛A(chǔ)，提出了一類新的數(shù)據(jù)冗余方法，稱之為隨機(jī)化數(shù)據(jù)冗余方法，并研究了其在兩類具體的網(wǎng)絡(luò)分布式存儲環(huán)境——分布式數(shù)據(jù)容災(zāi)存儲和傳感器網(wǎng)絡(luò)數(shù)據(jù)存儲環(huán)境下的應(yīng)用。本文的主要研究成果包括以下幾個方面： 1．提出了性能優(yōu)異的隨機(jī)化數(shù)據(jù)冗余方法。 容錯能力高、存儲冗余度低、運(yùn)算速度快、修復(fù)帶寬低是網(wǎng)絡(luò)環(huán)境下的分布式存儲系統(tǒng)對數(shù)據(jù)冗余方法的需求。現(xiàn)有的數(shù)據(jù)冗余方法往往無法同時滿足這些需求。本文以二元域上的隨機(jī)矩陣為基礎(chǔ)，提出了一類新的能滿足上述需求的隨機(jī)化數(shù)據(jù)冗余方法，給出了詳細(xì)的文件存儲、讀取、以及修復(fù)算法。在本文提出的隨機(jī)化數(shù)據(jù)冗余方法中：由源文件得到冗余文件、由冗余文件恢復(fù)出源文件均基于構(gòu)造好的隨機(jī)矩陣完成；隨機(jī)矩陣滿秩的高概率性質(zhì)保證了冗余方法的高容錯能力和低存儲冗余度；同時，源文件和冗余文件之間的轉(zhuǎn)換只依靠異或運(yùn)算進(jìn)行，降低了計(jì)算復(fù)雜度，提高了文件的處理速度；另外，隨機(jī)矩陣的稀疏性也使得修復(fù)丟失的部分冗余文件數(shù)據(jù)所需的修復(fù)帶寬有效降低； 2．提出了基于隨機(jī)化數(shù)據(jù)冗余方法的低冗余度數(shù)據(jù)容災(zāi)方案。 數(shù)據(jù)容災(zāi)方案是網(wǎng)絡(luò)分布式數(shù)據(jù)容災(zāi)存儲系統(tǒng)抵御大規(guī)模存儲節(jié)點(diǎn)損毀，保證數(shù)據(jù)生存能力的有效手段。傳統(tǒng)的容災(zāi)方案通常以復(fù)制冗余方法為基礎(chǔ)，以高存儲空間代價換取一定的容災(zāi)能力。本文在隨機(jī)化數(shù)據(jù)冗余方法的基礎(chǔ)上，提出了一類具有低存儲冗余度的數(shù)據(jù)容災(zāi)方案。與復(fù)制容災(zāi)方案相比，本文方案在提供相同容災(zāi)能力的前提下，可將系統(tǒng)的存儲空間代價降到近似的理論最小值。本文方案的可行性和有效性在相關(guān)實(shí)驗(yàn)中得到了驗(yàn)證。 3．以隨機(jī)化數(shù)據(jù)冗余方法為基礎(chǔ)，提出了適用于無人值守傳感器網(wǎng)絡(luò)的具有低通信成本和低訪問成本的分布式存儲算法。 無人值守傳感器網(wǎng)絡(luò)可以看作是一類沒有路由表的特殊網(wǎng)絡(luò)分布式存儲系統(tǒng)，其目的在于感知數(shù)據(jù)并將感知到的數(shù)據(jù)可靠地存儲在整個網(wǎng)絡(luò)中。本文以隨機(jī)化數(shù)據(jù)冗余方法為基礎(chǔ)，并與定向隨機(jī)游走機(jī)制相結(jié)合，提出了適用于無人值守傳感器網(wǎng)絡(luò)的分布式存儲算法。采用本文算法：可以有效地將網(wǎng)絡(luò)中k個數(shù)據(jù)節(jié)點(diǎn)感知到的k個源數(shù)據(jù)包存儲到網(wǎng)絡(luò)所有的n個節(jié)點(diǎn)中（n k），形成n個存儲數(shù)據(jù)包。當(dāng)存儲過程完成之后，即使有部分節(jié)點(diǎn)損壞而導(dǎo)致存儲其中的存儲數(shù)據(jù)包丟失，用戶也能通過從任意k+12個以上未損壞節(jié)點(diǎn)的存儲數(shù)據(jù)包還原出原來的k個源數(shù)據(jù)包。與具有代表性的基于LT碼的算法相比，本文算法將存儲過程中每個源數(shù)據(jù)包在網(wǎng)絡(luò)中的通信次數(shù)從約nlnn降到了約n；同時，本文算法也將存儲完成之后，用戶為獲取源數(shù)據(jù)包而需要訪問網(wǎng)絡(luò)節(jié)點(diǎn)的個數(shù)從大于k+100降到了約k+12。本文算法的可行性和有效性在數(shù)值實(shí)驗(yàn)中得到了驗(yàn)證。
[Abstract]:In order to ensure the safety and reliability of the storage data , it is inevitable to introduce the data redundancy method into the network distributed storage system in order to ensure the safety and reliability of the data .

This paper presents a new method of data redundancy , which is based on random matrix theory , and studies its application in two types of network distributed storage environment _ distributed data disaster storage and sensor network data storage environment . The main research results include the following aspects :

1 . A randomized data redundancy method with excellent performance is proposed .

This paper presents a new kind of randomized data redundancy method which can meet the above requirements . In this paper , a new kind of randomized data redundancy method is proposed , which is based on the random matrix on the binary domain , and the detailed file storage , reading and repair algorithm are presented .
the high probability property of the full rank of the random matrix ensures the high fault tolerance capability and the low storage redundancy of the redundancy method ;
meanwhile , the conversion between the source file and the redundant file is carried out only by XOR operation , the calculation complexity is reduced , and the processing speed of the file is improved ;
In addition , the sparsity of the random matrix also effectively reduces the repair bandwidth required to repair the missing partial redundant file data ;


2 . A low redundancy data disaster recovery scheme based on a randomized data redundancy method is proposed .

This paper presents a kind of data disaster recovery scheme with low storage redundancy . This paper presents a kind of data disaster tolerance scheme with low storage redundancy on the basis of duplication redundancy method . In this paper , the cost of storage space of the system can be reduced to the approximate theoretical minimum value under the precondition of providing the same disaster tolerance . The feasibility and effectiveness of this paper are verified in the relevant experiments .

3 . Based on the data redundancy method , a distributed storage algorithm with low communication cost and low access cost for unattended sensor networks is proposed .

An unattended sensor network can be regarded as a kind of special network distributed storage system without routing table . The purpose of this paper is to sense the data and store the perceived data reliably in the whole network .
At the same time , the algorithm also reduces the number of access network nodes from more than k + 100 to about k + 12 for acquiring source data packets . The feasibility and effectiveness of the algorithm are verified in numerical experiments .
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李國華,劉寶玲,沈樹群;用于區(qū)域監(jiān)測的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)去冗余研究[J];微電子學(xué)與計(jì)算機(jī);2005年09期

2 張兵令;付熙徐;張丹玨;;數(shù)據(jù)倉庫的建立與維護(hù)的一個實(shí)例[J];微型電腦應(yīng)用;2006年02期

3 季飛;;關(guān)系數(shù)據(jù)庫規(guī)范化應(yīng)用研究[J];科技資訊;2007年36期

4 王繼林;;預(yù)測與可變長編碼在圖像壓縮中的應(yīng)用[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2008年09期

5 韓佳兵;和敬涵;薄志謙;張浩;郭顯達(dá);;集成保護(hù)中冗余數(shù)據(jù)處理的軟件設(shè)計(jì)[J];南方電網(wǎng)技術(shù);2009年04期

6 韓濤;楊金民;嚴(yán)坤;;基于冗余信息抑制的傳感網(wǎng)低耗分簇算法[J];微計(jì)算機(jī)信息;2010年13期

7 龐艷閣;王娟;田賓;;交換機(jī)匯聚技術(shù)在我校的應(yīng)用[J];科技信息;2010年10期

8 李軍;李永樹;;天然氣管線的快速三維建模方法研究[J];測繪;2010年04期

9 余蓓敏;;單片機(jī)抗干擾處理技術(shù)的探討[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào);2008年04期

10 郭向勇;傅國強(qiáng);呂利昌;趙怡濱;曹璞;;模糊推理和聚類分析的信息融合應(yīng)用研究[J];微計(jì)算機(jī)信息;2010年13期

相關(guān)會議論文 前10條

1 郭建奎;張忠平;朱揚(yáng)勇;;一種處理生物數(shù)據(jù)庫中數(shù)據(jù)冗余的方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2004年

2 董斌;張敏情;張薇;楊曉元;;分層門限Byzantine Quorum系統(tǒng)構(gòu)造方案[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

3 華陳權(quán);;CRC與多重冗余結(jié)合實(shí)現(xiàn)RAM數(shù)據(jù)糾錯[A];首屆信息獲取與處理學(xué)術(shù)會議論文集[C];2003年

4 柳懿;王向軍;嵇斗;;高壓變電站中測量設(shè)備的抗干擾研究[A];2010中國儀器儀表與測控技術(shù)大會論文集[C];2010年

5 陳進(jìn)才;程偉;陳希;周功業(yè);;寄生存儲冗余機(jī)制與實(shí)現(xiàn)技術(shù)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

6 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

7 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

8 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲系統(tǒng)設(shè)計(jì)[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議�？痆C];2008年

9 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

10 周功業(yè);周江;陳希;陳進(jìn)才;;寄生存儲原理及實(shí)現(xiàn)機(jī)制[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 丁吉文 王軍強(qiáng);煙臺市電子文件數(shù)據(jù)冗余處理技術(shù)研究課題通過專家鑒定[N];中國檔案報(bào);2007年

2 本報(bào)記者　顧文;Radware高效狙擊數(shù)據(jù)冗余[N];通信產(chǎn)業(yè)報(bào);2006年

3 朗飛;IBM“冰立方”就像搭積木[N];中國計(jì)算機(jī)報(bào);2006年

4 李想 徐晉;福州電業(yè)局研發(fā)個人文件安全存儲系統(tǒng)[N];中國電力報(bào);2006年

5 郭濤;MediaGrid既不是SAN也不是NAS[N];中國計(jì)算機(jī)報(bào);2007年

6 ;IBM收購存儲解決方案公司[N];計(jì)算機(jī)世界;2007年

7 本報(bào)記者　　張峰;知己知彼建存儲（上）[N];網(wǎng)絡(luò)世界;2006年

8 森林;NAS資源存儲系統(tǒng)[N];中國電腦教育報(bào);2002年

9 ;HDS推出企業(yè)入門級存儲系統(tǒng)[N];計(jì)算機(jī)世界;2005年

10 ;戴爾EMC打造新一代高容量存儲系統(tǒng)[N];人民郵電;2004年

相關(guān)博士學(xué)位論文 前10條

1 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

2 張萬松;支持壓縮域查詢的XML數(shù)據(jù)壓縮方法研究[D];哈爾濱工程大學(xué);2005年

3 周正達(dá);信息存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

4 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

5 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 王禹;分布式存儲系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

7 陶鈞;海量數(shù)據(jù)P2P分布式穩(wěn)固存儲方法與優(yōu)化研究[D];國防科學(xué)技術(shù)大學(xué);2008年

8 藺旭東;基于語義的XML查詢及規(guī)范化研究[D];北京交通大學(xué);2010年

9 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

10 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 顏彥文;數(shù)據(jù)冗余處理技術(shù)在軌道交通AFC系統(tǒng)中的應(yīng)用[D];上海交通大學(xué);2012年

2 胡宇光;網(wǎng)上銀行交易數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];新疆大學(xué);2006年

3 石磊慶;基于HDFS的云存儲系統(tǒng)數(shù)據(jù)安全性研究[D];北京郵電大學(xué);2013年

4 Elizabeth Olule（伊麗莎白）;RARE：能量高效的目標(biāo)跟蹤協(xié)議[D];中南大學(xué);2008年

5 李亞龍;基于網(wǎng)絡(luò)編碼的P2P直播數(shù)據(jù)傳輸策略研究與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

6 吳昊;基于HDFS的分布式文件系統(tǒng)數(shù)據(jù)冗余技術(shù)研究[D];西安電子科技大學(xué);2011年

7 符永康;云存儲中數(shù)據(jù)安全關(guān)鍵技術(shù)研究及系統(tǒng)實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

8 朱建偉;深空探測中多光譜圖像壓縮的算法設(shè)計(jì)及FPGA實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2006年

9 張淑芝;廣域傳感器數(shù)據(jù)庫中緩存與查詢技術(shù)的研究[D];燕山大學(xué);2006年

10 劉猛;基于P2P的分布式存儲系統(tǒng)的研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2008年

本文編號：2129605