【摘要】：隨著海量數(shù)據(jù)的產(chǎn)生,糾刪碼成為分布式存儲系統(tǒng)青睞的容錯(cuò)方案。但是糾刪碼在重構(gòu)丟失數(shù)據(jù)時(shí),增加了磁盤I/O和網(wǎng)絡(luò)資源的開銷,修復(fù)時(shí)間長,修復(fù)效率低。另外,現(xiàn)在的分布式存儲系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,通常是以機(jī)架為單位組織節(jié)點(diǎn),但是機(jī)架間帶寬相比機(jī)架內(nèi)的競爭較激烈,機(jī)架間帶寬資源較稀缺,所以針對跨機(jī)架網(wǎng)絡(luò),分布式系統(tǒng)如何在故障發(fā)生時(shí)高效低開銷地恢復(fù)不可用數(shù)據(jù)成為本文的研究重點(diǎn),本文主要從數(shù)據(jù)源選擇和數(shù)據(jù)傳輸兩個(gè)方面對數(shù)據(jù)修復(fù)過程優(yōu)化,主要工作如下:1)提出了一種基于網(wǎng)絡(luò)延遲的數(shù)據(jù)源選擇算法,該算法用于在修復(fù)丟失數(shù)據(jù)時(shí)選擇數(shù)據(jù)源,每次選擇足夠的網(wǎng)絡(luò)延遲較小的節(jié)點(diǎn)作為數(shù)據(jù)源來傳輸數(shù)據(jù),減少數(shù)據(jù)修復(fù)時(shí)間。2)設(shè)計(jì)一個(gè)基于糾刪碼的分布式原型系統(tǒng),該系統(tǒng)實(shí)現(xiàn)了基本的讀寫文件,心跳通信和糾刪碼容錯(cuò)等功能,驗(yàn)證了基于網(wǎng)絡(luò)延遲的數(shù)據(jù)源選擇算法的有效性,實(shí)現(xiàn)表明,該算法可以有效地減少數(shù)據(jù)修復(fù)時(shí)間。3)Ceph系統(tǒng)的數(shù)據(jù)修復(fù)過程的優(yōu)化。在Ceph系統(tǒng)中運(yùn)用分級解碼算法對糾刪碼解碼過程優(yōu)化,該算法將修復(fù)操作拆分成多個(gè)部分解碼操作,在不同的機(jī)架內(nèi)數(shù)據(jù)并行傳輸,有效減少對跨機(jī)架網(wǎng)絡(luò)的占用。實(shí)驗(yàn)表明分級解碼算法可以有效地減少數(shù)據(jù)修復(fù)時(shí)間。基于網(wǎng)絡(luò)延遲的數(shù)據(jù)源選擇算法和分級解碼算法是正交關(guān)系,這兩個(gè)算法可以結(jié)合恢復(fù)數(shù)據(jù),也可以單獨(dú)使用。
【圖文】：

恢復(fù)節(jié)點(diǎn)８７上時(shí)，Ｓ７上的網(wǎng)絡(luò)帶寬就成為系統(tǒng)的瓶頸［１７］，影響恢復(fù)的逡逑性能。文獻(xiàn)［１８］中提出ＰＰＲ算法，將整個(gè)恢復(fù)過程拆分成多個(gè)操作并在逡逑多個(gè)節(jié)點(diǎn)上并行進(jìn)行，從而減少恢復(fù)時(shí)間。如圖１－２所示，為了修復(fù)Ｓ７逡逑上丟失的數(shù)據(jù)塊Ｄ１，選中Ｓ２，邋Ｓ３和Ｓ４三個(gè)可用的節(jié)點(diǎn)傳輸數(shù)據(jù)，但是逡逑Ｓ２上的數(shù)據(jù)塊傳輸給Ｓ３，Ｓ４上的數(shù)據(jù)塊傳輸給Ｓ７，邋Ｓ３和Ｓ７分別對來自逡逑Ｓ２和Ｓ４的數(shù)據(jù)塊與本地的聚合，然后Ｓ３將聚合后的結(jié)果傳輸給Ｓ７，逡逑最后Ｓ７對從Ｓ３收到的數(shù)據(jù)聚合恢復(fù)出不可用的數(shù)據(jù)塊。這種方式能較逡逑好地解決恢復(fù)節(jié)點(diǎn)的瓶頸問題。文獻(xiàn)［１９］中Ｘｉｅ等人提出了混合編碼，逡逑對于頻繁訪問的文件使用快速編碼實(shí)現(xiàn)更快地恢復(fù)，并使用緊湊代碼為逡逑不常訪問的文件獲得更低的存儲開銷，但是也帶來了編碼之間的切換開逡逑銷。逡逑／邐，邐Ａ．逡逑％、邐Ｓ２邋Ｉ邋ｓ

恢復(fù)節(jié)點(diǎn)８７上時(shí)，Ｓ７上的網(wǎng)絡(luò)帶寬就成為系統(tǒng)的瓶頸［１７］，影響恢復(fù)的逡逑性能。文獻(xiàn)［１８］中提出ＰＰＲ算法，將整個(gè)恢復(fù)過程拆分成多個(gè)操作并在逡逑多個(gè)節(jié)點(diǎn)上并行進(jìn)行，從而減少恢復(fù)時(shí)間。如圖１－２所示，為了修復(fù)Ｓ７逡逑上丟失的數(shù)據(jù)塊Ｄ１，選中Ｓ２，邋Ｓ３和Ｓ４三個(gè)可用的節(jié)點(diǎn)傳輸數(shù)據(jù)，但是逡逑Ｓ２上的數(shù)據(jù)塊傳輸給Ｓ３，Ｓ４上的數(shù)據(jù)塊傳輸給Ｓ７，邋Ｓ３和Ｓ７分別對來自逡逑Ｓ２和Ｓ４的數(shù)據(jù)塊與本地的聚合，然后Ｓ３將聚合后的結(jié)果傳輸給Ｓ７，逡逑最后Ｓ７對從Ｓ３收到的數(shù)據(jù)聚合恢復(fù)出不可用的數(shù)據(jù)塊。這種方式能較逡逑好地解決恢復(fù)節(jié)點(diǎn)的瓶頸問題。文獻(xiàn)［１９］中Ｘｉｅ等人提出了混合編碼，，逡逑對于頻繁訪問的文件使用快速編碼實(shí)現(xiàn)更快地恢復(fù)，并使用緊湊代碼為逡逑不常訪問的文件獲得更低的存儲開銷，但是也帶來了編碼之間的切換開逡逑銷。逡逑／邐，邐Ａ．逡逑％、邐Ｓ２邋Ｉ邋ｓ
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王甜甜;余春雷;;異構(gòu)分布式存儲系統(tǒng)中部分重復(fù)碼的構(gòu)造[J];信息通信;2019年01期

2 黃根華;鐘聲偉;;分布式存儲系統(tǒng)在通信運(yùn)營商云計(jì)算資源池的應(yīng)用研究[J];通訊世界;2017年16期

3 藍(lán)青;;云計(jì)算分布式存儲系統(tǒng)典型運(yùn)維問題的分析[J];通信與信息技術(shù);2017年05期

4 王丹輝;;基于分布式存儲系統(tǒng)的數(shù)據(jù)認(rèn)證和安全保障研究[J];中國電子科學(xué)研究院學(xué)報(bào);2015年06期

5 馮亮;;差異分布式存儲系統(tǒng)資源調(diào)度的優(yōu)化仿真[J];計(jì)算機(jī)仿真;2016年03期

6 董志強(qiáng);;分布式存儲系統(tǒng)文件級連續(xù)數(shù)據(jù)保護(hù)技術(shù)研究[J];通訊世界;2015年09期

7 梁坤榮;;分布式存儲系統(tǒng)CEPH研究與試用[J];數(shù)碼世界;2017年07期

8 龔利;史楊;;淺析分布式存儲系統(tǒng)的研究及應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年09期

9 徐小龍;鄒勤文;楊庚;;分布式存儲系統(tǒng)中數(shù)據(jù)副本管理機(jī)制[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年02期

10 馮浩;賈年;;面向海量無線電監(jiān)測數(shù)據(jù)的分布式存儲系統(tǒng)研究[J];成都工業(yè)學(xué)院學(xué)報(bào);2015年02期

相關(guān)會(huì)議論文 前9條

1 趙輝;何連躍;;基于異構(gòu)分布式存儲系統(tǒng)的動(dòng)態(tài)反饋負(fù)載均衡技術(shù)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 曲珊;張金鋇;;非對稱網(wǎng)絡(luò)結(jié)構(gòu)下的分布式存儲系統(tǒng)編碼研究[A];第十九屆中國科協(xié)年會(huì)——分9“互聯(lián)網(wǎng)+”：傳統(tǒng)產(chǎn)業(yè)變革新動(dòng)能論壇論文集[C];2017年

3 張曦;陳渝;王小鴿;張寶鵬;孫云峰;;PA-DCS:一種基于能耗感知的無線傳感器網(wǎng)絡(luò)分布式存儲系統(tǒng)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

4 徐琪;程耀東;陳剛;;新型EB級文件存儲系統(tǒng)EOS的分析與測試[A];第十八屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會(huì)論文集[C];2016年

5 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

6 武騰;薛磊;鄭東;柳曉光;;P2P持久存儲系統(tǒng)可靠性分析與數(shù)據(jù)維護(hù)優(yōu)化[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

7 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[A];2010年第16屆全國信息存儲技術(shù)大會(huì)（IST2010）論文集[C];2010年

8 羅凌燕;李錄兵;李化斌;寧瑩;王俊青;吳秀杰;王登蓮;梁馨嫻;;虛擬化云平臺在SCADA系統(tǒng)中的應(yīng)用[A];綠色石化·創(chuàng)新集成·效能提升——第十一屆寧夏青年科學(xué)家論壇石化專題論壇論文集[C];2015年

9 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 記者 魏京華 通訊員 高U喴

本文編號：2671164