分布式存儲(chǔ)中基于拓?fù)涓兄男迯?fù)優(yōu)化技術(shù)研究
發(fā)布時(shí)間：2017-10-01 08:22
本文關(guān)鍵詞：分布式存儲(chǔ)中基于拓?fù)涓兄男迯?fù)優(yōu)化技術(shù)研究
更多相關(guān)文章： 網(wǎng)絡(luò)拓?fù)?/b> MDS編碼 數(shù)據(jù)修復(fù) 斯坦納樹(shù)
【摘要】：在大規(guī)模的分布式存儲(chǔ)系統(tǒng)中,節(jié)點(diǎn)失效經(jīng)常發(fā)生。隨著編碼的引入,在降低存儲(chǔ)開(kāi)銷(xiāo)的同時(shí),通過(guò)數(shù)據(jù)再生來(lái)保證可靠性。當(dāng)節(jié)點(diǎn)失效時(shí),需要在新的節(jié)點(diǎn)上產(chǎn)生新的冗余數(shù)據(jù)以保證系統(tǒng)的可靠性,這個(gè)新的冗余數(shù)據(jù)存放節(jié)點(diǎn)被稱(chēng)為新來(lái)節(jié)點(diǎn)。數(shù)據(jù)再生的過(guò)程中,通常主要考慮兩個(gè)方面：傳輸代價(jià)和修復(fù)時(shí)間。在數(shù)據(jù)再生的過(guò)程中,傳輸代價(jià)越小意味著在網(wǎng)絡(luò)中產(chǎn)生的流量越少。而修復(fù)時(shí)間又直接影響著整個(gè)系統(tǒng)的可靠性和可用性。然而,這兩個(gè)指標(biāo)又高度依賴(lài)于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),不幸的是,在現(xiàn)有的工作中,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)往往被忽略了。一種理想的網(wǎng)絡(luò)互連模型假設(shè)任意兩個(gè)節(jié)點(diǎn)之間直接互連,而且互連的鏈路是對(duì)稱(chēng)的,而理想拓?fù)淠Ｐ秃蛯?shí)際網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)之間的差異又會(huì)導(dǎo)致嚴(yán)重的性能下降。雖然MDS編碼已經(jīng)被證明能夠在降低存儲(chǔ)開(kāi)銷(xiāo)的同時(shí),提高系統(tǒng)的可靠性。但是現(xiàn)有的MDS編碼都是基于理想的拓?fù)淠Ｐ?新來(lái)節(jié)點(diǎn)直接從剩余的存儲(chǔ)節(jié)點(diǎn)中獲取數(shù)據(jù)而不考慮傳輸距離以及傳輸鏈路的異構(gòu)性,所以修復(fù)時(shí)間往往被瓶頸鏈路所限制,傳輸代價(jià)則被理想的拓?fù)淠Ｐ退谏w。在本篇論文中,1)針對(duì)網(wǎng)絡(luò)編碼框架下的數(shù)據(jù)修復(fù)優(yōu)化問(wèn)題,提出了基于Stenier-Tree算法的啟發(fā)式修復(fù)樹(shù)構(gòu)造算法,通過(guò)理論分析建立了修復(fù)帶寬與網(wǎng)絡(luò)流量的平衡關(guān)系。2)設(shè)計(jì)了基于啟發(fā)式修復(fù)樹(shù)構(gòu)造算法的數(shù)據(jù)修復(fù)協(xié)議,并通過(guò)實(shí)驗(yàn)對(duì)協(xié)議性能進(jìn)行了分析,為分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)修復(fù)提供了支持。試驗(yàn)結(jié)果表明,在不引入過(guò)多傳輸流量的約束下,修復(fù)帶寬得到了大大的提高,這使得整個(gè)修復(fù)過(guò)程時(shí)間得到了縮短。
【關(guān)鍵詞】：網(wǎng)絡(luò)拓?fù)?/strong> MDS編碼 數(shù)據(jù)修復(fù) 斯坦納樹(shù)
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP333
【目錄】：
- 摘要4-5
- Abstract5-12
- 第一章 緒論12-18
- 1.1 背景介紹12-13
- 1.2 分布式存儲(chǔ)中基于編碼的數(shù)據(jù)修復(fù)13-16
- 1.2.1 節(jié)點(diǎn)修復(fù)模型13-15
- 1.2.2 節(jié)點(diǎn)修復(fù)開(kāi)銷(xiāo)15-16
- 1.2.3 網(wǎng)絡(luò)拓?fù)?/span>16
- 1.3 本文組織結(jié)構(gòu)16-18
- 第二章 相關(guān)工作18-26
- 2.1 分布式存儲(chǔ)中的編碼特性18-20
- 2.2 數(shù)據(jù)修復(fù)中的流量?jī)?yōu)化20-23
- 2.2.1 問(wèn)題分析20-21
- 2.2.2 Aggregation Codes21-23
- 2.3 節(jié)點(diǎn)修復(fù)中的帶寬利用最大化23-25
- 2.3.1 基于拓?fù)涞臉?shù)形修復(fù)23-24
- 2.3.2 再生碼(regeneration codes)與樹(shù)形修復(fù)24-25
- 2.4 小結(jié)25-26
- 第三章 基于拓?fù)涓兄臉?shù)形修復(fù)26-41
- 3.1 背景與現(xiàn)狀26-28
- 3.2 系統(tǒng)模型28-30
- 3.2.1 拓?fù)淠Ｐ?/span>28-29
- 3.2.2 編碼與解碼29-30
- 3.3 基于網(wǎng)絡(luò)拓?fù)涞臉?shù)形修復(fù)30-35
- 3.3.1 問(wèn)題分析30-32
- 3.3.2 基于Stenier-Tree的啟發(fā)式算法32-35
- 3.4 理論分析35-37
- 3.4.1 瓶頸帶寬35-36
- 3.4.2 修復(fù)流量36-37
- 3.5 試驗(yàn)和性能評(píng)估37-40
- 3.5.1 瓶頸帶寬37-38
- 3.5.2 網(wǎng)絡(luò)流量38
- 3.5.3 趨近比38-40
- 3.6 小結(jié)40-41
- 第四章 樹(shù)形修復(fù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)41-62
- 4.1 系統(tǒng)結(jié)構(gòu)41-42
- 4.2 系統(tǒng)交互流程42-43
- 4.3 STNRP(Stenier Tree based Node Recovery Protocol)協(xié)議43-46
- 4.3.1 功能概述43
- 4.3.2 協(xié)議設(shè)計(jì)43-44
- 4.3.3 數(shù)據(jù)結(jié)構(gòu)44-46
- 4.4 CDTP(Coded Data Transfer Protocol)協(xié)議46-49
- 4.4.1 功能概述46
- 4.4.2 協(xié)議設(shè)計(jì)46-48
- 4.4.3 數(shù)據(jù)結(jié)構(gòu)48-49
- 4.5 軟件模塊的定義49-57
- 4.5.1 網(wǎng)絡(luò)監(jiān)測(cè)49-50
- 4.5.2 編碼模塊50-53
- 4.5.3 樹(shù)形修復(fù)模塊53-57
- 4.6 實(shí)驗(yàn)評(píng)估57-61
- 4.6.1 再生樹(shù)的構(gòu)建時(shí)間57-58
- 4.6.2 修復(fù)時(shí)間58-60
- 4.6.3 修復(fù)流量60-61
- 4.7 小結(jié)61-62
- 第五章 總結(jié)與展望62-64
- 5.1 總結(jié)62-63
- 5.2 展望63-64
- 參考文獻(xiàn)64-67
- 簡(jiǎn)歷與科研成果67-68
- 致謝68-69
【相似文獻(xiàn)】
中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條
1 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲(chǔ)系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期
2 范劍波,郭建康;分布式存儲(chǔ)系統(tǒng)性能模型的建立與應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2001年13期
3 范劍波,徐利浩;分布式存儲(chǔ)系統(tǒng)可靠性的研究[J];計(jì)算機(jī)工程;2001年06期
4 吳英;謝廣軍;劉t，
本文編號(hào)：952404
本文鏈接：http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/952404.html
最近更新
教材專(zhuān)著
