構(gòu)建于大量節(jié)點(diǎn)之上云存儲方便易用、成本低廉且可彈性擴(kuò)展,被廣泛用來保存人們快速產(chǎn)生的海量數(shù)據(jù)。根據(jù)節(jié)點(diǎn)分布,云存儲可分為單中心云存儲、跨中心云存儲和P2P云存儲三類。前二者通過運(yùn)營包含大量服務(wù)器的一個(gè)或多個(gè)數(shù)據(jù)中心來提供服務(wù);P2P云存儲則通過大量租用個(gè)人閑置的存儲空間和網(wǎng)絡(luò)帶寬來提供服務(wù)。對于任何一類云存儲,采用容錯(cuò)技術(shù)以保證數(shù)據(jù)不因節(jié)點(diǎn)失效而丟失都至關(guān)重要。基于糾刪碼的容錯(cuò)技術(shù)容錯(cuò)能力更強(qiáng)且存儲效率更高,近年來廣泛替代了傳統(tǒng)基于副本的容錯(cuò)技術(shù)。然而,由于基于糾刪碼的容錯(cuò)技術(shù)更為復(fù)雜,其在云存儲中面臨著以下問題:（1）數(shù)據(jù)編碼包括數(shù)據(jù)分塊、數(shù)據(jù)運(yùn)算和數(shù)據(jù)分發(fā)等操作,已有的編碼方法或者消耗了過多的I/O資源或者具有低下的數(shù)據(jù)讀寫速度;（2）數(shù)據(jù)修復(fù)時(shí)每修復(fù)一個(gè)失效塊都需要傳輸多個(gè)塊并進(jìn)行復(fù)雜的運(yùn)算,已有的數(shù)據(jù)修復(fù)方法不能有效降低數(shù)據(jù)傳輸開銷并提高數(shù)據(jù)修復(fù)效率。近年來,跨中心云存儲和P2P云存儲的興起使這些問題變得更加突出。本文針對這些技術(shù)難題,綜合考慮各類云存儲的特點(diǎn),對糾刪碼容錯(cuò)技術(shù)中的數(shù)據(jù)編碼問題和數(shù)據(jù)修復(fù)問題展開深入研究,主要貢獻(xiàn)如下:已有的數(shù)據(jù)編碼方法或因需要進(jìn)行容錯(cuò)技術(shù)轉(zhuǎn)換而... 

【文章來源】：國防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁數(shù)】：133 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 云存儲概述
        1.1.1 應(yīng)用背景
        1.1.2 應(yīng)用場景
        1.1.3 組織形式
    1.2 數(shù)據(jù)容錯(cuò)問題
        1.2.1 應(yīng)用背景
        1.2.2 常見容錯(cuò)技術(shù)
    1.3 糾刪碼容錯(cuò)技術(shù)
        1.3.1 應(yīng)用背景
        1.3.2 常用概念
        1.3.3 基本原理
        1.3.4 主要挑戰(zhàn)
    1.4 本文工作
    1.5 論文結(jié)構(gòu)
第二章 相關(guān)工作
    2.1 常見糾刪碼
        2.1.1 分組碼
        2.1.2 再生碼
        2.1.3 小結(jié)
    2.2 數(shù)據(jù)編碼方法
        2.2.1 異步編碼方法
        2.2.2 同步編碼方法
        2.2.3 總結(jié)
    2.3 數(shù)據(jù)修復(fù)方法
        2.3.1 星型修復(fù)方法
        2.3.2 樹型修復(fù)方法
        2.3.3 數(shù)據(jù)選擇修復(fù)方法
        2.3.4 總結(jié)
    2.4 本章小結(jié)
第三章 基于流水線的分布式漸進(jìn)編碼方法
    3.1 引言
    3.2 編碼方法設(shè)計(jì)
        3.2.1 基本思想
        3.2.2 編碼示例
        3.2.3 一般編碼過程
        3.2.4 磁盤讀寫優(yōu)化
        3.2.5 網(wǎng)絡(luò)傳輸優(yōu)化
        3.2.6 編碼方法推廣
        3.2.7 節(jié)點(diǎn)失效處理
    3.3 編碼開銷分析
        3.3.1 網(wǎng)絡(luò)傳輸
        3.3.2 磁盤讀寫
    3.4 實(shí)驗(yàn)評測與分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 數(shù)據(jù)寫入性能
        3.4.3 數(shù)據(jù)讀取性能
        3.4.4 結(jié)果總結(jié)
    3.5 本章小結(jié)
第四章 局部性感知的樹型修復(fù)方法
    4.1 引言
    4.2 問題描述
        4.2.1 樹型修復(fù)方法推廣
        4.2.2 樹形修復(fù)問題描述
    4.3 修復(fù)方法設(shè)計(jì)
    4.4 最優(yōu)修復(fù)樹的構(gòu)建
        4.4.1 局部性的測量
        4.4.2 修復(fù)樹的構(gòu)建
        4.4.3 修復(fù)樹的優(yōu)化
    4.5 提供節(jié)點(diǎn)組合的選擇
    4.6 修復(fù)方法實(shí)現(xiàn)
        4.6.1 數(shù)據(jù)修復(fù)流程
        4.6.2 流水線式再生
        4.6.3 框架的擴(kuò)展性
    4.7 網(wǎng)絡(luò)開銷分析
        4.7.1 分析設(shè)置
        4.7.2 修復(fù)樹構(gòu)建時(shí)間
        4.7.3 核心帶寬消耗
        4.7.4 總體網(wǎng)絡(luò)負(fù)載
    4.8 實(shí)驗(yàn)評測與分析
        4.8.1 實(shí)驗(yàn)設(shè)置
        4.8.2 主動修復(fù)性能
        4.8.3 降級讀取性能
        4.8.4 扇區(qū)修復(fù)性能
        4.8.5 對正常應(yīng)用的影響
    4.9 本章小結(jié)
第五章 基于分片的分布式星型修復(fù)方法
    5.1 引言
    5.2 問題描述
        5.2.1 常用基本概念
        5.2.2 修復(fù)問題描述
    5.3 修復(fù)方法設(shè)計(jì)
        5.3.1 單塊失效修復(fù)
        5.3.2 多塊失效修復(fù)
        5.3.3 一般修復(fù)過程
    5.4 磁盤讀寫優(yōu)化
    5.5 修復(fù)負(fù)載分析
        5.5.1 單塊失效修復(fù)
        5.5.2 多塊失效修復(fù)
    5.6 實(shí)驗(yàn)測評與分析
        5.6.1 實(shí)驗(yàn)設(shè)置
        5.6.2 校驗(yàn)塊個(gè)數(shù)m對修復(fù)的影響
        5.6.3 數(shù)據(jù)塊個(gè)數(shù)k對修復(fù)的影響
        5.6.4 失效塊個(gè)數(shù)e對修復(fù)的影響
        5.6.5 帶寬不對稱性對修復(fù)的影響
        5.6.6 結(jié)果總結(jié)
    5.7 本章小結(jié)
第六章 工作總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果
作者在學(xué)期間參加的科研項(xiàng)目


【參考文獻(xiàn)】：
期刊論文
[1]分布式存儲中的糾刪碼容錯(cuò)技術(shù)研究[J]. 王意潔,許方亮,裴曉強(qiáng).  計(jì)算機(jī)學(xué)報(bào). 2017(01)
[2]基于糾刪碼的分布式存儲系統(tǒng)中針對多數(shù)據(jù)失效的樹型并行修復(fù)技術(shù)(英文)[J]. 孫偉東,王意潔,裴曉強(qiáng).  中國通信. 2013(04)
[3]存儲系統(tǒng)中的糾刪碼研究綜述[J]. 羅象宏,舒繼武.  計(jì)算機(jī)研究與發(fā)展. 2012(01)
[4]EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[J]. 周松,王意潔.  計(jì)算機(jī)研究與發(fā)展. 2011(S1)

碩士論文
[1]分布式存儲系統(tǒng)中糾刪碼的數(shù)據(jù)修復(fù)技術(shù)研究[D]. 許方亮.國防科學(xué)技術(shù)大學(xué) 2013



本文編號：3420030