發(fā)布時間：2020-10-24 16:11

　　 存儲系統(tǒng)規(guī)模增大導(dǎo)致數(shù)據(jù)丟失成為常態(tài)。糾刪碼技術(shù)由于具有低存儲開銷的特點(diǎn),因此被存儲系統(tǒng)所廣泛采用。然而糾刪碼的引入也改變了存儲系統(tǒng)正常的I/O訪問和失效修復(fù)方式。本文從性能優(yōu)化角度,從編碼設(shè)計(jì)、條帶內(nèi)局部寫、單盤失效修復(fù)和多點(diǎn)協(xié)同再生等四個方面對糾刪碼存儲系統(tǒng)展開研究。?提出了一種新的RAID-6編碼――橫縱碼(Horizontal-Vertical Code,HV碼)。HV碼利用橫式校驗(yàn)鏈優(yōu)化降級讀操作和同行條帶內(nèi)局部寫操作,構(gòu)建縱式校驗(yàn)鏈以優(yōu)化跨行條帶內(nèi)局部寫操作,并均勻放置校驗(yàn)元素以均衡負(fù)載。實(shí)驗(yàn)結(jié)果表明,相比于其他具有代表性的RAID-6編碼,HV碼在綜合性能上具有更好的表現(xiàn)。?提出了一種基于XOR編碼的存儲系統(tǒng)的條帶內(nèi)局部寫操作優(yōu)化方法――基于校驗(yàn)轉(zhuǎn)換的數(shù)據(jù)布局方法(Parity-Switched Data Placement,PDP)。PDP利用連續(xù)數(shù)據(jù)元素生成校驗(yàn)元素,并優(yōu)化校驗(yàn)元素的生成順序,以減少條帶內(nèi)局部寫操作的額外更新。實(shí)驗(yàn)結(jié)果表明,PDP雖然需要少量存儲開銷,但是其能減少31.9%的數(shù)據(jù)更新并提升27.9%的寫速度。?提出了一種單盤失效修復(fù)中尋道操作和修復(fù)帶寬兼顧的優(yōu)化方法――高效尋道修復(fù)算法(Seek-Efficient I/O Recovery,SIOR)。SIOR采用現(xiàn)有的優(yōu)化方法減少每個條帶所需修復(fù)帶寬,并設(shè)計(jì)基于禁忌搜索的貪心算法和填充算法進(jìn)一步減少修復(fù)過程中的尋道操作。實(shí)驗(yàn)結(jié)果表明,SIOR能夠明顯減少搜索時間并減少31.8%～65.1%的尋道操作。?提出了異構(gòu)存儲網(wǎng)絡(luò)下的一種新的協(xié)同再生框架,并設(shè)計(jì)了該框架下的路由選擇算法――異構(gòu)協(xié)同再生算法(Heterogeneous-aware Cooperative Regeneration,HCR)。該框架根據(jù)節(jié)點(diǎn)的異構(gòu)性分離新來節(jié)點(diǎn)的再生過程,以減少再生過程中的網(wǎng)絡(luò)開銷。HCR進(jìn)一步設(shè)計(jì)貪心算法,高效實(shí)現(xiàn)已有再生方案在該框架下的路由選擇。實(shí)驗(yàn)結(jié)果表明,HCR僅引入少量的網(wǎng)絡(luò)傳輸數(shù)據(jù),并減少高達(dá)75.4%的網(wǎng)絡(luò)開銷。
【學(xué)位單位】：清華大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2015
【中圖分類】：TP333
【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景與意義
    1.2 糾刪碼存儲系統(tǒng)概述
        1.2.1 糾刪碼的基本概念
        1.2.2 糾刪碼概述
        1.2.3 糾刪碼存儲系統(tǒng)主要性能指標(biāo)
    1.3 研究內(nèi)容和主要貢獻(xiàn)
        1.3.1 研究內(nèi)容
        1.3.2 主要貢獻(xiàn)
第2章 相關(guān)工作
    2.1 RAID-6編碼
        2.1.1 RAID-6碼中的橫式編碼
        2.1.2 RAID-6碼中的縱式編碼
    2.2 條帶內(nèi)局部寫操作
    2.3 單盤失效修復(fù)
    2.4 異構(gòu)環(huán)境多點(diǎn)協(xié)同再生
        2.4.1 多點(diǎn)協(xié)同再生
        2.4.2 異構(gòu)環(huán)境修復(fù)
    2.5 本章小結(jié)
第3章 HV碼：一種面向多個性能指標(biāo)的RAID-6編碼
    3.1 概述
    3.2 研究背景與動機(jī)
        3.2.1 研究背景
        3.2.2 負(fù)載均衡問題
        3.2.3 條帶內(nèi)局部寫問題
        3.2.4 磁盤失效恢復(fù)問題
        3.2.5 降級讀問題
        3.2.6 研究動機(jī)
    3.3 HV碼的構(gòu)建方法
        3.3.1 布局和編碼規(guī)則
        3.3.2 HV碼構(gòu)建過程
        3.3.3 HV碼的正確性證明
        3.3.4 數(shù)據(jù)修復(fù)
    3.4 HV碼的特征分析
        3.4.1 最優(yōu)的存儲效率
        3.4.2 最優(yōu)的編碼/重構(gòu)/更新效率
        3.4.3 有效的負(fù)載均衡
        3.4.4 快速的數(shù)據(jù)修復(fù)
        3.4.5 優(yōu)化的條帶內(nèi)寫操作性能
    3.5 性能評估
        3.5.1 實(shí)驗(yàn)環(huán)境
        3.5.2 實(shí)驗(yàn)準(zhǔn)備
        3.5.3 條帶內(nèi)寫操作性能
        3.5.4 降級讀操作性能
        3.5.5 單盤恢復(fù)性能
        3.5.6 HV碼與其他典型RAID-6編碼的對比總結(jié)
    3.6 本章小結(jié)
第4章 基于XOR編碼的存儲系統(tǒng)的條帶內(nèi)局部寫操作優(yōu)化方法
    4.1 概述
    4.2 研究背景
        4.2.1 橫式數(shù)據(jù)布局
        4.2.2 縱式數(shù)據(jù)布局
        4.2.3 當(dāng)前針對條帶內(nèi)局部寫操作的優(yōu)化工作
        4.2.4 當(dāng)前工作所存在的不足
    4.3 研究動機(jī)和挑戰(zhàn)
        4.3.1 數(shù)據(jù)分布規(guī)則
        4.3.2 校驗(yàn)元素生成順序
        4.3.3 數(shù)據(jù)元素順序調(diào)整
    4.4 PDP設(shè)計(jì)
        4.4.1 校驗(yàn)元素生成順序
        4.4.2 數(shù)據(jù)元素順序調(diào)整
        4.4.3 其他優(yōu)化方法
        4.4.4 復(fù)雜度分析
    4.5 性能評估
        4.5.1 實(shí)驗(yàn)環(huán)境
        4.5.2 實(shí)驗(yàn)負(fù)載
        4.5.3 實(shí)驗(yàn)方法
        4.5.4 評價指標(biāo)
        4.5.5 測試結(jié)果
        4.5.6 對比總結(jié)
    4.6 本章小結(jié)
第5章 單盤修復(fù)中尋道操作和修復(fù)帶寬兼顧的優(yōu)化方法
    5.1 概述
    5.2 研究背景
        5.2.1 單盤失效問題
        5.2.2 當(dāng)前工作所存在的不足
    5.3 研究動機(jī)
    5.4 SIOR設(shè)計(jì)
        5.4.1 初始修復(fù)方案選擇
        5.4.2 初始修復(fù)方案優(yōu)化
    5.5 性能評估
        5.5.1 迭代步數(shù)的影響
        5.5.2 系統(tǒng)規(guī)模的影響
        5.5.3 最優(yōu)性和計(jì)算效率
        5.5.4 修復(fù)帶寬比較
        5.5.5 元素大小的影響
        5.5.6 總結(jié)
    5.6 本章小結(jié)
第6章 異構(gòu)存儲網(wǎng)絡(luò)中多點(diǎn)協(xié)同再生的高效路由方法
    6.1 概述
    6.2 研究背景
    6.3 問題描述
        6.3.1 傳統(tǒng)協(xié)同再生框架
        6.3.2 傳統(tǒng)協(xié)同再生的限制條件
        6.3.3 新的協(xié)同再生框架
        6.3.4 優(yōu)化模型
        6.3.5 例子
    6.4 異構(gòu)協(xié)同再生方案
        6.4.1 最小聚合路由的尋找
        6.4.2 擴(kuò)張節(jié)點(diǎn)的選擇
        6.4.3 供應(yīng)節(jié)點(diǎn)的選擇
        6.4.4 節(jié)點(diǎn)選擇的復(fù)雜度分析
    6.5 性能評估
        6.5.1 測試設(shè)置
        6.5.2 測試結(jié)果
    6.6 本章小結(jié)
第7章 總結(jié)與展望
    7.1 論文的主要工作
    7.2 未來工作展望
參考文獻(xiàn)
致謝
個人簡歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲[J];每周電腦報(bào);2000年18期

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

6 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

8 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

9 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

10 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲模塊的研究與實(shí)現(xiàn)[D];中國艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲系統(tǒng)存儲引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲環(huán)境下的混合存儲算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

本文編號：2854689