【摘要】：糾刪碼技術(shù)由于其低存儲開銷的優(yōu)勢,正逐漸取代多副本技術(shù)被廣泛應用到分布式存儲系統(tǒng)中來提供數(shù)據(jù)可靠性。但它會引入大量的跨機架流量:修復一個丟失的數(shù)據(jù)塊需通過網(wǎng)絡(luò)從其他節(jié)點上讀取多個可用塊;更新一個數(shù)據(jù)塊會觸發(fā)對所有校驗塊的校驗更新。過多的跨機架流量會導致系統(tǒng)中包括糾刪碼在內(nèi)的多種應用性能下降。為了提升糾刪碼的性能,許多新的編碼方案被提出,試圖從根本上減少網(wǎng)絡(luò)流量,但其缺點是會犧牲其他性能。另一種優(yōu)化途徑是不改變糾刪碼的編碼結(jié)構(gòu),而是通過優(yōu)化數(shù)據(jù)傳輸路徑提升糾刪碼系統(tǒng)的修復和更新性能。這種優(yōu)化方式可以應用在多種新型糾刪碼上,通過結(jié)合兩種優(yōu)化策略進一步提升性能。但是目前提出的數(shù)據(jù)傳輸方案,只關(guān)注于解決糾刪碼性能問題,并沒有實際減少糾刪碼引入的跨機架流量。隨著可編程網(wǎng)絡(luò)設(shè)備的興起,網(wǎng)絡(luò)計算的概念被提出,其主要思想是將原來位于終端節(jié)點上的計算操作移動到網(wǎng)絡(luò)設(shè)備中。受該想法啟發(fā),針對糾刪碼修復和更新操作,分別提出基于異或網(wǎng)絡(luò)計算的數(shù)據(jù)傳輸方案:兩種方案的核心思想均是由網(wǎng)絡(luò)設(shè)備執(zhí)行異或運算,其中在修復操作中,來自不同節(jié)點的數(shù)據(jù)在網(wǎng)絡(luò)中匯聚,通過利用可編程網(wǎng)絡(luò)設(shè)備對來自不同節(jié)點的數(shù)據(jù)流執(zhí)行異或運算,然后將計算結(jié)果繼續(xù)轉(zhuǎn)發(fā),從而避免大量端到端的網(wǎng)絡(luò)傳輸;在更新操作中,網(wǎng)絡(luò)設(shè)備代替存儲節(jié)點計算增量,然后通過不同鏈路發(fā)送增量,既縮短了傳輸路徑也消除了網(wǎng)絡(luò)瓶頸�；贖DFS-RAID和SDN(Software Defined Networking),模擬實現(xiàn)了一個網(wǎng)絡(luò)計算框架,在該模擬環(huán)境下的測試結(jié)果顯示,基于異或網(wǎng)絡(luò)計算的傳輸方案可以使得修復和更新操作達到最優(yōu)性能。對于修復操作,修復一個塊的時間幾乎接近于正常讀取一個塊的時間,并且相比于repair pipelining,可以減少高達41%的網(wǎng)絡(luò)流量。另外對于更新操作,相比于基于增量的更新方案,可以減少高達74%的更新時間和30%的網(wǎng)絡(luò)流量。
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 馬紅霞;;淺析網(wǎng)絡(luò)計算的發(fā)展與應用[J];科技創(chuàng)業(yè)家;2012年17期

2 李文忠;;話說精簡網(wǎng)絡(luò)計算[J];軟件世界;2007年09期

3 ;SUN:輕松步入網(wǎng)絡(luò)計算新紀元[J];計算機教育;2004年04期

4 國敢;Sun公司在2004年第二季度網(wǎng)絡(luò)計算新品發(fā)布中,推出該產(chǎn)品和解決方案[J];鐵路計算機應用;2004年06期

5 ;全國計算機網(wǎng)絡(luò)計算大賽20萬懸賞高手[J];電腦知識與技術(shù);2003年02期

6 ;Sun發(fā)布“低成本網(wǎng)絡(luò)計算”策略[J];電信技術(shù);2003年08期

7 Scott McNealy;開放的網(wǎng)絡(luò)計算仍然是我們的激情所在[J];通訊世界;2003年03期

8 ;全國首次網(wǎng)絡(luò)計算大賽在京拉開帷幕[J];中國數(shù)據(jù)通信;2003年01期

9 ScottMcNealy;網(wǎng)絡(luò)計算是我們的靈魂[J];郵電商情;2000年01期

10 劉勁松;;中青電商投身網(wǎng)絡(luò)計算[J];每周電腦報;2000年33期

相關(guān)會議論文 前6條

1 徐波;;面向網(wǎng)絡(luò)計算的漢語語音信息處理[A];輝煌二十年——中國中文信息學會二十周年學術(shù)會議論文集[C];2001年

2 龔炳錚;;Java技術(shù)應用推進信息化發(fā)展[A];Java技術(shù)及應用的進展——第八屆中國Java技術(shù)及應用交流大會文集[C];2005年

3 王克宏;;全球Java教育與學習聯(lián)盟(JELC)——參加JELC顧問會議后記[A];Java技術(shù)及應用的進展——第七屆中國Java技術(shù)及應用交流大會文集[C];2004年

4 張全伙;張劍達;;未來計算機與信息技術(shù)的若干研究熱點與發(fā)展趨勢[A];全國第十四屆計算機科學及其在儀器儀表中的應用學術(shù)交流會論文集[C];2001年

5 滕云田;王喜珍;王晨;;國家地震網(wǎng)絡(luò)計算應用系統(tǒng)[A];中國地球物理·2009[C];2009年

6 余文駿;朱永華;徐煒民;;以服務(wù)器為中心的面向服務(wù)網(wǎng)絡(luò)計算架構(gòu)的研究與實現(xiàn)[A];2006年全國開放式分布與并行計算機學術(shù)會議論文集（三）[C];2006年

相關(guān)重要報紙文章 前10條

1 ;Sun倡導“低成本網(wǎng)絡(luò)計算”[N];中國證券報;2003年

2 郭瑩;04財年Sun重點仍在網(wǎng)絡(luò)計算[N];中國計算機報;2003年

3 本報記者 陳勛燕;Sun:開啟網(wǎng)絡(luò)計算新時代[N];通信信息報;2004年

4 CPW記者 凡妮 張戈;為渠謀利 Sun力推低成本網(wǎng)絡(luò)計算[N];電腦商報;2003年

5 本報記者 侯健;網(wǎng)絡(luò)計算走過輝煌二十年[N];通信產(chǎn)業(yè)報;2002年

6 本報記者 范毅波;網(wǎng)絡(luò)計算走下神壇[N];網(wǎng)絡(luò)世界;2002年

7 ;網(wǎng)絡(luò)計算 網(wǎng)事無憂[N];科技日報;2000年

8 國防科技大學 王懷民;可成長性：網(wǎng)絡(luò)計算的基本特征[N];計算機世界;2002年

9 Scott McNealy;網(wǎng)絡(luò)計算的20年歷程[N];中國計算機報;2002年

10 CPW記者 凡妮;借網(wǎng)絡(luò)計算轉(zhuǎn)型 Sun謀劃新打法[N];電腦商報;2003年

相關(guān)博士學位論文 前7條

1 吳應良;網(wǎng)絡(luò)計算中的智能信息處理方法研究[D];華南理工大學;2000年

2 方華亮;基于網(wǎng)絡(luò)計算的電力系統(tǒng)新計算模式研究[D];華中科技大學;2006年

3 張曉琴;網(wǎng)絡(luò)計算系統(tǒng)的可信監(jiān)測及信任模型研究[D];重慶大學;2012年

4 沈備軍;企業(yè)網(wǎng)絡(luò)計算的參考框架與關(guān)鍵技術(shù)及其支持環(huán)境的研究[D];中國科學院研究生院（軟件研究所）;2001年

5 徐維江;網(wǎng)絡(luò)計算中的私有數(shù)據(jù)保護問題及其應用研究[D];中國科學技術(shù)大學;2008年

6 梁朝霞;基于生物網(wǎng)絡(luò)的下一代網(wǎng)絡(luò)電信業(yè)務(wù)平臺研究[D];東華大學;2010年

7 孔曉紅;網(wǎng)絡(luò)計算環(huán)境中基于智能算法的任務(wù)調(diào)度研究[D];江南大學;2007年

相關(guān)碩士學位論文 前6條

1 唐英杰;糾刪碼系統(tǒng)中基于異或網(wǎng)絡(luò)計算的數(shù)據(jù)修復及更新優(yōu)化研究[D];華中科技大學;2019年

2 趙紅波;基于網(wǎng)絡(luò)計算服務(wù)的仿真與運算平臺的設(shè)計與實現(xiàn)[D];山東科技大學;2006年

3 馬金龍;基于網(wǎng)絡(luò)計算的票務(wù)平臺的研究和設(shè)計[D];北京郵電大學;2010年

4 李剛;基于Web的電力企業(yè)圖形化網(wǎng)絡(luò)計算系統(tǒng)[D];四川大學;2003年

5 張俐;設(shè)計模式的研究與應用[D];河海大學;2003年

6 黃峰;分布式虛擬運行環(huán)境的研究與實現(xiàn)[D];國防科學技術(shù)大學;2008年

，

本文編號：2679795