發(fā)布時間：2017-10-21 00:33

  本文關(guān)鍵詞：Ceph存儲系統(tǒng)糾刪碼覆蓋寫的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 分布式存儲 糾刪碼 覆蓋寫

【摘要】：在云計算和大數(shù)據(jù)的時代,海量數(shù)據(jù)已經(jīng)成為企業(yè)的核心資產(chǎn),分布式存儲系統(tǒng)作為承載數(shù)據(jù)的基礎(chǔ)架構(gòu),通常構(gòu)建于通用的服務器。為了應對通用硬件的常態(tài)化失效,分布式存儲通過多副本機制容忍硬件和系統(tǒng)錯誤,多副本在大規(guī)模的并行計算場景可以得到很好的性能,但帶來多倍的存儲開銷。糾刪碼以更小的存儲代價,實現(xiàn)更高的容錯率,可以有效的降低存儲成本�，F(xiàn)有的分布式存儲中糾刪碼都只支持追加寫,不能任意的覆蓋寫,通常應用與冷數(shù)據(jù)存儲場景。為了使糾刪碼能夠應用于多讀多寫的有修改場景,本文以開源分布式系統(tǒng)Ceph為基礎(chǔ),設(shè)計并實現(xiàn)了糾刪碼的覆蓋寫系統(tǒng)。該系統(tǒng)支持糾刪碼的任意位置的偏移寫,更新過程保持數(shù)據(jù)的強一致性,性能測試后對寫流程的提出優(yōu)化方案,提升系統(tǒng)的讀寫吞吐量。本文的工作和研究成果如下：1.基于分布式存儲CEPH,設(shè)計并實現(xiàn)了糾刪碼覆蓋寫系統(tǒng),更新過程保證事務性,所有節(jié)點要么全部更新,要不全部不更新,更新失敗時自動回滾,保持數(shù)據(jù)強一致性。在節(jié)點失效時自動恢復,不需要人工干預;2.利用自適應的覆蓋寫方案,支持混合寫場景。結(jié)合重構(gòu)寫更新和增量寫更新的特點,根據(jù)覆蓋寫大小自適應選擇最優(yōu)更新方案,從整體上降低覆蓋寫的磁盤開銷和網(wǎng)絡(luò)開銷;3.利用緩存機制減少覆蓋寫流程,大大提高了覆蓋寫效率。糾刪碼覆蓋寫的校驗塊更新需要經(jīng)過預讀然后再寫,在對同一個文件頻繁覆蓋寫時,讀寫加鎖嚴重降低了整體效率。通過緩存數(shù)據(jù)塊,緩存命中時可以直接跳過預讀過程。同時,設(shè)計了客戶端隔離的緩存,隔離不同更新大小的客戶端,有利于提高緩存命中率;4.利用KeyValue存儲管理覆蓋寫的臨時對象,提高了空間利用率,加速空間的分配與回收。有效的提升臨時狀態(tài)數(shù)據(jù)的讀效率,提升整體的讀寫性能。
【關(guān)鍵詞】：分布式存儲 糾刪碼 覆蓋寫
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-17
• 1.1 引言11-13
• 1.2 分布式存儲13-14
• 1.3 分布式存儲的容錯14-15
• 1.4 本文工作15-17
• 第二章 相關(guān)工作17-30
• 2.1 開源分布式存儲17-18
• 2.1.1 分布式文件系統(tǒng)HDFS17
• 2.1.2 分布式文件系統(tǒng)GlusterFS17-18
• 2.1.3 分布式存儲Sheepdog18
• 2.2 分布式存儲Ceph18-25
• 2.2.1 核心組件18-20
• 2.2.2 數(shù)據(jù)的映射算法20-22
• 2.2.3 數(shù)據(jù)一致性22-23
• 2.2.4 數(shù)據(jù)的落盤23-25
• 2.3 分布式存儲容錯策略25-29
• 2.3.1 糾刪碼的應用26-27
• 2.3.2 糾刪碼的覆蓋寫27-29
• 2.4 小結(jié)29-30
• 第三章 糾刪碼覆蓋寫的設(shè)計與實現(xiàn)30-49
• 3.1 引言30
• 3.2 系統(tǒng)設(shè)計目標30-32
• 3.3 覆蓋寫方案32-41
• 3.3.1 設(shè)計32-34
• 3.3.2 詳細寫流程34-40
• 3.3.3 讀流程40-41
• 3.4 數(shù)據(jù)一致性維護41-46
• 3.4.1 數(shù)據(jù)回滾41-44
• 3.4.2 數(shù)據(jù)恢復44-46
• 3.5 實驗與分析46-47
• 3.6 小結(jié)47-49
• 第四章 糾刪碼覆蓋寫的優(yōu)化49-58
• 4.1 引言49-50
• 4.2 編碼方案自適應50-53
• 4.2.1 Ceph糾刪碼條帶化50-51
• 4.2.2 更新方法自適應51-53
• 4.2.3 性能測試與分析53
• 4.3 覆蓋寫緩存設(shè)計53-56
• 4.4 臨時對象存儲的優(yōu)化56-57
• 4.5 小結(jié)57-58
• 第五章 總結(jié)與展望58-60
• 5.1 總結(jié)58-59
• 5.2 展望59-60
• 參考文獻60-63
• 簡歷與科研成果63-64
• 致謝64-65

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲的熱點處理策略[J];計算機集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲管理在多核設(shè)計中的高層建模[J];電子與信息學報;2008年11期

3 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲中文件分割的最優(yōu)化模型[J];解放軍理工大學學報(自然科學版);2010年04期

5 崔忠強;左德承;張展;;在云間可重構(gòu)的分布式存儲[J];系統(tǒng)工程理論與實踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹濤;;分布式存儲中的再生碼綜述[J];重慶郵電大學學報(自然科學版);2013年01期

7 唐京偉;;基于云計算的分布式存儲技術(shù)[J];中國傳媒科技;2013年15期

8 郭棟;王偉;曾國蓀;;基于一致性樹分布的數(shù)據(jù)分布式存儲方法[J];計算機應用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[J];電信科學;2013年12期

10 謝然;;敢問存儲之路在何方?見分布式存儲搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲關(guān)鍵技術(shù)[A];2012全國無線及移動通信學術(shù)大會論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲在數(shù)字集群移動通信系統(tǒng)中的應用[A];浙江省電子學會2013學術(shù)年會論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設(shè)小康社會：中國科技工作者的歷史責任——中國科協(xié)2003年學術(shù)年會論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結(jié)構(gòu)[A];2009全國計算機網(wǎng)絡(luò)與通信學術(shù)會議論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前8條

1 京東架構(gòu)委員會主任 云平臺首席架構(gòu)師 系統(tǒng)技術(shù)部負責人 劉海鋒;京東:分布式存儲體系成為業(yè)務基石[N];中國信息化周報;2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日報;2014年

5 本報記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日報;2014年

6 本報記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計算機世界;2013年

7 本報記者 郭濤;華為幫用戶定制HANA一體機[N];中國計算機報;2013年

8 臨江;手機瀏覽器,3G時代的采礦機？[N];人民郵電;2009年

中國博士學位論文全文數(shù)據(jù)庫 前9條

1 吳思;容錯分布式存儲系統(tǒng)擴容機制研究[D];中國科學技術(shù)大學;2016年

2 胡q，

本文編號：1070285