本文關鍵詞：Ceph分布式文件系統(tǒng)的研究及性能測試

  更多相關文章： Ceph分布式文件系統(tǒng) CRUSH算法 RADOS 系統(tǒng)性能優(yōu)化

【摘要】：分布式文件系統(tǒng)作為分布式系統(tǒng)的存儲子系統(tǒng)，能夠有效的解決海量數據存儲的I/O瓶頸問題，成為了目前業(yè)界研究的熱點。Ceph分布式文件系統(tǒng)的第一個版本于2012年6月發(fā)布，作為一個新興的分布式文件系統(tǒng)，系統(tǒng)的架構特點、結構特征、性能、可用性和擴展性等各個方面都亟需測試、驗證與研究。 本文以Ceph分布式文件系統(tǒng)為研究對象，首先對文件系統(tǒng)的架構以及系統(tǒng)原型中的兩個關鍵技術：CRUSH算法和RADOS對象存儲服務進行了詳細的分析，研究了它們對系統(tǒng)性能和擴展性的影響；然后根據之前的分析研究結果搭建測試環(huán)境并設計系統(tǒng)的測試用例，對系統(tǒng)的性能、可用性以及擴展性進行了全面的測試。最后，根據研究測試結果提出新的Journal存儲方案和新的集群網絡拓撲結構，并對優(yōu)化過的系統(tǒng)做進一步測試，從而驗證優(yōu)化是否正確。 測試結果表明，Ceph分布式文件系統(tǒng)具有高可用性、高可擴展性以及優(yōu)良的性能，文中所提出的兩個集群部署優(yōu)化方案也確實提高了系統(tǒng)的性能。
【關鍵詞】：Ceph分布式文件系統(tǒng) CRUSH算法 RADOS 系統(tǒng)性能優(yōu)化
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-11
• 1.1 選題背景及意義7-8
• 1.1.1 分布式存儲系統(tǒng)研究背景7-8
• 1.1.2 分布式存儲系統(tǒng)測試的研究背景及意義8
• 1.2 國內外現狀分析8-9
• 1.3 論文工作內容9-10
• 1.4 論文組織結構10-11
• 第二章 分布式文件系統(tǒng)概述11-21
• 2.1 分布式文件系統(tǒng)基本概念11-14
• 2.1.1 異常11-13
• 2.1.2 副本一致性13
• 2.1.3 衡量分布式系統(tǒng)的標準13-14
• 2.2 分布式文件系統(tǒng)關鍵技術14-18
• 2.2.1 數據分布14-15
• 2.2.2 副本控制15-16
• 2.2.3 集群可擴展性16-18
• 2.3 Ceph 分布式文件系統(tǒng)介紹18-19
• 2.4 本章小結19-21
• 第三章 Ceph文件系統(tǒng)測試需求分析21-39
• 3.1 Ceph 文件系統(tǒng)分析21-31
• 3.1.1 CRUSH 算法研究分析21-27
• 3.1.2 可靠自治的分布式對象存儲集群27-31
• 3.2 測試業(yè)務流程31-33
• 3.3 測試需求分析33-37
• 3.3.1 硬件需求分析33-35
• 3.3.2 功能測試需求分析35-36
• 3.3.3 性能測試與系統(tǒng)調優(yōu)需求分析36
• 3.3.4 網絡部署及集群配置需求分析36-37
• 3.4 本章小結37-39
• 第四章 Ceph文件系統(tǒng)測試設計39-51
• 4.1 測試用例設計方法39-46
• 4.1.1 系統(tǒng)可用性用例設計方法39-42
• 4.1.2 系統(tǒng)擴展性用例設計方法42-43
• 4.1.3 系統(tǒng)優(yōu)化用例設計方法43-46
• 4.2 測試用例設計46-50
• 4.2.1 RADOS 接口基準測試用例設計46-47
• 4.2.2 Ceph RBD 接口基準測試用例設計47-48
• 4.2.3 RADOS 集群優(yōu)化用例分析與設計48-49
• 4.2.4 集群擴展性用例分析與設計49-50
• 4.3 本章小結50-51
• 第五章 Ceph文件系統(tǒng)測試優(yōu)化及結果分析51-67
• 5.1 測試環(huán)境準備51-55
• 5.1.1 Ceph 測試集群軟硬件配置51-52
• 5.1.2 Ceph 測試集群網絡配置52
• 5.1.3 測試集群搭建過程52-55
• 5.2 集群環(huán)境測試55-56
• 5.3 集群性能測試56-65
• 5.3.1 RADOS 對象存儲接口測試56-61
• 5.3.2 Ceph RBD 存儲接口測試61-65
• 5.4 測試結果分析65-66
• 5.5 本章小結66-67
• 第六章 結束語67-69
• 6.1 論文工作總結67-68
• 6.2 后續(xù)工作展望68-69
• 致謝69-71
• 參考文獻71-73

【相似文獻】

中國期刊全文數據庫 前10條

1 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計算機工程;2009年01期

2 陳建榮;傅黎;;Novell網絡環(huán)境下分布式文件系統(tǒng)的設計與實現[J];海軍工程大學學報;1993年03期

3 李相娜;曹強;趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數據訪問的研究與實現[J];微處理機;2008年02期

4 劉偉;劉露;陳犖;鐘志農;;海量遙感影像數據存儲技術研究[J];計算機工程;2009年05期

5 何公明;張元濤;;面向數字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

6 周建強;薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設計和實現[J];計算機研究與發(fā)展;1990年07期

7 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質評測與分析[J];計算機學報;2010年10期

8 李桂萍;;云計算的兩大特性:虛擬化、分布式[J];通信世界;2011年16期

9 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

10 黃華,張建剛,許魯;藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

中國重要會議論文全文數據庫 前8條

1 邢海韜;黃孜祺;肖健;;應用動態(tài)管理技術優(yōu)化海量數據管理[A];廣西計算機學會2008年年會論文集[C];2008年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術工作者聯合會2008年學術年會論文集（上）[C];2008年

3 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設計與實現[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

4 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關鍵技術研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

5 付偉;肖儂;盧錫城;;GridDenFS:一種基于聚集與虛擬視圖的網格文件系統(tǒng)[A];第二十四屆中國數據庫學術會議論文集（研究報告篇）[C];2007年

6 程果;陳犖;景寧;趙亮;左懷玉;;一種遙感影像的層次化組織分布式存儲管理方法[A];第二十五屆中國數據庫學術會議論文集（一）[C];2008年

7 周大;錢嶺;郭磊濤;齊驥;;HugeTable:一種面向電信行業(yè)的云數據倉庫[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

8 張學紅;劉志芳;;云存儲技術研究與探討[A];全國數字媒體技術專業(yè)建設與人才培養(yǎng)研討會論文集[C];2011年

中國重要報紙全文數據庫 前10條

1 ;分布式文件系統(tǒng)一瞥[N];網絡世界;2002年

2 王春海 劉立;分布式文件系統(tǒng)在網絡中的應用[N];電腦報;2004年

3 本報記者 于翔;“大數據”的大承諾[N];網絡世界;2010年

4 丘永萍;云存儲是一種服務[N];中國城鄉(xiāng)金融報;2010年

5 本報記者 劉箐箐;Informatica：大數據帶來大機遇[N];計算機世界;2011年

6 孫定;云計算、大數據與Hadoop[N];計算機世界;2011年

7 本報記者 馬文方;Hadoop：云中起舞的小象[N];中國計算機報;2010年

8 中興通訊;云存儲鋪就海量數據之路[N];通信產業(yè)報;2011年

9 ;Windows Server2003的10個特點[N];計算機世界;2003年

10 艾文;Windows Server 2003值得期待[N];中國計算機報;2003年

中國博士學位論文全文數據庫 前9條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 李彭軍;醫(yī)學影像云服務平臺基礎架構研究與實踐[D];南方醫(yī)科大學;2011年

3 林琳;基于網格數據交換區(qū)的網格作業(yè)性能優(yōu)化[D];吉林大學;2011年

4 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

5 郭羽成;MPI高性能云計算平臺關鍵技術研究[D];武漢理工大學;2013年

6 楊永全;飲食健康中的食物體積估算云計算技術研究[D];中國海洋大學;2013年

7 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴展研究[D];華中科技大學;2011年

8 李冰;云計算環(huán)境下動態(tài)資源管理關鍵技術研究[D];北京郵電大學;2012年

9 陳軍;基于G/S模式的空間分析云服務關鍵技術研究[D];成都理工大學;2012年

中國碩士學位論文全文數據庫 前10條

1 龔高晟;通用分布式文件系統(tǒng)的研究與改進[D];華南理工大學;2010年

2 李書鵬;分布式文件系統(tǒng)在云存儲環(huán)境下的若干問題研究[D];中國科學技術大學;2011年

3 周昶;基于對象分布式文件系統(tǒng)的存儲緩存研究[D];杭州電子科技大學;2011年

4 許敏;分布式文件系統(tǒng)容錯機制的研究與實現[D];電子科技大學;2012年

5 景蕊;分布式文件系統(tǒng)下數據校驗策略的研究與改進[D];吉林大學;2013年

6 李穎;基于分布式文件系統(tǒng)的農業(yè)數據云存儲研究[D];山東農業(yè)大學;2013年

7 王敬軒;分布式文件系統(tǒng)存儲效率優(yōu)化研究[D];華中科技大學;2013年

8 廖舒恬;安全對象分布式文件系統(tǒng)的設計與實現[D];華中科技大學;2013年

9 趙黎斌;面向云存儲的分布式文件系統(tǒng)關鍵技術研究[D];西安電子科技大學;2011年

10 胡振欣;分布式文件系統(tǒng)中的軟件開發(fā)管理[D];上海交通大學;2012年

，

本文編號：617762