本文關(guān)鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù),云計(jì)算和物聯(lián)網(wǎng)等的迅猛發(fā)展,越來越多的數(shù)據(jù)需要被存儲(chǔ)和分析,傳統(tǒng)的存儲(chǔ)服務(wù)器在性能和擴(kuò)展性方面越來越不能滿足數(shù)據(jù)存儲(chǔ)現(xiàn)在和未來的需求。云存儲(chǔ)作為未來存儲(chǔ)發(fā)展的主要方向,對(duì)云存儲(chǔ)架構(gòu)的研究顯得迫切而重要。橫向擴(kuò)展存儲(chǔ)(Scale-out)相對(duì)于縱向擴(kuò)展存儲(chǔ)(Scale-up)由于在擴(kuò)展性,穩(wěn)定性,安全性等方面具有突出的優(yōu)勢(shì),很適合作為云存儲(chǔ)的底層架構(gòu),越來越受到學(xué)術(shù)界和工業(yè)界的重視。與此同時(shí),眾多的分布式文件系統(tǒng)也得到了長(zhǎng)足的發(fā)展,GlusterF S作為其中設(shè)計(jì)思路獨(dú)特又在性能和擴(kuò)展性方面優(yōu)勢(shì)突出的一種開源分布式文件系統(tǒng),具有非常光明的前景。雖然橫向擴(kuò)展存儲(chǔ)具有明顯的優(yōu)勢(shì),但存儲(chǔ)服務(wù)器的高功耗卻是存儲(chǔ)節(jié)點(diǎn)擴(kuò)展的一大制約因素,存儲(chǔ)密度不高也是亟待解決的瓶頸。而GlusterFS在安全性方面的不足已經(jīng)阻礙其進(jìn)一步的發(fā)展,其針對(duì)定制服務(wù)器的優(yōu)化也明顯不足。本文在深入分析傳統(tǒng)存儲(chǔ)架構(gòu)瓶頸和傳統(tǒng)橫向擴(kuò)展存儲(chǔ)的不足的基礎(chǔ)上,研究并提出了一種新型的橫向擴(kuò)展的云存儲(chǔ)方案。硬件方面,基于CPU芯片是服務(wù)器主板的主要功耗來源,降低CPU芯片的功耗可以有效降低其他功能單元的耗電量,本文詳細(xì)分析了CPU性能和功耗之間的關(guān)系,針對(duì)云存儲(chǔ)的數(shù)據(jù)類型和計(jì)算特征,概念性設(shè)計(jì)了“云存儲(chǔ)節(jié)點(diǎn)專用CPU芯片”,并通過減少外圍不必要芯片,設(shè)計(jì)了專門用于云存儲(chǔ)的微服務(wù)器。為了提高存儲(chǔ)密度,研究并實(shí)現(xiàn)了在2U機(jī)箱中單節(jié)點(diǎn)集成18塊3.5寸硬盤,并通過對(duì)固態(tài)硬盤優(yōu)化技術(shù)和萬兆以太網(wǎng)技術(shù)來提高I/O性能和帶寬。在此基礎(chǔ)上設(shè)計(jì)了低功耗高密度的基于微服務(wù)器的云存儲(chǔ)一體機(jī)。系統(tǒng)軟件方面,研究了現(xiàn)有的分布式文件系統(tǒng)GlusterFS,肯定了其在性能,擴(kuò)展等方面的優(yōu)勢(shì)。從緩存,合并小順序I/O,條帶化等方面研究了GlusterFS的優(yōu)化策略,并提出了針對(duì)性的改進(jìn)措施。在安全機(jī)制方面,分析了其不足之處,如沒有提供任何的身份驗(yàn)證機(jī)制和訪問控制機(jī)制等,它采用的加解密算法—rot13,也是非常容易被破解。針對(duì)上述缺陷,本文主要從密鑰和身份驗(yàn)證方面對(duì)GlusterFS文件系統(tǒng)在安全性方面進(jìn)行了研究和改進(jìn)。本文基于上述對(duì)云存儲(chǔ)服務(wù)器和GlusterFS 文件系統(tǒng)的研究對(duì)其進(jìn)行了實(shí)現(xiàn),對(duì)此云存儲(chǔ)系統(tǒng)的進(jìn)行了部署,并對(duì)節(jié)點(diǎn)的分配、卷的管理進(jìn)行了實(shí)際操作來驗(yàn)證系統(tǒng)的可靠性,并設(shè)計(jì)了web管理平臺(tái)實(shí)現(xiàn)對(duì)整個(gè)集群的監(jiān)控和管理。最后通過對(duì)此系統(tǒng)的測(cè)試,驗(yàn)證了本文提出的云存儲(chǔ)方案的可行性和性能優(yōu)勢(shì)。
【關(guān)鍵詞】：橫向擴(kuò)展 云存儲(chǔ) 低功耗 GlusterFS 安全性機(jī)制
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333;TP309
【目錄】：

• 摘要6-7
• Abstract7-8
• 第一章 緒論8-12
• 1.1 研究背景和意義8-10
• 1.1.1 橫向擴(kuò)展云存儲(chǔ)產(chǎn)生的背景及其優(yōu)勢(shì)8-9
• 1.1.2 研究橫向擴(kuò)展云存儲(chǔ)技術(shù)的意義9-10
• 1.2 本文主要工作10-11
• 1.3 論文結(jié)構(gòu)11-12
• 第二章 橫向擴(kuò)展云存儲(chǔ)原理及相關(guān)技術(shù)分析12-30
• 2.1 信息存儲(chǔ)系統(tǒng)的發(fā)展歷程12-19
• 2.1.1 總線存儲(chǔ)體系結(jié)構(gòu)13-15
• 2.1.2 網(wǎng)絡(luò)存儲(chǔ)體系結(jié)構(gòu)15-18
• 2.1.3 虛擬存儲(chǔ)體系結(jié)構(gòu)18-19
• 2.2 不同擴(kuò)展方式及云存儲(chǔ)方案的分析與對(duì)比19-23
• 2.2.1 不同擴(kuò)展方式的分析與對(duì)比19-21
• 2.2.2 不同云存儲(chǔ)方案的分析與對(duì)比21-23
• 2.3 GlusterFS核心技術(shù)分析及其優(yōu)勢(shì)23-29
• 2.3.1 GlusterFS概述23-25
• 2.3.2 GlusterFS設(shè)計(jì)目標(biāo)25-26
• 2.3.3 GlusterFS總體架構(gòu)和設(shè)計(jì)26-28
• 2.3.4 GlusterFS技術(shù)特點(diǎn)28-29
• 2.4 本章小結(jié)29-30
• 第三章 云存儲(chǔ)系統(tǒng)架構(gòu)及可靠性設(shè)計(jì)30-37
• 3.1 云存儲(chǔ)分層可擴(kuò)展構(gòu)架的設(shè)計(jì)30-32
• 3.1.1 資源節(jié)點(diǎn)層31
• 3.1.2 云存儲(chǔ)站點(diǎn)層31-32
• 3.1.3 分布式存儲(chǔ)層32
• 3.2 云存儲(chǔ)可靠性機(jī)制分析32-36
• 3.2.1 RAID可靠性分析32-33
• 3.2.2 副本冗余可靠性分析33-34
• 3.2.3 糾刪碼可靠性分析34-35
• 3.2.4 系統(tǒng)可靠性分析35-36
• 3.3 本章小結(jié)36-37
• 第四章 低功耗高密度云存儲(chǔ)一體機(jī)的設(shè)計(jì)37-44
• 4.1 存儲(chǔ)服務(wù)器的低功耗設(shè)計(jì)37-41
• 4.1.1 存儲(chǔ)服務(wù)器的低功耗和高效能研究37-38
• 4.1.2 低功耗CPU的研究與設(shè)計(jì)38-41
• 4.2 存儲(chǔ)服務(wù)器的高密度設(shè)計(jì)41-43
• 4.2.1 傳統(tǒng)存儲(chǔ)服務(wù)器在云存儲(chǔ)領(lǐng)域的缺陷分析42
• 4.2.2 適用于高密度存儲(chǔ)的微服務(wù)器設(shè)計(jì)42-43
• 4.3 本章小結(jié)43-44
• 第五章 GlusterFS性能優(yōu)化及安全性改進(jìn)44-59
• 5.1 GlusterFS文件系統(tǒng)性能優(yōu)化44-47
• 5.1.1 緩存優(yōu)化技術(shù)44-45
• 5.1.2 合并順序小I/O優(yōu)化技術(shù)45-46
• 5.1.3 條帶化優(yōu)化技術(shù)46-47
• 5.2 Gluster的安全性研究及改進(jìn)47-58
• 5.2.1 密鑰的設(shè)計(jì)與管理48-55
• 5.2.2 身份驗(yàn)證設(shè)計(jì)55-58
• 5.3 本章小結(jié)58-59
• 第六章 橫向擴(kuò)展云存儲(chǔ)的實(shí)現(xiàn)及驗(yàn)證59-69
• 6.1 橫向擴(kuò)展云存儲(chǔ)系統(tǒng)的部署59-64
• 6.1.1 云存儲(chǔ)一體機(jī)的部署59-60
• 6.1.2 GlusterFS文件系統(tǒng)的部署與管理60-63
• 6.1.3 Web管理平臺(tái)設(shè)計(jì)63-64
• 6.2 測(cè)試與驗(yàn)證64-68
• 6.2.1 測(cè)試環(huán)境與測(cè)試方法64-66
• 6.2.2 測(cè)試結(jié)果分析66-68
• 6.3 本章小結(jié)68-69
• 第七章 總結(jié)與展望69-71
• 7.1 總結(jié)69
• 7.2 展望69-71
• 參考文獻(xiàn)71-74
• 致謝74-75

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 余秦勇;陳林;童斌;;一種無中心的云存儲(chǔ)架構(gòu)分析[J];通信技術(shù);2012年08期

  本文關(guān)鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：339284