本文關(guān)鍵詞：優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式理論 云端數(shù)據(jù) 性能瓶頸 負(fù)載均衡 一致性

【摘要】：現(xiàn)今,人們趕上了互聯(lián)網(wǎng)的大潮,進(jìn)入了互聯(lián)網(wǎng)爆炸的時(shí)代。數(shù)據(jù)以超乎過(guò)去幾十甚至幾百倍的速度在不斷增長(zhǎng),這導(dǎo)致了人們處理的信息量較之過(guò)去呈現(xiàn)指數(shù)級(jí)上升。當(dāng)面臨問(wèn)題時(shí),已經(jīng)不再是幾臺(tái)個(gè)人計(jì)算機(jī)能夠搞定的范疇。互聯(lián)網(wǎng)將全世界人類的大腦集中在一起的同時(shí),也拋出了一個(gè)難題:如何處理海量爆炸式增長(zhǎng)的數(shù)據(jù)。為了解決這一難題,人們提出了云的概念,由此衍生出了分布式理論的雛形。另外,各大公司的不同應(yīng)用對(duì)云端數(shù)據(jù)存儲(chǔ)的要求越來(lái)越高,尤其是針對(duì)不同場(chǎng)景提出了不同的要求,都使得傳統(tǒng)的分布式框架在處理問(wèn)題的時(shí)候有氣無(wú)力。為了豐富用戶不斷增加的需求的變化以及為了提高更好的用戶體驗(yàn),現(xiàn)有的分布式文件系統(tǒng)做了其相應(yīng)的改變。實(shí)驗(yàn)室也本著科研的目的,借鑒國(guó)內(nèi)外經(jīng)典的分布式系統(tǒng)框架,設(shè)計(jì)了我們自己的分布式文件系統(tǒng)C_STORE。本文首先介紹了國(guó)內(nèi)外集中主流的分布式文件系統(tǒng),并對(duì)它們進(jìn)行了研究,繼而給出本系統(tǒng)數(shù)據(jù)管理模塊的設(shè)計(jì)方案,之后提出性能瓶頸,并進(jìn)行了改進(jìn)。C_STORE采用了負(fù)載均衡和恢復(fù)策略,具有良好的可擴(kuò)展性和可靠性。它將數(shù)據(jù)與元數(shù)據(jù)分離管理,這使客戶端對(duì)服務(wù)器的訪問(wèn)高效化,同時(shí)也使資源的管理方便化,既充分利用了資源,又減輕了服務(wù)端的壓力。在客戶端方面,我們分別實(shí)現(xiàn)了基于不同平臺(tái)的客戶端軟件,如UNIX、ANDROID以及WIN平臺(tái)下都有其可用的客戶端。同時(shí)實(shí)現(xiàn)了用戶認(rèn)證模塊,方便了用戶登錄以及用戶存儲(chǔ)配額的分配,保證了用戶賬戶的安全。數(shù)據(jù)存儲(chǔ)模塊主要為用戶提供良好的數(shù)據(jù)存儲(chǔ)功能,為了保證用戶數(shù)據(jù)的可用性,它采取了冗余策略,將每份數(shù)據(jù)進(jìn)行備份;恢復(fù)機(jī)制保證了數(shù)據(jù)的可靠性;采用邏輯時(shí)鐘來(lái)保證數(shù)據(jù)的一致性。模塊在副本之間采用了心跳連接推送分片數(shù)據(jù)的備份副本,一旦出現(xiàn)熱點(diǎn)機(jī)器,遷移機(jī)制和擴(kuò)容機(jī)制保證了模塊間數(shù)據(jù)的負(fù)載均衡。本文最后將給出模塊基本功能測(cè)試與針對(duì)大小文件的基本性能測(cè)試,并給出性能優(yōu)化之后的機(jī)器各項(xiàng)硬件參數(shù)消耗指標(biāo),證明系統(tǒng)真實(shí)可用。
【關(guān)鍵詞】：分布式理論 云端數(shù)據(jù) 性能瓶頸 負(fù)載均衡 一致性
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-20
• 1.1 背景介紹12-13
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀13-17
• 1.2.1 GFS13-15
• 1.2.2 HDFS15-16
• 1.2.3 TFS16-17
• 1.3 主要研究?jī)?nèi)容17-18
• 1.4 論文組織18-20
• 第二章 系統(tǒng)相關(guān)理論與技術(shù)支持20-29
• 2.1 分布式文件系統(tǒng)20-25
• 2.1.1 名字空間概述20-22
• 2.1.1.1 基于文件系統(tǒng)的設(shè)計(jì)20-21
• 2.1.1.2 基于全內(nèi)存的分層設(shè)計(jì)21
• 2.1.1.3 基于全內(nèi)存的Hash設(shè)計(jì)21-22
• 2.1.1.4 基于全內(nèi)存的雙重Hash設(shè)計(jì)22
• 2.1.2 可用性22-23
• 2.1.3 可擴(kuò)展性23-24
• 2.1.4 負(fù)載均衡24-25
• 2.2 數(shù)據(jù)查找和定位的相關(guān)技術(shù)25-27
• 2.2.1 分布式哈希表（Distributed Hash Table，，DHT）25-26
• 2.2.1.1 一致性哈希25
• 2.2.1.2 Chord25-26
• 2.2.2 CRUSH技術(shù)26-27
• 2.3 其他理論技術(shù)簡(jiǎn)介27-28
• 2.3.1 復(fù)制27
• 2.3.2 重復(fù)數(shù)據(jù)刪除（De-duplication）27-28
• 2.4 本章小結(jié)28-29
• 第三章 分布式系統(tǒng)存儲(chǔ)子模塊總體設(shè)計(jì)29-44
• 3.1 系統(tǒng)需求分析29-30
• 3.2 設(shè)計(jì)方案30-34
• 3.2.1 可擴(kuò)展性30-31
• 3.2.2 可靠性31
• 3.2.3 重復(fù)數(shù)據(jù)刪除31-33
• 3.2.4 高性能33-34
• 3.3 系統(tǒng)框架及各模塊簡(jiǎn)介34-38
• 3.3.1 客戶端模塊36
• 3.3.2 元數(shù)據(jù)單元模塊36-37
• 3.3.3 配置和規(guī)則服務(wù)器模塊37-38
• 3.4 典型的系統(tǒng)初始化流程38-39
• 3.5 規(guī)則的設(shè)計(jì)詳解39-43
• 3.5.1 規(guī)則的設(shè)計(jì)原理39-40
• 3.5.2 資源查詢與位置更新40
• 3.5.3 規(guī)則的實(shí)現(xiàn)40-43
• 3.5.3.1 重要數(shù)據(jù)結(jié)構(gòu)41-42
• 3.5.3.2 業(yè)務(wù)流程簡(jiǎn)介42-43
• 3.6 本章小結(jié)43-44
• 第四章 數(shù)據(jù)存儲(chǔ)模塊的設(shè)計(jì)44-54
• 4.1 總體概要設(shè)計(jì)44-49
• 4.1.1 序列號(hào)的設(shè)計(jì)46-47
• 4.1.2 數(shù)據(jù)單元物理存儲(chǔ)模型47-48
• 4.1.3 負(fù)載均衡策略48-49
• 4.2 桶的狀態(tài)機(jī)設(shè)計(jì)49
• 4.3 副本一致性維護(hù)策略49-50
• 4.4 宕機(jī)恢復(fù)流程的設(shè)計(jì)50-51
• 4.5 通信協(xié)議設(shè)計(jì)概要51-53
• 4.6 本章小結(jié)53-54
• 第五章 數(shù)據(jù)存儲(chǔ)單元的實(shí)現(xiàn)54-65
• 5.1 數(shù)據(jù)存儲(chǔ)模塊的實(shí)現(xiàn)框架圖54-55
• 5.2 網(wǎng)絡(luò)通信模塊的設(shè)計(jì)實(shí)現(xiàn)55-56
• 5.3 定時(shí)器管理模塊的設(shè)計(jì)實(shí)現(xiàn)56
• 5.4 線程池模塊的設(shè)計(jì)實(shí)現(xiàn)56-57
• 5.5 客戶端業(yè)務(wù)處理模塊設(shè)計(jì)實(shí)現(xiàn)57-59
• 5.6 CS業(yè)務(wù)模塊設(shè)計(jì)實(shí)現(xiàn)59
• 5.7 桶業(yè)務(wù)處理模塊設(shè)計(jì)實(shí)現(xiàn)59-61
• 5.8 典型業(yè)務(wù)流程舉例61-64
• 5.8.1 上傳流程61-62
• 5.8.2 恢復(fù)流程62-63
• 5.8.3 桶遷移流程63-64
• 5.9 本章小結(jié)64-65
• 第六章 數(shù)據(jù)存儲(chǔ)模塊性能瓶頸分析與優(yōu)化改進(jìn)65-74
• 6.1 原有程序框架以及流程65-66
• 6.1.1 程序的總體框架65-66
• 6.1.2 現(xiàn)有客戶端業(yè)務(wù)處理流程66
• 6.2 現(xiàn)有客戶端與SU交互時(shí)存在的問(wèn)題66-69
• 6.2.1 在現(xiàn)有框架的基礎(chǔ)上SU出現(xiàn)的問(wèn)題66-67
• 6.2.2 測(cè)試中客戶端與SU交互問(wèn)題的分析67-69
• 6.3 修改方案69-73
• 6.3.1 短連接到長(zhǎng)連接的修改69-72
• 6.3.2 修改為長(zhǎng)連接之后的流控處理問(wèn)題72-73
• 6.4 本章小結(jié)73-74
• 第七章 數(shù)據(jù)分析以及測(cè)試結(jié)果74-86
• 7.1 測(cè)試前的相關(guān)環(huán)境準(zhǔn)備74-75
• 7.2 測(cè)試內(nèi)容75
• 7.3 測(cè)試結(jié)果75-85
• 7.3.1 基本功能測(cè)試結(jié)果75-77
• 7.3.1.1 上傳75-76
• 7.3.1.2 下載76
• 7.3.1.3 查詢76-77
• 7.3.2 負(fù)載均衡流程測(cè)試77-80
• 7.3.2.1 桶遷移流程測(cè)試77-78
• 7.3.2.2 桶分裂流程測(cè)試78-80
• 7.3.3 宕機(jī)恢復(fù)流程測(cè)試80-82
• 7.3.4 性能測(cè)試82-85
• 7.3.4.1 文件讀寫硬件性能測(cè)試82-83
• 7.3.4.2 大文件讀寫測(cè)試83-84
• 7.3.4.3 小文件讀寫測(cè)試84-85
• 7.4 本章小結(jié)85-86
• 第八章 結(jié)論與展望86-88
• 致謝88-89
• 參考文獻(xiàn)89-91
• 攻研期間的研究成果91-92

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

2 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

3 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

4 姚毓才;張琳娜;;淺析分布式文件系統(tǒng)原理及改進(jìn)[J];銅陵學(xué)院學(xué)報(bào);2008年06期

5 劉光博;;分布式文件系統(tǒng)在氣象業(yè)務(wù)中的應(yīng)用初探[J];氣象研究與應(yīng)用;2009年01期

6 岳衛(wèi)榮;;淺談分布式文件系統(tǒng)的使用[J];河南農(nóng)業(yè);2009年14期

7 何公明;許嚴(yán);;高性能分布式文件系統(tǒng)相關(guān)技術(shù)研究[J];有線電視技術(shù);2009年12期

8 薛志強(qiáng);劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識(shí)與技術(shù);2011年01期

9 田怡萌;李小勇;劉海濤;;分布式文件系統(tǒng)副本一致性檢測(cè)研究[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

10 熊文;喻之斌;須成忠;;幾個(gè)常見(jiàn)分布式文件系統(tǒng)特征分析和性能對(duì)比(英文)[J];集成技術(shù);2012年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

本文編號(hào)：945079