本文關(guān)鍵詞：基于FastDFS云存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)

  更多相關(guān)文章： 云存儲(chǔ) FastDFS 分布式文件系統(tǒng)

【摘要】：隨著信息技術(shù)的飛速發(fā)展,大量的數(shù)據(jù)需要進(jìn)行存儲(chǔ),為了解決這種問(wèn)題,企業(yè)往往需要購(gòu)買(mǎi)大量的存儲(chǔ)設(shè)備,這不但需要很高的成本,而且大量的數(shù)據(jù)管理困難,不易維護(hù),這種方式暴露出種種的弊端。云存儲(chǔ)作為一種隨著云計(jì)算而發(fā)展出來(lái)的一種技術(shù),其關(guān)注的重心恰恰是海量數(shù)據(jù)的存儲(chǔ)和管理,同時(shí)因?yàn)榫邆鋸椥詳U(kuò)展、方便海量數(shù)據(jù)管理以及低成本等特點(diǎn),被認(rèn)為是未來(lái)數(shù)據(jù)存儲(chǔ)的較好選擇。它使用了分布式文件系統(tǒng)和集群等多種技術(shù),將分散在網(wǎng)絡(luò)中的類(lèi)型各異的存儲(chǔ)設(shè)備整合在一起,作為一個(gè)整體提供數(shù)據(jù)的存儲(chǔ)和接入訪問(wèn)。而對(duì)于用戶來(lái)說(shuō),使用云存儲(chǔ)隨時(shí)隨地都可以通過(guò)網(wǎng)絡(luò)訪問(wèn)云上的資源。FastDFS是一款由國(guó)人研發(fā)并且開(kāi)放源碼的分布式文件系統(tǒng),在類(lèi)UNIX系統(tǒng)上能很好的工作。對(duì)比其他的分布式文件系統(tǒng),它的優(yōu)勢(shì)是量級(jí)較輕,滿足高并發(fā)訪問(wèn)的需求,容易擴(kuò)展,具備負(fù)載均衡功能,并且能自動(dòng)進(jìn)行文件同步。另外對(duì)小文件的存儲(chǔ)性能較好。本文在教研室現(xiàn)有的云平臺(tái)基礎(chǔ)之上,探索一種以FastDFS為基礎(chǔ)的云存儲(chǔ)方式。本文首先對(duì)FastDFS的系統(tǒng)架構(gòu)、運(yùn)行以及同步機(jī)制進(jìn)行了研究。其次從功能和性能兩個(gè)方面對(duì)系統(tǒng)展開(kāi)需求分析。在借鑒云存儲(chǔ)的典型架構(gòu)模型的基礎(chǔ)之上,設(shè)計(jì)了基于FastDFS的云存儲(chǔ)系統(tǒng)的總體架構(gòu)。自頂向下分別是用戶訪問(wèn)層、應(yīng)用接口層、管理層以及數(shù)據(jù)存儲(chǔ)層。然后依據(jù)需求分析以及總體架構(gòu)對(duì)系統(tǒng)的各個(gè)層次進(jìn)行了詳細(xì)的設(shè)計(jì)與實(shí)現(xiàn),在用戶訪問(wèn)層,采用B/S模式,結(jié)合Bootstrap開(kāi)源框架設(shè)計(jì)了用戶界面。在應(yīng)用接口層,對(duì)用戶訪問(wèn)時(shí)的負(fù)載均衡進(jìn)行了研究,并設(shè)計(jì)了REST API接口。在管理層實(shí)現(xiàn)需求分析中提出的功能需求,如普通用戶對(duì)文件上傳、下載、刪除以及文件夾的各種操作,系統(tǒng)管理員對(duì)于用戶的管理和集群的監(jiān)控等。同時(shí),研究了FastDFS原有的集群監(jiān)控原理,增加了對(duì)CPU、內(nèi)存使用、磁盤(pán)讀寫(xiě)以及網(wǎng)絡(luò)I/O的監(jiān)控;研究了FastDFS調(diào)度算法,分析其存在的缺陷和不足,并提出了動(dòng)態(tài)負(fù)載均衡算法。在管理層和存儲(chǔ)集群之間,使用epoll和線程池的方式設(shè)計(jì)了接口服務(wù)器,能夠及時(shí)響應(yīng)大量的并發(fā)請(qǐng)求,滿足系統(tǒng)對(duì)性能的要求,并且重新定義了FastDFS API接口,將其封裝到線程池的任務(wù)處理邏輯中。本文最后對(duì)整個(gè)系統(tǒng)進(jìn)行了功能和性能方面的測(cè)試,證明基于FastDFS的云存儲(chǔ)系統(tǒng)滿足預(yù)期的設(shè)計(jì)要求。
【關(guān)鍵詞】：云存儲(chǔ) FastDFS 分布式文件系統(tǒng)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 研究工作的背景與意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 國(guó)外研究現(xiàn)狀12-13
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀13-14
• 1.3 本文的主要內(nèi)容與工作14-15
• 1.4 論文的組織結(jié)構(gòu)15-16
• 第二章 相關(guān)理論知識(shí)研究16-25
• 2.1 云存儲(chǔ)概述16-17
• 2.1.1 云存儲(chǔ)簡(jiǎn)介16
• 2.1.2 云存儲(chǔ)架構(gòu)模型及關(guān)鍵技術(shù)16-17
• 2.2 FastDFS研究17-24
• 2.2.1 FastDFS架構(gòu)18-19
• 2.2.2 FastDFS運(yùn)行機(jī)制19-22
• 2.2.3 FastDFS同步機(jī)制22-23
• 2.2.4 FastDFS與其他文件系統(tǒng)對(duì)比23-24
• 2.3 本章小結(jié)24-25
• 第三章 云存儲(chǔ)系統(tǒng)的分析與總體設(shè)計(jì)25-46
• 3.1 系統(tǒng)需求分析25-27
• 3.1.1 功能需求分析25-26
• 3.1.2 性能需求分析26-27
• 3.2 云存儲(chǔ)系統(tǒng)的總體設(shè)計(jì)27-29
• 3.2.1 系統(tǒng)架構(gòu)27-28
• 3.2.2 主要功能模塊28-29
• 3.3 負(fù)載均衡與高可用設(shè)計(jì)29-32
• 3.3.1 負(fù)載均衡設(shè)計(jì)30-31
• 3.3.2 高可用設(shè)計(jì)31-32
• 3.4 數(shù)據(jù)庫(kù)的設(shè)計(jì)32-36
• 3.4.1 數(shù)據(jù)庫(kù)集群32-33
• 3.4.2 數(shù)據(jù)表設(shè)計(jì)33-36
• 3.5 接口服務(wù)器的設(shè)計(jì)36-40
• 3.5.1 服務(wù)器模型設(shè)計(jì)36-38
• 3.5.2 線程池的設(shè)計(jì)38-40
• 3.6 FastDFS負(fù)載均衡算法的分析與設(shè)計(jì)40-45
• 3.6.1 FastDFS已有的負(fù)載均衡算法分析40-41
• 3.6.2 FastDFS負(fù)載均衡算法存在的不足41-42
• 3.6.3 FastDFS負(fù)載均衡算法的改進(jìn)42-45
• 3.7 本章小結(jié)45-46
• 第四章 云存儲(chǔ)系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)46-76
• 4.1 用戶接入的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)46-49
• 4.1.1 用戶交互界面46
• 4.1.2 負(fù)載均衡與高可用46-48
• 4.1.3 REST API接口48-49
• 4.2 數(shù)據(jù)庫(kù)接口的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)49-52
• 4.2.1 數(shù)據(jù)庫(kù)的安裝部署49-50
• 4.2.2 數(shù)據(jù)庫(kù)操作接口50-52
• 4.3 主要功能模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)52-63
• 4.3.1 用戶模塊52-53
• 4.3.2 文件上傳模塊53-55
• 4.3.3 文件下載模塊55-57
• 4.3.4 文件夾模塊57-58
• 4.3.5 刪除模塊58-59
• 4.3.6 集群監(jiān)控模塊59-63
• 4.4 接口服務(wù)器的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)63-70
• 4.4.1 主線程的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)63-65
• 4.4.2 線程池的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)65-70
• 4.5 FastDFS動(dòng)態(tài)負(fù)載均衡算法的實(shí)現(xiàn)70-75
• 4.5.1 算法指標(biāo)的獲取70-71
• 4.5.2 算法的實(shí)現(xiàn)過(guò)程71-73
• 4.5.3 算法測(cè)試與分析73-75
• 4.6 本章小結(jié)75-76
• 第五章 系統(tǒng)測(cè)試及分析76-86
• 5.1 測(cè)試環(huán)境76-79
• 5.1.1 環(huán)境配置76-77
• 5.1.2 搭建環(huán)境77-79
• 5.2 測(cè)試及分析79-85
• 5.2.1 功能測(cè)試79-82
• 5.2.2 性能測(cè)試82-85
• 5.3 本章小結(jié)85-86
• 第六章 全文總結(jié)與展望86-88
• 6.1 全文總結(jié)86-87
• 6.2 后續(xù)工作展望87-88
• 致謝88-89
• 參考文獻(xiàn)89-92

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 魏斌;;高性能MySQL集群部署[J];河南科技;2014年14期

2 李邐;;淺析云計(jì)算背景下云存儲(chǔ)的優(yōu)勢(shì)與劣勢(shì)[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2013年23期

3 余慶;;分布式文件系統(tǒng)FastDFS架構(gòu)剖析[J];程序員;2010年11期

4 張松敏;陶榮;于國(guó)華;;安全散列算法SHA-1的研究[J];計(jì)算機(jī)安全;2010年10期

5 王愛(ài)寧;;MYSQL Cluster研究[J];電腦編程技巧與維護(hù);2010年04期

6 吳松,金海;存儲(chǔ)虛擬化研究[J];小型微型計(jì)算機(jī)系統(tǒng);2003年04期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 周子涵;基于FastDFS的目錄文件系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

2 鄭景;基于MooseFS的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];長(zhǎng)安大學(xué);2013年

3 李文明;基于開(kāi)源技術(shù)的高性能網(wǎng)站架構(gòu)研究[D];河北工程大學(xué);2012年

4 張棋勝;云計(jì)算平臺(tái)監(jiān)控系統(tǒng)的研究與應(yīng)用[D];北京交通大學(xué);2011年

5 谷建光;基于HTTP協(xié)議的多線程網(wǎng)絡(luò)下載框架的研究與實(shí)現(xiàn)[D];南京理工大學(xué);2011年

6 孟凡彥;基于線程池機(jī)制的高性能DHCP服務(wù)器研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2005年

，

本文編號(hào)：637745