本文關(guān)鍵詞：基于FastDFS架構(gòu)的小文件存儲系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 存儲 分布式系統(tǒng) FastDFS 高并發(fā) 高擴展 海量數(shù)據(jù)

【摘要】：馮諾依曼計算機體系結(jié)構(gòu)的五大組成部分:運算器、控制器、存儲器、輸入設(shè)備、輸出設(shè)備,而處理、傳輸和存儲是信息計算的三大基本任務(wù),由此可見,存儲占據(jù)了重要的位置。隨著時代的發(fā)展,網(wǎng)民人數(shù)的不斷增加,個人數(shù)據(jù)和企業(yè)數(shù)據(jù)成爆炸性增長。許多系統(tǒng)都面臨了海量數(shù)據(jù)的問題,如何高效管理、降低存儲成本、提高可靠性是存儲系統(tǒng)的共同面對的問題。為了解決這些問題,分布式文件存儲系統(tǒng)應(yīng)運而生。分布式文件存儲系統(tǒng)具有海量數(shù)據(jù)存儲、高擴展性、高并發(fā)、高可靠等特點,是目前火熱的技術(shù)領(lǐng)域之一,許多技術(shù)專家都在致力于分布式存儲系統(tǒng)。本文基于對FastDFS架構(gòu)的小文件存儲系統(tǒng)的研究,存儲對象主要是10KB至10M之間的小文件。在參考了Fast DFS分布式文件架構(gòu)后,針對Fast DFS中一些問題提出了改進措施,加入File Index模塊,起到全局排重和防空下載的作用,構(gòu)建一個高性能、高并發(fā)、高可用、高擴展的分布式文件存儲系統(tǒng)。本文首先分析了國內(nèi)外分布式文件存儲系統(tǒng)的研究狀況,主流的分布式文件存儲系統(tǒng)的一些特點,然后描述了小文件存儲系統(tǒng)的需求分析以及架構(gòu)設(shè)計,接著對基于Fast DFS架構(gòu)的小文件存儲系統(tǒng)的設(shè)計方案以及邏輯流程做了介紹,然后詳細介紹了基于Fast DFS架構(gòu)的小文件存儲系統(tǒng)的詳細設(shè)計,主要包括數(shù)據(jù)結(jié)構(gòu)的設(shè)計、公用類庫的設(shè)計、主要功能模塊的詳細設(shè)計等。在此基礎(chǔ)上,針對系統(tǒng)進行了功能性測試以及非功能性測試,并對實驗結(jié)果進行總結(jié),得到實驗結(jié)論。
【關(guān)鍵詞】：存儲 分布式系統(tǒng) FastDFS 高并發(fā) 高擴展 海量數(shù)據(jù)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.52;TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-14
• 1.1 課題背景及研究的目的和意義8-9
• 1.1.1 課題來源8
• 1.1.2 目的和意義8-9
• 1.2 與本課題有關(guān)的國內(nèi)外研究狀況9-11
• 1.3 本課題研究的主要內(nèi)容11-13
• 1.4 論文的組織結(jié)構(gòu)13-14
• 第2章 小文件存儲系統(tǒng)的需求分析14-23
• 2.1 需求分析14-22
• 2.1.1 系統(tǒng)功能性需求14-21
• 2.1.2 系統(tǒng)非功能性需求21-22
• 2.2 本章小結(jié)22-23
• 第3章 小文件存儲系統(tǒng)的總體設(shè)計23-34
• 3.1 系統(tǒng)總體設(shè)計23-25
• 3.2 系統(tǒng)功能25-26
• 3.3 主要流程邏輯26-31
• 3.3.1 文件上傳26-29
• 3.3.2 文件下載29
• 3.3.3 文件同步29-31
• 3.3.4 文件刪除31
• 3.4 文件系統(tǒng)的容錯機制31-33
• 3.5 本章小結(jié)33-34
• 第4章 小文件存儲系統(tǒng)的詳細設(shè)計與實現(xiàn)34-70
• 4.1 數(shù)據(jù)結(jié)構(gòu)設(shè)計34-43
• 4.1.1 通用鏈表34
• 4.1.2 內(nèi)存池34-38
• 4.1.3 共享內(nèi)存分配器38-40
• 4.1.4 消息隊列40-42
• 4.1.5 文件分片隊列42-43
• 4.2 公用類庫43-50
• 4.2.1 配置文件解析43-45
• 4.2.2 Md5類庫45-46
• 4.2.3 鎖46-47
• 4.2.4 序列化47
• 4.2.5 Cache dump47-49
• 4.2.6 流水日志49-50
• 4.3 主要模塊設(shè)計與實現(xiàn)50-60
• 4.3.1 Master詳細設(shè)計53-56
• 4.3.2 Server詳細設(shè)計56-58
• 4.3.3 FileIndex詳細設(shè)計58-60
• 4.4 系統(tǒng)實現(xiàn)60-68
• 4.4.1 核心模塊運行界面60-62
• 4.4.2 核心功能實現(xiàn)62-68
• 4.5 主要難點68-69
• 4.5.1 全異步網(wǎng)絡(luò)模型68-69
• 4.5.2 文件同步延遲69
• 4.6 本章小結(jié)69-70
• 第5章 小文件存儲系統(tǒng)的測試70-78
• 5.1 測試目標(biāo)和測試方法70
• 5.2 功能測試70-75
• 5.2.1 測試環(huán)境70
• 5.2.2 測試用例70-75
• 5.3 性能測試75-77
• 5.4 本章小結(jié)77-78
• 結(jié)論78-80
• 參考文獻80-84
• 致謝84-85
• 個人簡歷85

【參考文獻】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 毛華堅;支持異構(gòu)網(wǎng)絡(luò)存儲服務(wù)的YaFS文件系統(tǒng)研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2009年

，

本文編號：638199