云平臺下基于FastDFS的文件管理系統(tǒng)的研究與實現(xiàn)
發(fā)布時間：2020-06-04 17:01
【摘要】：在云時代的大背景下,用戶數(shù)據(jù)以及存儲的文件呈爆炸式增長,云存儲正扮演著越來越重要的角色。云存儲是在云的概念下針對海量數(shù)據(jù)的存儲提出的一種解決方案,其核心是利用分布式文件系統(tǒng)以及集群等技術將網(wǎng)絡中分散的存儲資源放在云端集中管理,以滿足云環(huán)境下數(shù)據(jù)的存儲需求。云存儲具有彈性擴容、數(shù)據(jù)備份,數(shù)據(jù)管控以及低成本等特性,被大量應用于生產(chǎn)環(huán)境,而云存儲的這些特性都離不開分布式文件系統(tǒng)的支撐。云平臺下的文件管理系統(tǒng)旨在為用戶提供高效可靠的文件存儲和管理服務。本文研究了幾類分布式文件系統(tǒng)的設計原理,最后選擇了FastDFS這樣一款具備良好冗余備份、負載均衡、在線擴容等性能的輕量級分布式文件系統(tǒng)。FastDFS的設計遵循簡單高效的原則,采用分組機制和對等結構來拓展集群,精巧的文件名設計使其特別適合存儲中小文件,本文將在FastDFS的基礎上結合分布式存儲技術構建一套文件管理系統(tǒng)。本文首先對FastDFS的系統(tǒng)架構、文件上傳下載機制和文件同步機制進行了深入研究,分析并確定了基于FastDFS的文件管理系統(tǒng)的功能需求和性能需求。功能需求以文件及目錄功能為主,性能需求以系統(tǒng)的可靠性和并發(fā)訪問為主。根據(jù)具體的需求提出了系統(tǒng)的整體架構和概要設計,并對系統(tǒng)的各個模塊進行詳細設計和實現(xiàn),包括基礎功能模塊,目錄模塊和文件模塊。目錄模塊通過設計一種目錄文件將目錄操作轉變成對目錄文件的讀寫操作,實現(xiàn)了存儲系統(tǒng)中目錄索引的功能,便于組織和管理用戶文件。文件模塊是整個系統(tǒng)的核心模塊,也是本文設計和實現(xiàn)的重點。文件模塊實現(xiàn)了文件上傳前的去重功能,文件下載的緩存功能,以及大文件存儲功能,并對FastDFS的文件同步機制進行改進和優(yōu)化,進一步提升系統(tǒng)的可靠性。同時拓展了FastDFS客戶端連接池的功能,提升系統(tǒng)運行效率。最后對整個文件管理系統(tǒng)進行測試,測試結果表明云平臺下基于FastDFS的文件管理系統(tǒng)符合預期的設計目標。
【圖文】：
圖 2-1 FastDFS 系統(tǒng)架構圖Tracker 負責管理和調(diào)度 Storage，每個 Storage 在啟動后會主動連接集群中racker，向其報告自身的狀態(tài)信息，包括所屬 Group，磁盤剩余空間，文況，文件上傳下載次數(shù)等信息，并保持周期性的心跳。Tracker 將這些信內(nèi)存中，并根據(jù) Storage 的心跳信息，，建立 Group 到組內(nèi) Storage 的映射可知，一個分組所包含的 Storage 不是通過配置文件設定，而是由 Track同時，由于 Tracker 不記錄文件索引信息，需要管理的元信息很少，使得 T容易擴展為 Tracker-Cluster 來提供服務，相比 GFS 中的 Master 更為簡潔Client 端作為業(yè)務請求的發(fā)起方，通過 FastDFS 提供的文件訪問接口/IP 網(wǎng)絡協(xié)議與 Tracker 或 Storage 通信，無論是何種請求，都需要先和 T。Tracker 啟動后默認在 22122 端口監(jiān)聽客戶端的請求，Storage 默認啟口 23000，并且將根據(jù)它的配置信息生成新的單獨線程定期向 Tracke 匯狀態(tài)，此時 Tracker 對獲得的消息類型進行判斷。若消息類型為 Storage息，則 Tracker 會把其狀態(tài)信息通過鏈表進行保存，然后對集群里每個分
電子科技大學碩士學位論文是一個中間人，為 Client 找到提供服務的 Storage。Storage 存儲文件依賴于本地文件系統(tǒng)，Storage 在第一次啟動時，會在其所的數(shù)據(jù)存儲目錄下創(chuàng)建兩級子目錄，每級 256 個，當接收到文件上傳請求時，以哈希的方式將文件路由到其中某個目錄下直接作為一個本地文件存儲。2.2.2 文件上傳下載機制（1）文件上傳機制Client 先和 Tracker 通信詢問上傳的 Storage 信息，Tracker 根據(jù)系統(tǒng)配置里設定的算法查找一臺可用的 Storage，其算法通常為輪轉或最大磁盤剩余空間，后將該 Storage 的 IP 地址和端口號返回給 Client，之后 Client 直接和該 Storage 立連接上傳文件，當上傳結束后，Storage 將新生成的文件標識符 FID 返回給 ClienClient 保存相關信息，上傳完畢。文件上傳時序圖如圖 2-2 所示。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.52
【圖文】：
圖 2-1 FastDFS 系統(tǒng)架構圖Tracker 負責管理和調(diào)度 Storage，每個 Storage 在啟動后會主動連接集群中racker，向其報告自身的狀態(tài)信息，包括所屬 Group，磁盤剩余空間，文況，文件上傳下載次數(shù)等信息，并保持周期性的心跳。Tracker 將這些信內(nèi)存中，并根據(jù) Storage 的心跳信息，，建立 Group 到組內(nèi) Storage 的映射可知，一個分組所包含的 Storage 不是通過配置文件設定，而是由 Track同時，由于 Tracker 不記錄文件索引信息，需要管理的元信息很少，使得 T容易擴展為 Tracker-Cluster 來提供服務，相比 GFS 中的 Master 更為簡潔Client 端作為業(yè)務請求的發(fā)起方，通過 FastDFS 提供的文件訪問接口/IP 網(wǎng)絡協(xié)議與 Tracker 或 Storage 通信，無論是何種請求，都需要先和 T。Tracker 啟動后默認在 22122 端口監(jiān)聽客戶端的請求，Storage 默認啟口 23000，并且將根據(jù)它的配置信息生成新的單獨線程定期向 Tracke 匯狀態(tài)，此時 Tracker 對獲得的消息類型進行判斷。若消息類型為 Storage息，則 Tracker 會把其狀態(tài)信息通過鏈表進行保存，然后對集群里每個分
電子科技大學碩士學位論文是一個中間人，為 Client 找到提供服務的 Storage。Storage 存儲文件依賴于本地文件系統(tǒng)，Storage 在第一次啟動時，會在其所的數(shù)據(jù)存儲目錄下創(chuàng)建兩級子目錄，每級 256 個，當接收到文件上傳請求時，以哈希的方式將文件路由到其中某個目錄下直接作為一個本地文件存儲。2.2.2 文件上傳下載機制（1）文件上傳機制Client 先和 Tracker 通信詢問上傳的 Storage 信息，Tracker 根據(jù)系統(tǒng)配置里設定的算法查找一臺可用的 Storage，其算法通常為輪轉或最大磁盤剩余空間，后將該 Storage 的 IP 地址和端口號返回給 Client，之后 Client 直接和該 Storage 立連接上傳文件，當上傳結束后，Storage 將新生成的文件標識符 FID 返回給 ClienClient 保存相關信息，上傳完畢。文件上傳時序圖如圖 2-2 所示。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.52
【參考文獻】
相關期刊論文 前7條
1 陳e
本文編號：2696691
本文鏈接：http://www.sikaile.net/guanlilunwen/glzh/2696691.html
