【摘要】：隨著時代的發(fā)展,數(shù)據(jù)的信息量出現(xiàn)了爆炸式的增長,單純的分布式文件系統(tǒng)已經(jīng)很難滿足海量數(shù)據(jù)的處理請求。目前,針對文件系統(tǒng)所面臨的海量小文件大并發(fā)請求問題,許多學者都對其展開了研究,但是已有的研究成果依然存在一些不足之處。因此本論文主要研究如何進一步提高FastDFS的文件處理能力,以便更好的解決海量小文件存儲所面臨的大并發(fā)問題。本論文的主要工作如下:(1)簡單概述本課題的研究背景及意義,同時對分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫、服務(wù)器集群等的國內(nèi)外研究現(xiàn)狀進行了重點介紹,為接下來本文的相關(guān)技術(shù)理論知識研究做了很好的鋪墊。(2)首先分別對FastDFS、Redis數(shù)據(jù)庫、Nginx集群進行了深入的研究與分析,總結(jié)出它們各自的優(yōu)勢與不足;其次針對它們在應(yīng)對大并發(fā)問題所表現(xiàn)出的不足,提出將FastDFS、Redis數(shù)據(jù)庫以及Nginx服務(wù)器集群同時應(yīng)用于實際研發(fā)項目中,在綜合它們優(yōu)點的同時彌補各自的不足之處,從而更好的應(yīng)對大并發(fā)問題;最后通過模擬實驗及實驗數(shù)據(jù)結(jié)果的分析對比,驗證了本文提出的組合架構(gòu)FastDFS+Redis+Nginx集群與原有的FastDFS+Redis架構(gòu)相比,在處理海量用戶的大并發(fā)請求時,無論是文件上傳還是文件下載所需要的處理時間都會明顯減少。(3)通過引入Piece機制,重新利用了FastDFS文件存儲結(jié)構(gòu)中大量的閑置空間,不僅提高了文件的存儲空間利用率,而且優(yōu)化了FastDFS本身的性能。通過模擬實驗及對相關(guān)實驗數(shù)據(jù)的分析,驗證了本文提出的引入Piece機制的FastDFS分布式文件系統(tǒng)與已有的FastDFS系統(tǒng)相比,在處理大并發(fā)請求時,不僅可以確保系統(tǒng)較高的穩(wěn)定性和較高的文件處理能力,而且極大的提高了文件存儲空間的利用率。
【學位授予單位】：中北大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.13;TP333;TP368.5

【參考文獻】

相關(guān)期刊論文 前10條

1 劉靖;廖家趙;劉瓊;;面向城軌線網(wǎng)的海量小文件存儲方法[J];計算機應(yīng)用與軟件;2016年08期

2 羅樂;劉軼;錢德沛;;內(nèi)存計算技術(shù)研究綜述[J];軟件學報;2016年08期

3 柳皓亮;王麗;周陽辰;;Redis集群性能測試分析[J];微型機與應(yīng)用;2016年10期

4 許東;李靜;;大數(shù)據(jù)管理的偶圖模型[J];小型微型計算機系統(tǒng);2016年02期

5 劉唐;彭艦;陳果;郭兵;汪小芬;;基于密度控制的傳感器網(wǎng)絡(luò)能量空洞避免策略[J];計算機學報;2016年05期

6 高明;;基于Linux的負載平衡算法改進探究[J];電子測試;2015年05期

7 米麗萍;陳旭清;;分布式和緩存技術(shù)在大并發(fā)量網(wǎng)站中的應(yīng)用[J];計算機時代;2014年01期

8 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲方法研究[J];計算機工程與科學;2013年10期

9 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應(yīng)用與軟件;2012年11期

10 王和平;陳慧;劉茜;;巧用FreeNAS搭建網(wǎng)絡(luò)存儲及備份系統(tǒng)[J];企業(yè)技術(shù)開發(fā);2012年29期

，

本文編號：2665119