開(kāi)源分布式文件系統(tǒng)HDFS為支持流式讀寫(xiě)、提供高吞吐量訪(fǎng)問(wèn)而放寬了一部分POSIX約束,而基于HDFS研發(fā)的海量小文件系統(tǒng)SMDFS遺留了HDFS不兼容POSIX約束的這一問(wèn)題,導(dǎo)致系統(tǒng)在實(shí)際生產(chǎn)應(yīng)用環(huán)境中無(wú)法直接兼容傳統(tǒng)的上層應(yīng)用。現(xiàn)有的很多POSIX兼容的分布式文件系統(tǒng)大多源于文件系統(tǒng)服務(wù)端對(duì)文件隨機(jī)訪(fǎng)問(wèn)等操作的支持,或者僅針對(duì)其自研文件系統(tǒng)的業(yè)務(wù)場(chǎng)景提供了類(lèi)POISX支持,不能作為SMDFS或HDFS等其他POSIX不兼容的文件系統(tǒng)的參考方案。論文在現(xiàn)有的研究成果之上,分析了現(xiàn)有的分布式文件系統(tǒng)兼容現(xiàn)狀以及主流的POSIX約束實(shí)現(xiàn)方式,并結(jié)合SMDFS暫不支持POSIX標(biāo)準(zhǔn)的原因,基于用戶(hù)空間文件系統(tǒng)FUSE提出了基于數(shù)據(jù)暫存區(qū)的文件流重定向模型,通過(guò)將需要進(jìn)行POSIX相關(guān)操作的對(duì)象轉(zhuǎn)移到數(shù)據(jù)暫存區(qū)作為鏡像文件,利用本地文件系統(tǒng)的POSIX兼容屬性完成客戶(hù)端的POSIX操作需求,再借助異步線(xiàn)程池完成鏡像文件的同步以保持文件系統(tǒng)數(shù)據(jù)的完整性,同時(shí)采用覆寫(xiě)中斷并發(fā)控制方案解決鏡像文件同步期間的同一個(gè)文件讀寫(xiě)沖突問(wèn)題,保證系統(tǒng)的高并發(fā)性能�；跀�(shù)據(jù)暫存區(qū)的文件流重定向模型為分布式文件... 

【文章來(lái)源】：國(guó)防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

元數(shù)據(jù)緩存目錄List性能對(duì)比實(shí)驗(yàn)

總結(jié)比較元數(shù)據(jù)緩存對(duì)比實(shí)驗(yàn)的結(jié)果可以發(fā)現(xiàn)，不設(shè)置元數(shù)據(jù)緩存的情況下續(xù)兩次目錄 List 操作的響應(yīng)時(shí)間幾乎一致；而設(shè)置元數(shù)據(jù)緩存時(shí)，第二次調(diào)個(gè)目錄的 List 操作會(huì)比第一次執(zhí)行目錄 List 操作的響應(yīng)時(shí)間短，但第一次目ist 操作的響應(yīng)時(shí)間比沒(méi)有緩存的情況要短。這是因?yàn)椴僮飨到y(tǒng)在執(zhí)行 List 目錄作前會(huì)先執(zhí)行 readdir 的操作，基于目錄的元數(shù)據(jù)緩存設(shè)置會(huì)在系統(tǒng)執(zhí)行 read操作時(shí)會(huì)先裝載該目錄下元數(shù)據(jù)，再由本地元數(shù)據(jù)緩存處理后續(xù)目錄的 List ，而第二次調(diào)用 List 時(shí)無(wú)需再進(jìn)行元數(shù)據(jù)裝載操作，所以效率會(huì)更高。元數(shù)存的設(shè)置減少了 RPC 調(diào)用，有效的提升了客戶(hù)端目錄 List 操作的性能，性能幅度取決于目錄下文件的數(shù)量級(jí)，單目錄下文件量為 50000 時(shí)，List 性能可以約 10 倍。6.2.2 SMDFS3.0 隨機(jī)寫(xiě)功能測(cè)試由于 SMDFS2.0 與 HDFS 均不支持文件的隨機(jī)寫(xiě)，因此測(cè)試使用支持隨機(jī)讀試的工具 iozone 對(duì) SMDFS3.0 進(jìn)行功能測(cè)試，同時(shí)與本地文件系統(tǒng)對(duì)比性能數(shù)為 10 線(xiàn)程，文件大小為 1GB，記錄大小為 4KB。測(cè)試結(jié)果如圖 6.3 所示。

性能以及 SMDFS3.0 Linux 客戶(hù)端相對(duì)于 SMDFS2.0 Java 接口的性能損耗。分布式集群初始裝載 1000 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端同時(shí)進(jìn)行以下測(cè)試: 每個(gè)客戶(hù)端單線(xiàn)程，每個(gè)線(xiàn)程從集群 1000 萬(wàn)文件中隨機(jī)下載 1 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端累計(jì)下載 5 萬(wàn)個(gè)文件，記錄單個(gè)文件平均讀延時(shí)。 每個(gè)客戶(hù)端 10 個(gè)線(xiàn)程，每個(gè)線(xiàn)程從集群 1000 萬(wàn)文件中隨機(jī)下載 5000 個(gè)文件，五個(gè)客戶(hù)端累計(jì)下載 25 萬(wàn)個(gè)文件，記錄單個(gè)文件平均讀延時(shí)。 每個(gè)客戶(hù)端單線(xiàn)程，每個(gè)線(xiàn)程從集群某個(gè)目錄下順序下載 1 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端累計(jì)下載 5 萬(wàn)個(gè)文件，記錄單個(gè)文件平均讀延時(shí)。 每個(gè)客戶(hù)端 10 個(gè)線(xiàn)程，每個(gè)線(xiàn)程從集群某個(gè)目錄下順序下載 1 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端累計(jì)下載 50 萬(wàn)個(gè)文件，記錄單個(gè)文件平均讀延時(shí)。 每個(gè)客戶(hù)端單線(xiàn)程，每個(gè)線(xiàn)程向集群寫(xiě)入 2 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端累計(jì)上傳 10 萬(wàn)個(gè)文件，記錄單個(gè)文件平均寫(xiě)延時(shí)。 每個(gè)客戶(hù)端 10 個(gè)線(xiàn)程，每個(gè)線(xiàn)程向集群寫(xiě)入 1 萬(wàn)個(gè)文件，五個(gè)客戶(hù)端累計(jì)上傳 50 萬(wàn)個(gè)文件，記錄單個(gè)文件平均寫(xiě)延時(shí)。實(shí)驗(yàn)結(jié)果如圖 6.4 所示。

【參考文獻(xiàn)】：
期刊論文
[1]SMDFS分布式海量小文件系統(tǒng)的大空間聚合存儲(chǔ)技術(shù)[J]. 嚴(yán)巍巍,何連躍,李三霞,成穎佼.  計(jì)算機(jī)研究與發(fā)展. 2015(S2)
[2]面向?qū)ο蟠鎯?chǔ)的文件系統(tǒng)Lustre[J]. 梁軍,聶瑞華.  計(jì)算機(jī)工程與設(shè)計(jì). 2015(06)
[3]一種Hadoop小文件存儲(chǔ)和讀取的方法[J]. 張春明,芮建武,何婷婷.  計(jì)算機(jī)應(yīng)用與軟件. 2012(11)
[4]基于Fuse的用戶(hù)態(tài)文件系統(tǒng)的設(shè)計(jì)[J]. 吳一民,劉偉安.  微計(jì)算機(jī)信息. 2010(06)
[5]線(xiàn)程池的多線(xiàn)程并發(fā)控制技術(shù)研究[J]. 楊開(kāi)杰,劉秋菊,徐汀榮.  計(jì)算機(jī)應(yīng)用與軟件. 2010(01)

博士論文
[1]海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D]. 蔣海波.電子科技大學(xué) 2013

碩士論文
[1]兼容POSIX接口的云存儲(chǔ)文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 蔣忠娟.電子科技大學(xué) 2014
[2]基于MooseFS的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D]. 魏雪波.電子科技大學(xué) 2013
[3]基于POSIX語(yǔ)義的分布式文件系統(tǒng)客戶(hù)端設(shè)計(jì)與實(shí)現(xiàn)[D]. 王勇濤.電子科技大學(xué) 2013
[4]基于FUSE的用戶(hù)態(tài)文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 黃永勝.東北大學(xué) 2012
[5]基于HDFS的分布式Namenode節(jié)點(diǎn)模型的研究[D]. 李寬.華南理工大學(xué) 2011
[6]NAS網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究[D]. 劉金柱.華中科技大學(xué) 2009



本文編號(hào)：3016712