發(fā)布時間：2018-03-15 06:07

  本文選題：分布式文件系統(tǒng)　切入點(diǎn)：地理柵格　出處：《國防科學(xué)技術(shù)大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著衛(wèi)星、航空測繪和遙感技術(shù)的發(fā)展,地理影像信息獲取越來越快捷,全球影像數(shù)據(jù)集規(guī)模迅速膨脹,由此帶來的好處是地理信息系統(tǒng)有能力展現(xiàn)全球每個角落的精細(xì)地圖。但如此海量的地理信息數(shù)據(jù)也給信息系統(tǒng)研發(fā)和建設(shè)帶來了很大難題,其中海量地理柵格數(shù)據(jù)的存儲和訪問就是難點(diǎn)問題之一。以18層金字塔的全球柵格文件為例,文件數(shù)量將達(dá)到二百億以上規(guī)模,數(shù)據(jù)量達(dá)到PB以上。而且由于地理信息系統(tǒng)需要提供數(shù)據(jù)在線即時服務(wù),使得對后臺存儲系統(tǒng)的文件訪問延遲、并發(fā)訪問能力以及容錯性要求都很高。目前開源的海量文件系統(tǒng)和存儲系統(tǒng)不具備這樣的海量存儲和低延時訪問能力。基于上述需求,課題組實(shí)現(xiàn)了SMDFS分布式文件系統(tǒng),基于HDFS對文件系統(tǒng)結(jié)構(gòu)進(jìn)行改造,以目錄為單位將小文件合并成大文件進(jìn)行存儲,并設(shè)計(jì)了兩級元數(shù)據(jù)結(jié)構(gòu),第一級與HDFS一樣以大文件為單位進(jìn)行管理,第二級管理大文件內(nèi)的小文件,第二級元數(shù)據(jù)分散在數(shù)據(jù)服務(wù)器集群中,很好地解決海量小文件存儲與低延時訪問問題。SMDFS主要適用于一個目錄下會有大量小文件的場景。然而地理柵格數(shù)據(jù)的一種主要組織方式是金字塔方式。一個金字塔代表一個地理區(qū)域的柵格文件集合,通常表現(xiàn)形式是多層四叉樹目錄。除了葉結(jié)點(diǎn)外,每個目錄有四個子目錄,每個目錄下存儲幾張影像圖片。因此這樣的組織方式顯然不適合基于目錄進(jìn)行合并存儲,因?yàn)椴粫蠓鶞p少元數(shù)據(jù)服務(wù)器的元數(shù)據(jù)量,使得存儲能力和訪問效率很低。針對海量柵格文件存儲和訪問引發(fā)的問題,論文提出了聚合空間技術(shù)。聚合空間是一個文件聚合單位,一個聚合空間里的文件合并為一個聚合文件進(jìn)行存儲,文件系統(tǒng)元數(shù)據(jù)服務(wù)器維護(hù)聚合文件的索引信息,數(shù)據(jù)服務(wù)器維護(hù)聚合文件內(nèi)小文件的索引信息。聚合空間在分布式文件系統(tǒng)中組織成樹狀結(jié)構(gòu),一個聚合空間內(nèi)包含多個子聚合空間。海量文件存儲時,可根據(jù)文件目錄結(jié)構(gòu),選擇或設(shè)計(jì)一個優(yōu)秀映射算法,將之映射為一個文件聚合空間結(jié)構(gòu),使得每個聚合空間內(nèi)包含大量小文件,出色地提高存儲能力和訪問效率。針對金字塔柵格文件,論文提出并設(shè)計(jì)了對折聚合算法,將金字塔文件目錄結(jié)構(gòu)映射為文件聚合空間結(jié)構(gòu)。對折聚合算法和技術(shù)通過將n層金字塔文件目錄結(jié)構(gòu)映射為?n2/?層金字塔文件聚合空間結(jié)構(gòu),滿足在金字塔文件目錄結(jié)構(gòu)下,具有相同祖先目錄的同層文件映射到同一聚合空間,實(shí)現(xiàn)了地理相鄰的柵格文件存儲也相鄰的高效聚合。通過對折聚合算法,一個聚合空間下的文件與原來一個目錄下文件數(shù)量對比平均增加了?n/2?4倍,可以有效提高了金字塔文件的存儲和訪問效率。論文基于SMDFS分布式文件系統(tǒng),研究設(shè)計(jì)了適合金字塔對象存儲和管理的金字塔文件系統(tǒng)類,將全球柵格數(shù)據(jù)的多金字塔存儲模型,轉(zhuǎn)換為多金字塔對象存儲模型,以金字塔對象為單位實(shí)現(xiàn)全球柵格數(shù)據(jù)的存儲和管理。并對支持海量柵格文件存儲的基于聚合空間的海量文件系統(tǒng)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。論文最后對成果進(jìn)行了測試,表明基于聚合空間的海量小文件系統(tǒng)可以高效地實(shí)現(xiàn)海量四叉樹柵格數(shù)據(jù)地快速存儲和實(shí)時訪問,并能兼容海量小文件和大文件的存儲,滿足面向全球的地理信息系統(tǒng)的存儲和在線服務(wù)需求。
[Abstract]:......
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期

，

本文編號：1614743