面向PB級(jí)存儲(chǔ)系統(tǒng)的元數(shù)據(jù)集群管理容錯(cuò)方法研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2022-02-13 14:44
隨著計(jì)算機(jī)技術(shù),信息技術(shù)和互聯(lián)網(wǎng)絡(luò)的發(fā)展,高性能計(jì)算、商業(yè)計(jì)算、大規(guī)模數(shù)據(jù)處理、信息處理等技術(shù)得到廣泛的應(yīng)用。集群系統(tǒng)因其較高的性能價(jià)格比和較好的可擴(kuò)展性而受到越來(lái)越多的青睞。與此同時(shí),這些應(yīng)用對(duì)分布式數(shù)據(jù)存儲(chǔ)提出了更大容量,更高性能,更高可用性的要求。新興的對(duì)象存儲(chǔ)結(jié)構(gòu)能夠利用現(xiàn)有的處理技術(shù)、網(wǎng)絡(luò)技術(shù)和存儲(chǔ)組件提供空前的可伸縮性和聚合吞吐量,為構(gòu)建新一代的大規(guī)模并行存儲(chǔ)系統(tǒng)提供了基礎(chǔ)。本文在全面深入了解對(duì)象存儲(chǔ)體系結(jié)構(gòu)與現(xiàn)有對(duì)象存儲(chǔ)系統(tǒng)的基礎(chǔ)上,對(duì)基于對(duì)象存儲(chǔ)體系結(jié)構(gòu)的大規(guī)模集群存儲(chǔ)系統(tǒng)所涉及的元數(shù)據(jù)集群管理的容錯(cuò)問(wèn)題進(jìn)行了深入的研究,提出了新穎的思想和解決方法。主要的貢獻(xiàn)如下:(1)提出一種面向PB級(jí)存儲(chǔ)系統(tǒng)的基于目錄對(duì)象副本的高可用元數(shù)據(jù)管理模型。通過(guò)采用高效的、并發(fā)的目錄對(duì)象副本放置、更新、遷移策略以及管理機(jī)制,既保證實(shí)現(xiàn)了目錄對(duì)象數(shù)據(jù)的可靠性和可用性,又增加了讀取數(shù)據(jù)時(shí)的聚合網(wǎng)絡(luò)帶寬,提高讀操作的性能。同時(shí)采用馬爾可夫激勵(lì)模型進(jìn)行了定量可用性分析。實(shí)際的功能測(cè)試與性能測(cè)試表明該模型方法能夠有效保證存儲(chǔ)系統(tǒng)的高可用性,提高元數(shù)據(jù)服務(wù)器集群的整體訪問(wèn)性能。(2)提出了一種對(duì)面向基...
【文章來(lái)源】:國(guó)防科技大學(xué)湖南省211工程院校985工程院校
【文章頁(yè)數(shù)】:80 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
元數(shù)據(jù)集群系統(tǒng)的體系結(jié)構(gòu)
國(guó)防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文圖如下圖3.3所示:客戶端(10,000一l,000,000+)羚羚 羚蟠 蟠場(chǎng)場(chǎng)粉 粉場(chǎng) 場(chǎng)鄂鄂緲緲鄂鄂粉粉鸚 鸚鉀 鉀鄂 鄂擅 擅擅擅 擅著 著 著.攀纂 纂 纂 ~~~白勺 ...............摹 摹摹摹 摹續(xù)鰲鰲 弓弓 弓 弓 耀耀耀耀 耀 耀 耀 耀 耀 耀耀 耀 耀 魂 魂 魂魂魂魂魂魂魂 魂魂 魂 魂纓 纓 纓 灌灌灌灌 灌 灌灌灌 灌 灌 灌 灌 灌 食食食 食食食食 食 食食食 食霎 霎 霎一耀 耀 蘸蘸 ...{、{{{贏 贏 贏贏 lll贏 贏 匕____j瞥f二竺______l圖3.3元數(shù)據(jù)集群系統(tǒng)體系結(jié)構(gòu)擴(kuò)展后的對(duì)象存儲(chǔ)體系結(jié)構(gòu)圖3.2.3元數(shù)據(jù)集群系統(tǒng)小結(jié)本文的基于對(duì)象存儲(chǔ)的集群文件系統(tǒng)oeFs(objeet一 basedeluste:Filesystem)[,]通過(guò)采用對(duì)象存儲(chǔ)體系結(jié)構(gòu)的方式將文件數(shù)據(jù)訪問(wèn)控制流和數(shù)據(jù)流有效地分離,為系統(tǒng)客戶提供高吞吐率,可擴(kuò)展的數(shù)據(jù)服務(wù)。同時(shí),在此基礎(chǔ)上,對(duì)對(duì)象存儲(chǔ)體系結(jié)構(gòu)進(jìn)行了進(jìn)一步的擴(kuò)展和延伸,將MDS集群按照對(duì)象存儲(chǔ)體系結(jié)構(gòu)的方式予以擴(kuò)展
第二步:從那個(gè)檢查點(diǎn)處,通過(guò)日志向后遍歷查找對(duì)欲讀取的數(shù)據(jù)進(jìn)行的變更或改變,如果找到了歷史版本,就直接使用它,否則的話(如果沒(méi)有找到的話),就從做了元數(shù)據(jù)檢查點(diǎn)的Tcp處讀取數(shù)據(jù)。第一步,第二步分別如圖5.4,圖5.5,圖5.6所示。第一步:一第51頁(yè)—
【參考文獻(xiàn)】:
期刊論文
[1]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
[2]一種基于檢查點(diǎn)的卷回恢復(fù)與進(jìn)程遷移系統(tǒng)[J]. 汪東升,沈美明,鄭緯民,裴丹. 軟件學(xué)報(bào). 1999(01)
博士論文
[1]基于對(duì)象存儲(chǔ)結(jié)構(gòu)的可伸縮集群存儲(chǔ)系統(tǒng)研究[D]. 劉仲.國(guó)防科學(xué)技術(shù)大學(xué) 2005
本文編號(hào):3623380
【文章來(lái)源】:國(guó)防科技大學(xué)湖南省211工程院校985工程院校
【文章頁(yè)數(shù)】:80 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
元數(shù)據(jù)集群系統(tǒng)的體系結(jié)構(gòu)
國(guó)防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文圖如下圖3.3所示:客戶端(10,000一l,000,000+)羚羚 羚蟠 蟠場(chǎng)場(chǎng)粉 粉場(chǎng) 場(chǎng)鄂鄂緲緲鄂鄂粉粉鸚 鸚鉀 鉀鄂 鄂擅 擅擅擅 擅著 著 著.攀纂 纂 纂 ~~~白勺 ...............摹 摹摹摹 摹續(xù)鰲鰲 弓弓 弓 弓 耀耀耀耀 耀 耀 耀 耀 耀 耀耀 耀 耀 魂 魂 魂魂魂魂魂魂魂 魂魂 魂 魂纓 纓 纓 灌灌灌灌 灌 灌灌灌 灌 灌 灌 灌 灌 食食食 食食食食 食 食食食 食霎 霎 霎一耀 耀 蘸蘸 ...{、{{{贏 贏 贏贏 lll贏 贏 匕____j瞥f二竺______l圖3.3元數(shù)據(jù)集群系統(tǒng)體系結(jié)構(gòu)擴(kuò)展后的對(duì)象存儲(chǔ)體系結(jié)構(gòu)圖3.2.3元數(shù)據(jù)集群系統(tǒng)小結(jié)本文的基于對(duì)象存儲(chǔ)的集群文件系統(tǒng)oeFs(objeet一 basedeluste:Filesystem)[,]通過(guò)采用對(duì)象存儲(chǔ)體系結(jié)構(gòu)的方式將文件數(shù)據(jù)訪問(wèn)控制流和數(shù)據(jù)流有效地分離,為系統(tǒng)客戶提供高吞吐率,可擴(kuò)展的數(shù)據(jù)服務(wù)。同時(shí),在此基礎(chǔ)上,對(duì)對(duì)象存儲(chǔ)體系結(jié)構(gòu)進(jìn)行了進(jìn)一步的擴(kuò)展和延伸,將MDS集群按照對(duì)象存儲(chǔ)體系結(jié)構(gòu)的方式予以擴(kuò)展
第二步:從那個(gè)檢查點(diǎn)處,通過(guò)日志向后遍歷查找對(duì)欲讀取的數(shù)據(jù)進(jìn)行的變更或改變,如果找到了歷史版本,就直接使用它,否則的話(如果沒(méi)有找到的話),就從做了元數(shù)據(jù)檢查點(diǎn)的Tcp處讀取數(shù)據(jù)。第一步,第二步分別如圖5.4,圖5.5,圖5.6所示。第一步:一第51頁(yè)—
【參考文獻(xiàn)】:
期刊論文
[1]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
[2]一種基于檢查點(diǎn)的卷回恢復(fù)與進(jìn)程遷移系統(tǒng)[J]. 汪東升,沈美明,鄭緯民,裴丹. 軟件學(xué)報(bào). 1999(01)
博士論文
[1]基于對(duì)象存儲(chǔ)結(jié)構(gòu)的可伸縮集群存儲(chǔ)系統(tǒng)研究[D]. 劉仲.國(guó)防科學(xué)技術(shù)大學(xué) 2005
本文編號(hào):3623380
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/3623380.html
最近更新
教材專著