【摘要】：隨著互聯(lián)網(wǎng)技術的發(fā)展,云計算應用越來越廣泛,數(shù)據(jù)量呈現(xiàn)出爆炸式的增長,如何對海量數(shù)據(jù)進行有效的存儲一直是研究的熱點。尤其隨著近幾年大數(shù)據(jù)和云計算的快速發(fā)展,單一的數(shù)據(jù)中心不能滿足當前的存儲需求,一個解決方法是可以將數(shù)據(jù)中心部署在Geo-distributed環(huán)境下,多個數(shù)據(jù)中心部署在不同的地理位置。如何保證Geo-distributed系統(tǒng)的性能是非常重要的研究方向,對系統(tǒng)中的數(shù)據(jù)副本進行合理放置,是一種可以有效提高系統(tǒng)性能的方法。本文提出的Geo-distributed數(shù)據(jù)副本放置方法,主要工作包括以下方面的內(nèi)容:(1)在傳統(tǒng)副本放置方法的基礎上,根據(jù)Geo-distributed環(huán)境的特點,提出了一種新的數(shù)據(jù)副本放置方法,不僅考慮集群中數(shù)據(jù)節(jié)點當前的存儲負載情況,還將影響性能的因素:數(shù)據(jù)節(jié)點的網(wǎng)絡帶寬、磁盤負載、數(shù)據(jù)節(jié)點的距離考慮在內(nèi)。(2)提出一種Geo-distributed環(huán)境下基于熱度感知的數(shù)據(jù)副本放置方法,在統(tǒng)計數(shù)據(jù)訪問熱度計算,提出一種動態(tài)時間窗口的計算方法,根據(jù)數(shù)據(jù)訪問改變率的大小,調整時間窗口大小。還考慮到在Geo-distributed環(huán)境下數(shù)據(jù)節(jié)點的差異性,根據(jù)歷史信息將訪問熱度高的數(shù)據(jù)副本放置到物理性能高的數(shù)據(jù)節(jié)點中,這樣可以保證系統(tǒng)的性能,提高用戶訪問效率。最后通過基于Hadoop平臺設計實現(xiàn)了Geo-distributed云存儲原型系統(tǒng),在系統(tǒng)中設計相關的業(yè)務場景,驗證結果表明,本文提出的數(shù)據(jù)副本放置方法是可行的。
【圖文】：

DateNode DateNodeDateNodeepacet5ack4 455圖 2.4 HDFS 寫操作流程圖讀文件時與寫文件相似，首先在 NameNode 節(jié)點上接受客戶端的讀客戶端存儲訪問數(shù)據(jù)的 DateNode 節(jié)點。S 副本放置系統(tǒng)設計之初就考慮到目的是用來對大數(shù)據(jù)的處理，所以 HDFS 適合件根據(jù)系統(tǒng)中數(shù)據(jù)塊的大小分成多個數(shù)據(jù)塊，文件數(shù)據(jù)塊的大小和系統(tǒng)中通過參數(shù)配置的。每個數(shù)據(jù)塊大小原則上是基本相同，只能不夠規(guī)定數(shù)據(jù)塊的大小，但是也按照數(shù)據(jù)塊的大小存儲。Name名字空間，存儲著文件目錄等元數(shù)據(jù)信息。

圖 4.9 T14 時刻數(shù)據(jù)副本分布圖訪問次數(shù)的減少，相應的數(shù)據(jù)副本訪問熱度也會降低，從 T8 時刻后訪問次數(shù)們可以看到高物理性能數(shù)據(jù)節(jié)點 DN1，DN3 中的數(shù)據(jù)副本數(shù)量變少了，而數(shù)4、DN5 中的數(shù)據(jù)副本數(shù)量增加。但是集群系統(tǒng)中數(shù)據(jù)副本整體數(shù)量變少了HRP 算法實現(xiàn)了系統(tǒng)中各個數(shù)據(jù)節(jié)點的數(shù)據(jù)副本的動態(tài)調整。來分析對集群性能的提升，，我們分別統(tǒng)計了三組數(shù)據(jù)塊在不同副本放置方法間。020406080DN1 DN2 DN3 DN4 DN5第一組第二組第三組
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 傅穎勛;羅圣美;舒繼武;;安全云存儲系統(tǒng)與關鍵技術綜述[J];計算機研究與發(fā)展;2013年01期

2 劉琨;李愛菊;董龍江;;基于Hadoop的云存儲的研究及實現(xiàn)[J];微計算機信息;2011年07期

相關碩士學位論文 前1條

1 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

本文編號：2691372