HDFS(Hadoop Distributed File System)以流式數(shù)據(jù)訪問模式存儲超大文件,具有高可靠性、高擴展性、低成本等特性,已廣泛運行于商用硬件集群中。但在云計算系統(tǒng)中,由于采用了虛擬化技術,文件存儲時如采用HDFS默認的存儲策略,將帶來數(shù)據(jù)可靠性的下降。本文通過對HDFS存儲方法的改進,提出了一種充分考慮云環(huán)境中虛擬機存儲位置的數(shù)據(jù)塊存儲策略,避免了多個數(shù)據(jù)塊副本存儲在同一臺物理機器上。實驗結果證明,該方法均衡了數(shù)據(jù)塊在物理節(jié)點中的存儲,提高了系統(tǒng)的可靠性。 

【文章來源】：電腦知識與技術. 2020年26期

【文章頁數(shù)】：3 頁

【部分圖文】：

云環(huán)境中HDFS數(shù)據(jù)塊副本放置例子

我們在基于Open Stack的私有云計算平臺中構建了一個Hadoop集群環(huán)境，Hadoop版本為2.6.4。集群中包括1個Name Node節(jié)點和9個Data Node節(jié)點，所有節(jié)點均被配置為3個虛擬計算核，4GB的內(nèi)存和50GB的磁盤空間。我們配置了2個千兆機架交換機，一個交換機下配置了3臺物理機器，另一個交換機下配置了2臺物理機器。我們使用Random Writer工具生成4GB、8GB和16GB三個不同大小的數(shù)據(jù)集，并且使用不同的策略（HDFS默認策略和本文提出的優(yōu)化策略）將它們寫入HDFS集群中。在實驗中數(shù)據(jù)塊的大小被設置為64MB，副本因子為3。隨后我們對不同數(shù)據(jù)集的數(shù)據(jù)可靠性指標進行了統(tǒng)計，結果顯示采用HDFS的默認放置策略，幾乎只有70%的數(shù)據(jù)塊能夠實現(xiàn)分配到不同的物理機節(jié)點之中，而基于本文提出的存儲優(yōu)化策略，100%的數(shù)據(jù)塊都能被分配到不同的物理機節(jié)點中，意味著它們能達到與同構物理環(huán)境相同的可靠性，統(tǒng)計結果如表1。4 結束語

HDFS默認采用機架感知的策略分配數(shù)據(jù)塊的存儲位置，它支持樹形的層次網(wǎng)絡拓撲結構，如圖1，其中D表示數(shù)據(jù)中心，R表示機架交換機，H表示數(shù)據(jù)存儲節(jié)點。一個集群可能跨越多個數(shù)據(jù)中心，而每個數(shù)據(jù)中心又包含有多個機架交換機，各個物理機器節(jié)點位于機架交換機下面。通常情況下，同一個機架交換機的網(wǎng)絡傳輸帶寬比跨越不同機架交換機的數(shù)據(jù)交換帶寬要高，即將同一個數(shù)據(jù)塊的多個副本放置到同一個機架交換機內(nèi)部時，能夠減少數(shù)據(jù)寫入和讀取的時間，但是，若機架交換機發(fā)生故障，則將導致整個交換機內(nèi)的物理機器不能與外通信，使得機架內(nèi)部的數(shù)據(jù)不能被訪問[6]。在云環(huán)境中，由于一個物理機器中包含多個虛擬機，當某個物理主機發(fā)生故障時，主機中的虛擬機節(jié)點都將不可用，也就意味著位于虛擬機中的同一個數(shù)據(jù)塊的兩個甚至多個副本會同時丟失。以圖2為例，當物理機節(jié)點PM1發(fā)生故障時，位于PM1中的數(shù)據(jù)塊10的所有副本都會丟失，導致文件存儲的可靠性降低。

【參考文獻】：
博士論文
[1]基于云的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化問題研究[D]. 徐華.中國科學技術大學 2018



本文編號：2915423