【摘要】：HDFS默認的數(shù)據(jù)副本放置策略僅僅只根據(jù)磁盤空間使用單個指標進行負載衡量,無法實現(xiàn)各節(jié)點真正的負載均衡。提出了一種基于性能的副本負載均衡放置改進策略,從磁盤空間負載能力、CPU處理能力、內(nèi)存處理能力、磁盤讀寫處理能力、帶寬等5個方面考究節(jié)點實際工作負載,并定義了一個負載能力模型。實驗結(jié)果表明,該改進策略比默認策略能更好地實現(xiàn)副本的均衡放置。
[Abstract]:The default data copy placement strategy of HDFS is only based on the disk space using a single index to measure the load, which can not realize the real load balancing of each node. In this paper, a performance-based replica load balancing improvement strategy is proposed, which investigates the actual workload of the node from five aspects: disk space load capacity, CPU processing capacity, memory processing ability, disk read-write processing ability, bandwidth, etc. A load capacity model is defined. Experimental results show that the improved strategy is more effective than the default strategy in balancing replica placement.
【作者單位】： 廣州大學華軟軟件學院軟件工程系;
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 魏善沛,李濤;打印口負載能力研究[J];湖南經(jīng)濟管理干部學院學報;2003年03期

2 張越;文長;;負載能力強——寶德Powtel 2350R服務(wù)器評測[J];每周電腦報;2003年29期

3 林菲;張萬軍;孫勇;;一種分布式非結(jié)構(gòu)化數(shù)據(jù)副本管理模型[J];計算機工程;2013年04期

4 ;采購熱線[J];中國計算機用戶;2001年45期

5 王文亮;;W77E58軟件SPI串口對MAX3100負載能力的論證[J];海軍航空工程學院學報;2006年01期

6 祝家鈺;肖丹;;云計算架構(gòu)下的動態(tài)副本管理策略[J];計算機工程與設(shè)計;2012年09期

7 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

8 何典;吳敏;胡春華;;物聯(lián)網(wǎng)環(huán)境下負載均衡的低代價云存儲數(shù)據(jù)副本分布[J];中南大學學報(自然科學版);2012年04期

9 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計與分析[J];計算機科學與探索;2013年05期

10 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

相關(guān)碩士學位論文 前10條

1 陶永臻;醫(yī)療健康物聯(lián)網(wǎng)環(huán)境下云存儲數(shù)據(jù)副本管理機制的設(shè)計與仿真實現(xiàn)[D];東北大學;2013年

2 王彩亮;云存儲環(huán)境下數(shù)據(jù)副本管理策略研究[D];云南大學;2011年

3 霍振奇;基于HDFS的創(chuàng)新知識存儲及分發(fā)架構(gòu)的研究與設(shè)計[D];河北工業(yè)大學;2015年

4 黃健;基于HDFS安全云存儲模型的研究[D];廣東工業(yè)大學;2016年

5 魏南琛;面向光盤庫的HDFS文件系統(tǒng)應(yīng)用研究與實現(xiàn)[D];華中科技大學;2014年

6 張榮;基于HDFS的海量小文件處理性能的研究與優(yōu)化[D];電子科技大學;2016年

7 艾云霄;云環(huán)境下數(shù)據(jù)副本選擇策略研究[D];內(nèi)蒙古科技大學;2013年

8 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學;2015年

9 于超佳;HDFS數(shù)據(jù)副本隨需調(diào)整及其放置策略研究[D];蘭州理工大學;2013年

10 楊昊溟;云存儲系統(tǒng)的數(shù)據(jù)副本放置算法研究[D];電子科技大學;2013年

，

本文編號：2230623