基于Kademlia的負(fù)載平衡云存儲算法
本文選題:云存儲 + 負(fù)載平衡。 參考:《計算機應(yīng)用》2015年03期
【摘要】:針對采用主從式結(jié)構(gòu)的主流云存儲系統(tǒng)可能出現(xiàn)的性能瓶頸和可擴展問題,基于分布式哈希表(DHT)技術(shù)的完全分布式云存儲系統(tǒng)成為一種新的選擇。解決好節(jié)點的負(fù)載平衡問題,是此類技術(shù)獲得推廣的關(guān)鍵。研究了Kademlia算法應(yīng)用于云存儲系統(tǒng)的負(fù)載平衡性能?紤]到算法在異構(gòu)環(huán)境下負(fù)載平衡性能有明顯下降,改進(jìn)算法在Kademlia找出的候選存儲節(jié)點中根據(jù)節(jié)點的存儲能力來分配負(fù)載。仿真結(jié)果表明,改進(jìn)后算法的負(fù)載平衡性能有非常明顯的提高,在系統(tǒng)模擬運行時間足夠長(如1500 h以上)時,過載節(jié)點平均下降7.0%(輕載)和33.7%(重載);文件保存成功率平均提高27.2%(輕載)和35.1%(重載),而增加的通信開銷可接受。
[Abstract]:Aiming at the possible performance bottlenecks and scalability problems in mainstream cloud storage systems with master-slave architecture, a fully distributed cloud storage system based on distributed hash table (DHT) technology has become a new choice. It is the key to popularize this kind of technology to solve the load balance problem of nodes. The load balancing performance of Kademlia algorithm applied to cloud storage system is studied. Considering that the load balancing performance of the algorithm in heterogeneous environment is significantly reduced, the improved algorithm distributes the load according to the storage capacity of the node in the candidate storage node identified by Kademlia. The simulation results show that the load balancing performance of the improved algorithm is obviously improved, and when the system simulation time is long enough (such as more than 1500 hours), The average drop of overload node is 7.0 (light load) and 33.7g (heavy load); the success rate of file preservation is increased by 27.2g (light load) and 35.1g (heavy load) on average, while the increase in communication overhead is acceptable.
【作者單位】: 華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院;
【基金】:國家863計劃項目(2013AA01A211)
【分類號】:TP333
【參考文獻(xiàn)】
相關(guān)期刊論文 前5條
1 吳吉義;傅建慶;平玲娣;謝琪;;一種對等結(jié)構(gòu)的云存儲系統(tǒng)研究[J];電子學(xué)報;2011年05期
2 劉琨;鈕文良;;一種改進(jìn)的Hadoop數(shù)據(jù)負(fù)載均衡算法[J];河南理工大學(xué)學(xué)報(自然科學(xué)版);2013年03期
3 黃秋蘭;程耀東;陳剛;;分布式存儲系統(tǒng)的哈希算法研究[J];計算機工程與應(yīng)用;2014年01期
4 尹向東;楊杰;屈長青;;云計算環(huán)境下分布式文件系統(tǒng)的負(fù)載平衡研究[J];計算機科學(xué);2014年03期
5 張聰萍;尹建偉;;分布式文件系統(tǒng)的動態(tài)負(fù)載均衡算法[J];小型微型計算機系統(tǒng);2011年07期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報;2012年11期
2 俞能海;郝卓;徐甲甲;張衛(wèi)明;張馳;;云安全研究進(jìn)展綜述[J];電子學(xué)報;2013年02期
3 孫勇;林菲;王寶軍;;面向云計算的鍵值型分布式存儲系統(tǒng)研究[J];電子學(xué)報;2013年07期
4 羅文;張國兵;;基于云平臺的多媒體教學(xué)系統(tǒng)研究與設(shè)計[J];電視技術(shù);2013年22期
5 王寧;楊揚;孟坤;陳宇;王磊;季青;;云計算環(huán)境下基于用戶體驗的成本最優(yōu)存儲策略研究[J];電子學(xué)報;2014年01期
6 張瑞;林闖;孟坤;陳亞睿;;一種高可靠性的內(nèi)容云的存儲機制[J];電子學(xué)報;2014年04期
7 謝顯中;黃倩;王柳蘇;馬彬;;一種云存儲中基于干擾對齊的多節(jié)點精確修復(fù)方法[J];電子學(xué)報;2014年10期
8 陳豪;陶冶;張尼;張云勇;;云計算計費問題研究[J];電信科學(xué);2014年11期
9 李東升,盧錫城;P2P網(wǎng)絡(luò)中常量度數(shù)常量擁塞的DHT方法研究[J];中國科學(xué)E輯:信息科學(xué);2004年12期
10 ;A novel constant degree and constant congestion DHT scheme for peer-to-peer networks[J];Science in China(Series F:Information Sciences);2005年04期
相關(guān)會議論文 前1條
1 馮小梅;劉怡君;;云存儲技術(shù)的現(xiàn)狀分析與發(fā)展趨勢[A];廣西計算機學(xué)會2014年學(xué)術(shù)年會論文集[C];2014年
相關(guān)博士學(xué)位論文 前10條
1 吳吉義;基于DHT的開放對等云存儲服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年
2 李錚;多媒體云計算平臺關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年
3 董飚;Internet發(fā)布/訂閱技術(shù)研究[D];南京理工大學(xué);2011年
4 劉志明;對等存儲系統(tǒng)數(shù)據(jù)管理研究[D];國防科學(xué)技術(shù)大學(xué);2011年
5 劉勇;大規(guī)模對等資源共享關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2010年
6 杜麗娟;基于Overlay Network的移動網(wǎng)絡(luò)及其關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學(xué)(北京);2012年
7 郭羽成;MPI高性能云計算平臺關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2013年
8 楊磊;基于P2P結(jié)構(gòu)的廣域分布式存儲相關(guān)技術(shù)研究[D];湖南大學(xué);2013年
9 何亨;對等云存儲服務(wù)系統(tǒng)的安全控制機制研究[D];華中科技大學(xué);2013年
10 羅立群;綠色桌面云的關(guān)鍵技術(shù)研究[D];南京大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 向泰;基于廣度優(yōu)先最小生成樹及《知網(wǎng)》詞匯語義相似度的啟發(fā)式P2P搜索技術(shù)研究與實現(xiàn)[D];云南師范大學(xué);2006年
2 王強;數(shù)字有機體資源放置決策系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2007年
3 何明倫;基于數(shù)字有機體的資源調(diào)度系統(tǒng)[D];電子科技大學(xué);2007年
4 沈琦;基于Chord的高性能文件存儲技術(shù)的研究與設(shè)計[D];浙江大學(xué);2007年
5 梁妍;數(shù)字有機體系統(tǒng)中透明下載服務(wù)源定位及安全機制的研究與實現(xiàn)[D];電子科技大學(xué);2008年
6 程偉;寄生存儲系統(tǒng)設(shè)計與性能分析[D];華中科技大學(xué);2008年
7 康福勇;環(huán)保私有云平臺設(shè)計及其SaaS模式總量減排業(yè)務(wù)系統(tǒng)實現(xiàn)[D];電子科技大學(xué);2013年
8 楊燦;基于HDFS的華圖在線文庫系統(tǒng)數(shù)據(jù)存儲與管理研究[D];中南大學(xué);2013年
9 李穎;基于分布式文件系統(tǒng)的農(nóng)業(yè)數(shù)據(jù)云存儲研究[D];山東農(nóng)業(yè)大學(xué);2013年
10 艾云霄;云環(huán)境下數(shù)據(jù)副本選擇策略研究[D];內(nèi)蒙古科技大學(xué);2013年
【二級參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 吳吉義;平玲娣;潘雪增;李卓;;云計算:從概念到平臺[J];電信科學(xué);2009年12期
2 張薇;馬建峰;王良民;郭淵博;;門限Byzantine quorum系統(tǒng)及其在分布式存儲中的應(yīng)用[J];電子學(xué)報;2008年02期
3 楊_g劍;林波;;分布式存儲系統(tǒng)中一致性哈希算法的研究[J];電腦知識與技術(shù);2011年22期
4 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期
5 谷國太;肖漢;;并行計算與并行處理技術(shù)的應(yīng)用研究[J];河南理工大學(xué)學(xué)報(自然科學(xué)版);2009年05期
6 王小云,張全清;MD_5報文摘要算法的各圈函數(shù)碰撞分析[J];計算機工程與科學(xué);1996年02期
7 李勇軍;代亞非;;對等網(wǎng)絡(luò)信任機制研究[J];計算機學(xué)報;2010年03期
8 周敬利;周正達(dá);;改進(jìn)的云存儲系統(tǒng)數(shù)據(jù)分布策略[J];計算機應(yīng)用;2012年02期
9 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲系統(tǒng)副本布局研究[J];計算機應(yīng)用;2012年03期
10 林偉偉;劉波;;基于動態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年09期
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 秦蓀濤;金融網(wǎng)絡(luò)負(fù)載平衡實現(xiàn)方案[J];中國金融電腦;2002年06期
2 李慶華,尹社紅;一種基于預(yù)測的負(fù)載平衡策略[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2002年09期
3 李慶華,尹社紅;一種基于預(yù)測的負(fù)載平衡策略[J];計算機與數(shù)字工程;2003年04期
4 蔣理;Windows Server 2003網(wǎng)絡(luò)負(fù)載平衡解決方案[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2004年05期
5 王郁武;;商場分布式系統(tǒng)負(fù)載平衡技術(shù)的研究[J];商場現(xiàn)代化;2006年34期
6 鄭緒岫;負(fù)載平衡——提高分布式計算機系統(tǒng)效率的一種方法[J];計算機工程與應(yīng)用;1984年02期
7 孫凝暉;李國杰;;采用有效切分的負(fù)載平衡[J];計算機研究與發(fā)展;1992年12期
8 王于同,張立宇,畢偉文;高效負(fù)載平衡的并行連接運算算法研究[J];杭州電子工業(yè)學(xué)院學(xué)報;1999年04期
9 張輝,田金蘭,鄭緯民;多級負(fù)載平衡系統(tǒng)的設(shè)計和實現(xiàn)[J];南京理工大學(xué)學(xué)報(自然科學(xué)版);2002年05期
10 楊圣云,賴國明,周檢檢;CORBA環(huán)境負(fù)載平衡的實現(xiàn)[J];韓山師范學(xué)院學(xué)報;2004年03期
相關(guān)會議論文 前4條
1 劉濱;石峰;;基三分層互連網(wǎng)絡(luò)中負(fù)載平衡的研究與仿真[A];中國系統(tǒng)仿真學(xué)會第五次全國會員代表大會暨2006年全國學(xué)術(shù)年會論文集[C];2006年
2 張敏;;構(gòu)建大規(guī)模WebGIS網(wǎng)站的探究——針對WebGIS的理正IMS負(fù)載平衡技術(shù)[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年
3 佟志新;楊樹強;賈焰;;基于CORBA的負(fù)載平衡服務(wù)研究與實現(xiàn)[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(研究報告篇)[C];2003年
4 蔣進(jìn)曦;劉惠;韓偉紅;賈焰;;數(shù)據(jù)庫服務(wù)器級容錯和負(fù)載平衡服務(wù)的研究[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2001年
相關(guān)重要報紙文章 前5條
1 候云峰 袁波;負(fù)載平衡的網(wǎng)絡(luò)轉(zhuǎn)發(fā)技術(shù)[N];中國電腦教育報;2004年
2 丁文彬;網(wǎng)絡(luò)負(fù)載平衡在遠(yuǎn)程教育平臺上的實現(xiàn)[N];中國計算機報;2007年
3 ;iTCM產(chǎn)品必備八大性能[N];計算機世界;2001年
4 ;實現(xiàn)全面負(fù)載均衡[N];網(wǎng)絡(luò)世界;2002年
5 ;用互聯(lián)網(wǎng)技術(shù)突破網(wǎng)站瓶頸[N];中國計算機報;2001年
相關(guān)博士學(xué)位論文 前2條
1 王俊;分布異構(gòu)環(huán)境下基于中間件的負(fù)載平衡技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年
2 楊帆;基于負(fù)載平衡的新一代核心網(wǎng)絡(luò)技術(shù)研究[D];北京郵電大學(xué);2010年
相關(guān)碩士學(xué)位論文 前10條
1 劉松;基于負(fù)載平衡的企業(yè)分布式系統(tǒng)分析與設(shè)計[D];武漢理工大學(xué);2009年
2 姚婧;云計算環(huán)境下的負(fù)載平衡機制研究[D];陜西師范大學(xué);2012年
3 鄧玉華;分布式系統(tǒng)中網(wǎng)絡(luò)負(fù)載平衡的研究與應(yīng)用[D];西南交通大學(xué);2002年
4 楊夏妮;基于Petri網(wǎng)的負(fù)載平衡雙層調(diào)度模型的研究[D];廣西大學(xué);2008年
5 曹瑛;無線網(wǎng)格網(wǎng)中負(fù)載平衡的探索和研究[D];蘭州大學(xué);2009年
6 賈俊;嵌入式系統(tǒng)中網(wǎng)絡(luò)負(fù)載平衡群集的研究與應(yīng)用[D];湖南大學(xué);2010年
7 王俊嶺;基于主動復(fù)制的負(fù)載平衡模型研究與實現(xiàn)[D];東南大學(xué);2005年
8 李海峰;基于抽樣估計的MapReduce負(fù)載平衡研究[D];大連海事大學(xué);2014年
9 蔣淳;基于Agent的集群系統(tǒng)負(fù)載平衡技術(shù)研究與應(yīng)用[D];南京航空航天大學(xué);2005年
10 劉華芳;安全服務(wù)器中Web集群負(fù)載平衡的研究與實現(xiàn)[D];福州大學(xué);2003年
,本文編號:1944347
本文鏈接:http://www.sikaile.net/kejilunwen/jisuanjikexuelunwen/1944347.html