基于布谷鳥算法的Storm集群動態(tài)負載均衡策略
發(fā)布時間：2021-04-17 21:32
Storm作為開源的分布式實時計算框架在處理流式數(shù)據方面具有明顯的優(yōu)勢,但其默認調度算法沒有將節(jié)點資源與任務實際相結合,仍存在節(jié)點資源利用率不高等問題,在負載均衡方面存在較大提升空間。為此,提出了一種基于布谷鳥搜索算法的Storm集群動態(tài)負載均衡策略（dynamic load balancing strategy for storm cluster based on cuckoo search algorithm,DLBSCSA）。該策略為達到集群節(jié)點負載的動態(tài)均衡,將任務調度模擬為布谷鳥尋窩產卵的過程,綜合分析集群的CPU、網絡帶寬、內存等資源的實時利用情況,通過布谷鳥搜索算法的尋優(yōu)過程自適應地確定節(jié)點性能權重,并根據權重動態(tài)分配任務。實驗結果表明,該算法可以實現(xiàn)資源的合理分配,達到集群動態(tài)的負載均衡,從而減小集群響應時間,與默認算法相比具有更高的集群吞吐量和更小的系統(tǒng)延遲。
【文章來源】：計算機技術與發(fā)展. 2019,29(10)
【文章頁數(shù)】：7 頁
【部分圖文】：
用戶提交的Topology
逍閱蘢?好。而為了達到資源的動態(tài)負載均衡，最主要的是根據集群運轉情況實時地計算出最優(yōu)的資源分配權重。動態(tài)負載均衡模型可以描述為:向m個節(jié)點分配n個任務，綜合多個性能指標加權計算反映節(jié)點的負載向量L，通過尋找最優(yōu)的權重向量α，使負載向量L能夠正確地反映集群系統(tǒng)的負載。再利用選擇函數(shù)，根據歷史信息和動態(tài)權重合理而均衡地選取節(jié)點來對負載進行處理，使整個任務具有最短的處理時間和最大的吞吐量。由于權重向量α隨集群的負載情況而變化，需要對其進行實時檢測并動態(tài)地計算最新的α。動態(tài)負載均衡模型如圖2所示。圖2動態(tài)負載均衡模型動態(tài)負載均衡的最終目的是減少集群響應時間，做到任務的實時處理。為此將目標函數(shù)定義為集群系統(tǒng)的平均響應時間，目標函數(shù)越小表示集群系統(tǒng)的總體性能越好。即F=∑Ｒes/m(3)其中，F(xiàn)為目標函數(shù);Ｒes為集群系統(tǒng)響應時間向量。由上文知，Ｒes由節(jié)點負載向量L，任務向量T和選擇函數(shù)Sel來確定，即:Ｒes=(L，T，Sel)(4)其中選擇函數(shù)Sel定義任務和節(jié)點間的映射關·661·計算機技術與發(fā)展第29卷
Ｆ渲幸桓?作為主節(jié)點運行Nimbus進程，實現(xiàn)資源分配以及任務調度;從節(jié)點執(zhí)行Nimbus分派的任務，啟動和停止由其自身管理的Worker進程。同時還搭建了Zookeeper集群，它們始終處于運行狀態(tài)。文中選擇典型的大數(shù)據處理應用WordCount來進行實驗，分別實現(xiàn)了默認算法與文中算法的Word-Count程序并提交到Storm集群運行。同時，為了避免其他不確定性對實驗結果的干擾，將2個程序進行多次實驗，計算結果的平均值完成實驗的結果分析。所有節(jié)點硬盤為20GB，網卡為10Gbit。在處理時延方面，文中算法與默認調度算法的處理時延如圖3所示。可以看出，較之于默認調度算法，文中算法的處理時延大體上有所下降，約降低20%～25%左右。圖3算法時延比較在系統(tǒng)吞吐量方面，文中基于布谷鳥搜索算法的Storm集群動態(tài)負載均衡算法與默認調度算法的吞吐量如圖4所示�？梢钥闯觯^之于默認調度算法，文中算法的吞吐量在整體上有所提高，約提高了20%左右。針對負載均衡性能的測試，設計了四種對資源種類需求不一樣的Topology以評估文中算法在不同資源使用情況集群下的處理能力。其中，Topology1～Topology4分別屬于CPU密集型作業(yè)、內存密集型作·861·計算機技術與發(fā)展第29卷
【參考文獻】：
期刊論文
[1]Storm下基于最佳并行度的貪心調度算法[J]. 熊安萍,段杭彪,蔣亞雄. 計算機應用研究. 2019(04)
[2]Storm環(huán)境下基于權重的任務調度算法[J]. 魯亮,于炯,卞琛,英昌甜,師康利,蒲勇霖. 計算機應用. 2018(03)
[3]模擬退火下布谷鳥算法求解車間作業(yè)調度問題[J]. 施文章,韓偉,戴睿聞. 計算機工程與應用. 2017(17)
[4]Storm環(huán)境下一種改進的任務調度策略[J]. 劉月超,于炯,魯亮. 新疆大學學報(自然科學版). 2017(01)
[5]基于Storm拓撲結構熱邊的調度算法[J]. 熊安萍,王賢穩(wěn),鄒洋. 計算機工程. 2017(01)
[6]基于改進布谷鳥搜索算法的云計算資源調度[J]. 趙莉. 南京理工大學學報. 2016(04)
[7]基于布谷鳥搜索的多處理器任務調度算法[J]. 楊輝華,張曉鳳,謝譜模,韋向遠. 計算機科學. 2015(01)
[8]大數(shù)據流式計算:關鍵技術及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民. 軟件學報. 2014(04)
本文編號：3144174
【文章來源】：計算機技術與發(fā)展. 2019,29(10)
【文章頁數(shù)】：7 頁
【部分圖文】：
用戶提交的Topology
逍閱蘢?好。而為了達到資源的動態(tài)負載均衡，最主要的是根據集群運轉情況實時地計算出最優(yōu)的資源分配權重。動態(tài)負載均衡模型可以描述為:向m個節(jié)點分配n個任務，綜合多個性能指標加權計算反映節(jié)點的負載向量L，通過尋找最優(yōu)的權重向量α，使負載向量L能夠正確地反映集群系統(tǒng)的負載。再利用選擇函數(shù)，根據歷史信息和動態(tài)權重合理而均衡地選取節(jié)點來對負載進行處理，使整個任務具有最短的處理時間和最大的吞吐量。由于權重向量α隨集群的負載情況而變化，需要對其進行實時檢測并動態(tài)地計算最新的α。動態(tài)負載均衡模型如圖2所示。圖2動態(tài)負載均衡模型動態(tài)負載均衡的最終目的是減少集群響應時間，做到任務的實時處理。為此將目標函數(shù)定義為集群系統(tǒng)的平均響應時間，目標函數(shù)越小表示集群系統(tǒng)的總體性能越好。即F=∑Ｒes/m(3)其中，F(xiàn)為目標函數(shù);Ｒes為集群系統(tǒng)響應時間向量。由上文知，Ｒes由節(jié)點負載向量L，任務向量T和選擇函數(shù)Sel來確定，即:Ｒes=(L，T，Sel)(4)其中選擇函數(shù)Sel定義任務和節(jié)點間的映射關·661·計算機技術與發(fā)展第29卷
Ｆ渲幸桓?作為主節(jié)點運行Nimbus進程，實現(xiàn)資源分配以及任務調度;從節(jié)點執(zhí)行Nimbus分派的任務，啟動和停止由其自身管理的Worker進程。同時還搭建了Zookeeper集群，它們始終處于運行狀態(tài)。文中選擇典型的大數(shù)據處理應用WordCount來進行實驗，分別實現(xiàn)了默認算法與文中算法的Word-Count程序并提交到Storm集群運行。同時，為了避免其他不確定性對實驗結果的干擾，將2個程序進行多次實驗，計算結果的平均值完成實驗的結果分析。所有節(jié)點硬盤為20GB，網卡為10Gbit。在處理時延方面，文中算法與默認調度算法的處理時延如圖3所示。可以看出，較之于默認調度算法，文中算法的處理時延大體上有所下降，約降低20%～25%左右。圖3算法時延比較在系統(tǒng)吞吐量方面，文中基于布谷鳥搜索算法的Storm集群動態(tài)負載均衡算法與默認調度算法的吞吐量如圖4所示�？梢钥闯觯^之于默認調度算法，文中算法的吞吐量在整體上有所提高，約提高了20%左右。針對負載均衡性能的測試，設計了四種對資源種類需求不一樣的Topology以評估文中算法在不同資源使用情況集群下的處理能力。其中，Topology1～Topology4分別屬于CPU密集型作業(yè)、內存密集型作·861·計算機技術與發(fā)展第29卷
【參考文獻】：
期刊論文
[1]Storm下基于最佳并行度的貪心調度算法[J]. 熊安萍,段杭彪,蔣亞雄. 計算機應用研究. 2019(04)
[2]Storm環(huán)境下基于權重的任務調度算法[J]. 魯亮,于炯,卞琛,英昌甜,師康利,蒲勇霖. 計算機應用. 2018(03)
[3]模擬退火下布谷鳥算法求解車間作業(yè)調度問題[J]. 施文章,韓偉,戴睿聞. 計算機工程與應用. 2017(17)
[4]Storm環(huán)境下一種改進的任務調度策略[J]. 劉月超,于炯,魯亮. 新疆大學學報(自然科學版). 2017(01)
[5]基于Storm拓撲結構熱邊的調度算法[J]. 熊安萍,王賢穩(wěn),鄒洋. 計算機工程. 2017(01)
[6]基于改進布谷鳥搜索算法的云計算資源調度[J]. 趙莉. 南京理工大學學報. 2016(04)
[7]基于布谷鳥搜索的多處理器任務調度算法[J]. 楊輝華,張曉鳳,謝譜模,韋向遠. 計算機科學. 2015(01)
[8]大數(shù)據流式計算:關鍵技術及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民. 軟件學報. 2014(04)
本文編號：3144174
本文鏈接：http://www.sikaile.net/kejilunwen/sousuoyinqinglunwen/3144174.html
