本文關鍵詞：基于OpenStack平臺的MapReduce框架優(yōu)化方案的設計與實現

  更多相關文章： 云計算 OpenStack 虛擬網絡 Hadoop MapReduce

【摘要】：由于云計算彈性可伸縮的特性,將大數據處理集群部署到云上可實現“按需獲取”的業(yè)務模型成為當前業(yè)界主流的應用模式。隨著云平臺上廣泛使用MapReduce框架作為大數據處理應用,業(yè)界已經提出了許多關于虛擬計算集群的優(yōu)化方案。大多數研究主要關注兩個方面的優(yōu)化,一方面是MapReduce作業(yè)任務的調度；另一方面是云平臺的數據處理能力和虛擬網絡傳輸能力。經過調研發(fā)現,綜合考慮后面兩個因素的研究相對較少。本文設計了一套云平臺虛擬網絡部署優(yōu)化方案。綜合考慮了云平臺的數據處理能力和數據傳輸能力這兩個因素對虛擬計算集群的影響,主要思路是通過對底層云平臺虛擬網絡拓撲結構的優(yōu)化,實現上層MapReduce性能的優(yōu)化。本文中,云平臺虛擬網絡部署優(yōu)化方案基于OpenStack中Neutron組件的多主機網絡代理部署機制,優(yōu)化云平臺虛擬網絡的拓撲結構,通過提升平臺的數據傳輸能力和數據處理能力,優(yōu)化平臺上的MapReduce框架。主要的研究內容包括以下幾個方面：(1)研究云平臺中網絡通信代理機制是如何影響云平臺上大數據處理應用的性能。研究發(fā)現網絡通信代理的個數,具體部署的位置,以及網絡通信代理與虛擬機具體的對應關系是本論文需要解決的三個問題。(2)研究如何獲得云平臺上網絡通信代理數目的最優(yōu)解。首先對云平臺上MapReduce作業(yè)流的性能期望進行建模,然后對性能優(yōu)化模型的數學問題進行求解,最終得到云平臺上最優(yōu)網絡通信代理的數目。(3)研究網絡通信代理的具體部署位置。采用Knapsack算法,確定云平臺上最優(yōu)網絡部署代理的位置。該問題的解決能夠優(yōu)化虛擬機之間的通信性能,提升虛擬集群數據傳輸的能力。(4)研究網絡通信代理與虛擬機之間的對應關系。采用LoadBalancing算法,確定網絡通信代理和虛擬機的對應關系,該問題的決解能夠優(yōu)化虛擬機的計算性能,提升虛擬集群數據處理的能力。(5)使用Python開發(fā)虛擬網絡優(yōu)化方案的插件,并應用到云平臺中,實現該優(yōu)化方案的自動化部署。(6)通過設計和完成Hadoop虛擬集群處理海量數據的實驗,最終證明本論文的優(yōu)化方案明顯提升了虛擬大數據集群的處理能力。在完成同樣大小作業(yè)的情景下,同時對上述三個問題的優(yōu)化使得虛擬集群性能得到大幅度提升。本文研究內容已經在云平臺上部署成功,并且通過對云平臺實驗結果的對比分析,證明了該策略的有效性和優(yōu)越性。本文的設計對云上虛擬網絡和大數據處理的研究,具有一定的參考價值和指導意義。
【學位授予單位】：中央民族大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.01

【參考文獻】

中國期刊全文數據庫 前4條

1 王珊;王會舉;覃雄派;周p，

本文編號：1241873