地理分布式的性能和費(fèi)用優(yōu)化圖處理方法研究
發(fā)布時間:2021-02-04 00:55
隨著虛擬化技術(shù)的快速發(fā)展,基于虛擬化技術(shù)的云計(jì)算平臺的構(gòu)建現(xiàn)在越來越完善。越來越多的人使用云平臺完成任務(wù)部署。由于用戶的全球化,區(qū)域化趨勢變得更加突出,近年來基礎(chǔ)設(shè)施提供商傾向于在多個國家和地區(qū)部署數(shù)據(jù)中心。圖處理是一種適用于各種應(yīng)用的新興計(jì)算模型,圖分割對于優(yōu)化圖處理作業(yè)的費(fèi)用成本和性能非常重要。隨著移動互聯(lián)網(wǎng)和社交網(wǎng)站的興起,許多服務(wù)提供商改變了服務(wù)器自給自足的運(yùn)營模式,通過租用分布在多個地區(qū)的基礎(chǔ)設(shè)施供應(yīng)商的數(shù)據(jù)中心虛擬機(jī),并將許多圖應(yīng)用程序(如社交網(wǎng)絡(luò))的數(shù)據(jù)存儲在地理分布式數(shù)據(jù)中心上,以便在全球范圍內(nèi)為用戶提供低延遲、高質(zhì)量的服務(wù)。由于圖的流量異構(gòu)性和地理分布式數(shù)據(jù)中心的多級網(wǎng)絡(luò)異構(gòu)性,對現(xiàn)有的圖分割方法提出了新的挑戰(zhàn)。本文中,我們首先在當(dāng)下使用廣泛的Microsoft Azure云平臺的四個不同的數(shù)據(jù)中心租用使用較廣泛的四種類型實(shí)例,對每類實(shí)例進(jìn)行連續(xù)一周的測試,研究云平臺的網(wǎng)絡(luò)帶寬特性以及網(wǎng)絡(luò)價格特點(diǎn),以及對Amazon EC2云平臺進(jìn)行相應(yīng)測試。其次,我們根據(jù)GAS圖處理模型建立了地理分布式平臺下圖應(yīng)用的數(shù)據(jù)輸出時間和費(fèi)用模型,在此基礎(chǔ)上,我們提出了一種具有地理感知的圖...
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:66 頁
【學(xué)位級別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務(wù)商都提供地理分布式云服務(wù)來應(yīng)對大數(shù)據(jù)應(yīng)用的需求。例如,三大公有云服務(wù)商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個,54個和11個分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應(yīng)用程序更貼近全球用戶所需的規(guī)模、保持?jǐn)?shù)據(jù)駐留、為客戶提供全面的符合性和恢復(fù)能力選項(xiàng),已經(jīng)在全球54個區(qū)域,140個國家或地區(qū)建立數(shù)據(jù)中心。因此,通過租用云平臺數(shù)據(jù)中心搭建集群進(jìn)行大數(shù)據(jù)處理應(yīng)用的并行計(jì)算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺1為了解決圖處理過程中并行計(jì)算的負(fù)載平衡問題,圖分割成了研究熱點(diǎn)。國內(nèi)外學(xué)者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部優(yōu)化算法等[3]。雖然目前的圖分割算法通過平衡多個處理的計(jì)算負(fù)載,縮短處理器的空閑等待時間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個方面。首先,服從冪律分布的圖在現(xiàn)實(shí)世界中非常普遍。尤其是數(shù)據(jù)量增長幅度較大的社交網(wǎng)絡(luò),其中頂點(diǎn)流量呈現(xiàn)異構(gòu)性,極少的點(diǎn)產(chǎn)生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號:3017443
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:66 頁
【學(xué)位級別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務(wù)商都提供地理分布式云服務(wù)來應(yīng)對大數(shù)據(jù)應(yīng)用的需求。例如,三大公有云服務(wù)商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個,54個和11個分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應(yīng)用程序更貼近全球用戶所需的規(guī)模、保持?jǐn)?shù)據(jù)駐留、為客戶提供全面的符合性和恢復(fù)能力選項(xiàng),已經(jīng)在全球54個區(qū)域,140個國家或地區(qū)建立數(shù)據(jù)中心。因此,通過租用云平臺數(shù)據(jù)中心搭建集群進(jìn)行大數(shù)據(jù)處理應(yīng)用的并行計(jì)算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺1為了解決圖處理過程中并行計(jì)算的負(fù)載平衡問題,圖分割成了研究熱點(diǎn)。國內(nèi)外學(xué)者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部優(yōu)化算法等[3]。雖然目前的圖分割算法通過平衡多個處理的計(jì)算負(fù)載,縮短處理器的空閑等待時間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個方面。首先,服從冪律分布的圖在現(xiàn)實(shí)世界中非常普遍。尤其是數(shù)據(jù)量增長幅度較大的社交網(wǎng)絡(luò),其中頂點(diǎn)流量呈現(xiàn)異構(gòu)性,極少的點(diǎn)產(chǎn)生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號:3017443
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3017443.html
最近更新
教材專著