【摘要】：近年來(lái),隨著云計(jì)算和大數(shù)據(jù)等新興技術(shù)的興起,高能物理學(xué)、天體物理學(xué)、生物信息學(xué)等以數(shù)據(jù)為中心的科學(xué)領(lǐng)域開(kāi)展的大型科學(xué)實(shí)驗(yàn)計(jì)算規(guī)模愈加龐大,產(chǎn)生和積累的科學(xué)數(shù)據(jù)量顯著增長(zhǎng),對(duì)科學(xué)數(shù)據(jù)的分析挖掘更為復(fù)雜深入,是典型的科學(xué)大數(shù)據(jù)應(yīng)用�？茖W(xué)大數(shù)據(jù)應(yīng)用通�？山３煽茖W(xué)工作流,其執(zhí)行所需的計(jì)算和存儲(chǔ)資源規(guī)模龐大,需多個(gè)科研機(jī)構(gòu)協(xié)作,聚合各自數(shù)據(jù)中心資源支撐科學(xué)大數(shù)據(jù)應(yīng)用的海量數(shù)據(jù)存儲(chǔ)和大規(guī)�？茖W(xué)工作流計(jì)算,實(shí)現(xiàn)多數(shù)據(jù)中心環(huán)境下科學(xué)工作流的分布執(zhí)行。然而,由于各數(shù)據(jù)中心間網(wǎng)絡(luò)帶寬資源相對(duì)有限,科學(xué)工作流分布執(zhí)行過(guò)程中跨數(shù)據(jù)中心的大量數(shù)據(jù)傳輸易成為性能瓶頸。作為影響跨數(shù)據(jù)中心數(shù)據(jù)傳輸?shù)闹匾蛩?數(shù)據(jù)合理布局和科學(xué)工作流任務(wù)高效調(diào)度可以有效減小數(shù)據(jù)中心間數(shù)據(jù)傳輸量,是提高科學(xué)工作流執(zhí)行效率的關(guān)鍵。現(xiàn)有針對(duì)數(shù)據(jù)布局和工作流調(diào)度的研究,未全面考慮科學(xué)大數(shù)據(jù)應(yīng)用關(guān)聯(lián)數(shù)據(jù)訪問(wèn)、初始輸入數(shù)據(jù)固定、海量中間數(shù)據(jù)存儲(chǔ)等執(zhí)行特征,無(wú)法實(shí)現(xiàn)數(shù)據(jù)合理布局和工作流任務(wù)高效調(diào)度,難以進(jìn)一步優(yōu)化科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行。為實(shí)現(xiàn)多數(shù)據(jù)中心環(huán)境下科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化,本碩士論文從以下三方面展開(kāi)研究:首先,針對(duì)海量數(shù)據(jù)的布局優(yōu)化進(jìn)行研究�？茖W(xué)工作流在各數(shù)據(jù)中心的分布執(zhí)行需以海量的初始數(shù)據(jù)作為輸入,因此相關(guān)初始數(shù)據(jù)被各數(shù)據(jù)中心頻繁請(qǐng)求訪問(wèn)。為了減小對(duì)初始數(shù)據(jù)的訪問(wèn)代價(jià),本文在考慮數(shù)據(jù)放置本地性的基礎(chǔ)上,引入數(shù)據(jù)訪問(wèn)模式特征以及數(shù)據(jù)中心存儲(chǔ)等約束,將數(shù)據(jù)布局問(wèn)題建模為整數(shù)規(guī)劃問(wèn)題,提出一種基于拉格朗日松弛的高效數(shù)據(jù)放置算法。然后,針對(duì)復(fù)雜科學(xué)工作流的任務(wù)調(diào)度優(yōu)化進(jìn)行研究。在初始數(shù)據(jù)合理布局的基礎(chǔ)上,為了減小工作流執(zhí)行過(guò)程中跨數(shù)據(jù)中心的數(shù)據(jù)通信,本文綜合考慮科學(xué)工作流復(fù)雜依賴關(guān)系、初始輸入數(shù)據(jù)預(yù)先放置、中間數(shù)據(jù)放置以及數(shù)據(jù)中心計(jì)算、存儲(chǔ)限制等特征,對(duì)工作流調(diào)度問(wèn)題進(jìn)行建模,準(zhǔn)確刻畫(huà)科學(xué)工作流調(diào)度的特點(diǎn)。同時(shí),根據(jù)模型提出了一個(gè)基于多層粗化、細(xì)化圖劃分框架并采用特殊混合遺傳算法的啟發(fā)式方法。最后,實(shí)現(xiàn)并部署科學(xué)大數(shù)據(jù)應(yīng)用工作流管理系統(tǒng)。為了進(jìn)一步驗(yàn)證本文提出的執(zhí)行優(yōu)化策略的有效性,本文基于現(xiàn)有的工作流管理系統(tǒng)進(jìn)行二次開(kāi)發(fā),實(shí)現(xiàn)科學(xué)大數(shù)據(jù)應(yīng)用執(zhí)行的數(shù)據(jù)布局和工作流任務(wù)調(diào)度方法。同時(shí)基于東南大學(xué)云計(jì)算中心、曙光計(jì)算中心等多數(shù)據(jù)中心環(huán)境進(jìn)行系統(tǒng)部署,驗(yàn)證本文研究成果的有效性。本文對(duì)多數(shù)據(jù)中心環(huán)境下科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化機(jī)制進(jìn)行深入研究,提出合理的數(shù)據(jù)布局方法和高效的工作流任務(wù)調(diào)度方法。通過(guò)大量的仿真實(shí)驗(yàn)和真實(shí)多數(shù)據(jù)中心環(huán)境實(shí)驗(yàn)表明,本文提出的優(yōu)化策略能夠有效減小科學(xué)工作流執(zhí)行過(guò)程中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸,實(shí)現(xiàn)科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化。
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP308
【圖文】：

子信息產(chǎn)生原始數(shù)據(jù)，原始數(shù)據(jù)經(jīng)過(guò)大存儲(chǔ)，供世界各地的科學(xué)家進(jìn)行物理分具有以下特點(diǎn)：1）計(jì)算任務(wù)復(fù)雜。AM種物理分析等多步驟的復(fù)雜計(jì)算，這些和執(zhí)行依賴關(guān)系的科學(xué)計(jì)算任務(wù)組成的、仿真數(shù)據(jù)、重建數(shù)據(jù)和物理分析結(jié)果4PB。3）計(jì)算規(guī)模大。AMS 實(shí)驗(yàn)包括蒙據(jù)統(tǒng)計(jì)，從 2011-2017 累計(jì)計(jì)算超過(guò) 6TB500TB2PB500TB400TB100TB數(shù)據(jù)分析據(jù)科學(xué)工作流數(shù)據(jù)布局工作流調(diào)度提交數(shù)據(jù)分析作業(yè)AMS科學(xué)家

其中 d 表示訪問(wèn)模式中包含數(shù)據(jù)的個(gè)數(shù)，任意一個(gè)訪問(wèn)模式 p∈P。如圖3-1 所示，闡釋了數(shù)據(jù)布局的過(guò)程。圖中包含 10 個(gè)不同的數(shù)據(jù)集和 4 種訪問(wèn)模式：(1, 2),(3, 4, 5), (6, 7, 8), (9, 10)。數(shù)據(jù)和數(shù)據(jù)中心間的虛線表示將數(shù)據(jù)布局到該數(shù)據(jù)中心。科學(xué)數(shù)據(jù)集 X 被存儲(chǔ)到多個(gè)異地分布的數(shù)據(jù)中心內(nèi)，本文將數(shù)據(jù)中心集合表示為集合 K，集合大小為|K|。本文假設(shè)每個(gè)數(shù)據(jù) x∈X 都只存儲(chǔ)于一個(gè)數(shù)據(jù)中心內(nèi)且占據(jù)數(shù)據(jù)中心存儲(chǔ)資源 sizex，每個(gè)數(shù)據(jù)中心的存儲(chǔ)容量也各不相同。為了與實(shí)際情況相符，本文假設(shè)數(shù)據(jù)中心 k∈K 的存儲(chǔ)容量為 Ck，且存放在數(shù)據(jù)中心 k 的數(shù)據(jù)存儲(chǔ)大小不超過(guò) Ck。因此，數(shù)據(jù)到數(shù)據(jù)中心的映射函數(shù)可以定義為 M ：x→k，表示數(shù)據(jù) x 存儲(chǔ)到數(shù)據(jù)中心 k 中。DC1 DC2 DC3Data itemRequest patternData centerRequest rateData DC mapping12345678910圖 3-1 多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)布局示意圖在科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行過(guò)程中

圖 3-2 關(guān)聯(lián)數(shù)據(jù)訪問(wèn)代價(jià)問(wèn)代價(jià)比較算法的遠(yuǎn)程數(shù)據(jù)訪問(wèn)代價(jià)進(jìn)行比較。各算法的代理。MostLocalized 算法獲得最好的結(jié)果，因?yàn)閾?jù)的量最大的數(shù)據(jù)中心內(nèi)。由于被大量請(qǐng)求的

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張乃帥;杜曉峰;;北京大學(xué) 數(shù)據(jù)中心遷移中的虛擬化力量[J];中國(guó)教育網(wǎng)絡(luò);2019年Z1期

2 ;浪潮存儲(chǔ)獲“用戶滿意數(shù)據(jù)中心解決方案”大獎(jiǎng)[J];科技浪潮;2009年05期

3 ;云操作系統(tǒng) 云數(shù)據(jù)中心神經(jīng)系統(tǒng)[J];科技浪潮;2011年03期

4 ;浪潮發(fā)布云海集裝箱數(shù)據(jù)中心[J];科技浪潮;2011年03期

5 趙吉志;;淺談數(shù)據(jù)中心綠色分級(jí)評(píng)估方法[J];科技浪潮;2012年05期

6 趙吉志;;數(shù)據(jù)中心效能評(píng)估指標(biāo)簡(jiǎn)介[J];科技浪潮;2013年02期

7 ;云操作系統(tǒng) 云數(shù)據(jù)中心神經(jīng)系統(tǒng)[J];科技浪潮;2011年S1期

8 ;浪潮推出云海集裝箱數(shù)據(jù)中心[J];科技浪潮;2011年02期

9 ;浪潮“行業(yè)云”和云數(shù)據(jù)中心演示引人注目[J];科技浪潮;2011年02期

10 李卓暉;;電網(wǎng)企業(yè)數(shù)據(jù)中心能效測(cè)量與計(jì)算方法研究[J];南方能源建設(shè);2018年04期

相關(guān)會(huì)議論文 前10條

1 楊羽虎;;甘肅省煙草專賣商業(yè)系統(tǒng)數(shù)據(jù)中心面臨的安全風(fēng)險(xiǎn)及對(duì)策[A];中國(guó)煙草學(xué)會(huì)2016年度優(yōu)秀論文匯編—— 信息化管理主題[C];2016年

2 關(guān)麗紅;劉彥

本文編號(hào)：2798484