機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和數(shù)據(jù)分析工具的最新研究進(jìn)展對(duì)現(xiàn)有的計(jì)算系統(tǒng)和體系結(jié)構(gòu)提出了新的要求和挑戰(zhàn)。為解決此問(wèn)題,Spark開(kāi)源大數(shù)據(jù)計(jì)算框架應(yīng)運(yùn)而生,它擴(kuò)展了早前Map-Reduce編程框架,通過(guò)基于內(nèi)存的計(jì)算模式,解決了Map-Reduce框架容錯(cuò)性差、I/O操作負(fù)載過(guò)高等性能瓶頸,優(yōu)化了大數(shù)據(jù)計(jì)算中的批處理、交互查詢(xún)和流式計(jì)算等核心問(wèn)題,并與Hadoop及其生態(tài)圈完美兼容。當(dāng)下,Spark受限于CPU有限的運(yùn)算效率和內(nèi)存空間,其應(yīng)用需求與系統(tǒng)性能間差異日益加大,以CPU作為Spark的計(jì)算平臺(tái)已無(wú)法滿(mǎn)足高效運(yùn)算的需求。而GPU較之CPU在高性能并行計(jì)算領(lǐng)域存在先天性的優(yōu)勢(shì),通過(guò)利用GPU上的并行計(jì)算資源可大力提升Spark系統(tǒng)的任務(wù)處理效率。本文在深入理解Spark計(jì)算框架優(yōu)勢(shì)的基礎(chǔ)上,實(shí)現(xiàn)了Spark框架下GPU并行計(jì)算的系統(tǒng)性能分析和流程建模。目前,針對(duì)基于GPU的Spark計(jì)算框架性能建模工作尚處于初始階段,為了深層次地挖掘與分析基于GPU的Spark計(jì)算框架,因此本文提出了基于排隊(duì)論的Spark+GPU系統(tǒng)建模方法,量化研究了Spark計(jì)算系統(tǒng)性能與GPU資源利用之間的相互關(guān)系... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

CPU-GPU結(jié)構(gòu)示意圖

圖 1-1 CPU-GPU 結(jié)構(gòu)示意圖（2）成本低。GPU 在設(shè)計(jì)時(shí)專(zhuān)注于浮點(diǎn)計(jì)算，回避了與浮點(diǎn)計(jì)算無(wú)關(guān)的類(lèi)似分支、邏輯控制等其他復(fù)雜功能，因此在制造成本上比較低。眾核 GPU 協(xié)處理器僅需0 的成本即可達(dá)到與多核 CPU 同等的浮點(diǎn)運(yùn)算能力。（3）功耗小。大量的輕量級(jí)微處理器單元集成在 GPU 上，微處理單元僅做浮點(diǎn)計(jì)時(shí)鐘頻率較小，所以功耗極小。比如 NVIDIATesla K20c GPU 在其滿(mǎn)載運(yùn)轉(zhuǎn)時(shí)提供 2Tflops 單精度浮點(diǎn)運(yùn)算能力而功耗卻僅為 150W，休眠狀態(tài)幾乎沒(méi)有功耗。（4）普及率高。絕大多數(shù) PC 上都可以安裝 GPU 產(chǎn)品，GPU 產(chǎn)品體系非常完善，品價(jià)格從數(shù)百到上萬(wàn)元不等，任何人都能根據(jù)自己的經(jīng)濟(jì)實(shí)力購(gòu)買(mǎi)合適的 GPU。

圖 2-1 Spark 任務(wù)執(zhí)行模型.2 Spark 作業(yè)執(zhí)行機(jī)制Spark 作業(yè)執(zhí)行機(jī)制中有以下相關(guān)概念。Job：用戶(hù)提交的作業(yè)。當(dāng) RDD 及其 DAG 被提交給 DAGScheduler 調(diào)度后，Scheduler 會(huì)將所有 RDD 中的轉(zhuǎn)換及動(dòng)作視為一個(gè) Job。一個(gè) Job 由一到多個(gè) Tas。對(duì)于 job，Spark 是串行執(zhí)行的，如果想要并行執(zhí)行 Job，可以在 Spark 程序中進(jìn)線(xiàn)程編程。Stage：Job 的執(zhí)行階段。DAGScheduler 按照 ShuffleDependency 作為 Stage 的劃分對(duì) RDD 的 DAG 進(jìn)行 Stage 劃分（上游的 Stage 將為 ShuffleMapStage）。因此一個(gè)可能被劃分為一到多個(gè) Stage。Stage 分為 ShuffleMapStage 和 ResultStage 兩種。Task：運(yùn)行在 Executor 上的工作單元，用來(lái)具體執(zhí)行任務(wù)。一個(gè) Job 在每個(gè) Stag會(huì)按照RDD的Partition數(shù)量，創(chuàng)建多個(gè)Task。Task分為ShuffleMapTask和ResultTas。

【參考文獻(xiàn)】：
期刊論文
[1]云計(jì)算中基于M/Geom/C/∞排隊(duì)系統(tǒng)的任務(wù)調(diào)度模型研究[J]. 甘娜,黃裕鋒,陸曉梅.  計(jì)算機(jī)測(cè)量與控制. 2018(03)
[2]基于排隊(duì)論的云應(yīng)用性能模型研究[J]. 陳玉洪.  電子世界. 2018(03)
[3]云計(jì)算中一種基于排隊(duì)論的資源分配方案[J]. 戴慶龍,李建武.  無(wú)線(xiàn)電通信技術(shù). 2017(05)
[4]基于優(yōu)先排隊(duì)論網(wǎng)絡(luò)延遲云計(jì)算資源調(diào)度算法[J]. 崔建明,劉佳祎,楊呈永.  桂林理工大學(xué)學(xué)報(bào). 2017(02)
[5]基于GPU的Spark大數(shù)據(jù)技術(shù)在實(shí)驗(yàn)室的開(kāi)發(fā)應(yīng)用[J]. 周情濤,何軍,胡昭華.  實(shí)驗(yàn)室研究與探索. 2017(01)
[6]基于M/M/n/n排隊(duì)系統(tǒng)的動(dòng)態(tài)數(shù)據(jù)庫(kù)連接池[J]. 毛云峰,邵劍飛.  新技術(shù)新工藝. 2016(10)
[7]基于排隊(duì)理論的云計(jì)算中心性能分析模型[J]. 廖倩文,潘久輝,王開(kāi)杰.  計(jì)算機(jī)工程. 2015(09)
[8]使用確定隨機(jī)Petri網(wǎng)對(duì)Hadoop公平調(diào)度的建模和性能分析[J]. 何華,林闖,趙增華,龐善臣.  計(jì)算機(jī)應(yīng)用. 2015(05)
[9]基于M/M/n/n+r排隊(duì)模型的云計(jì)算中心服務(wù)性能分析[J]. 何懷文,傅瑜,楊毅紅,肖濤.  計(jì)算機(jī)應(yīng)用. 2014(07)

博士論文
[1]內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 卞琛.新疆大學(xué) 2017
[2]分布式數(shù)據(jù)處理系統(tǒng)中作業(yè)性能優(yōu)化關(guān)鍵技術(shù)研究[D]. 劉俊.重慶大學(xué) 2016

碩士論文
[1]Hadoop平臺(tái)性能建模與優(yōu)化技術(shù)研究[D]. 陳翔.北京工業(yè)大學(xué) 2017
[2]基于Spark的數(shù)據(jù)分析建模工具的設(shè)計(jì)與實(shí)現(xiàn)[D]. 牛倩.華北電力大學(xué)(北京) 2016
[3]云計(jì)算環(huán)境中多MapReduce作業(yè)動(dòng)態(tài)資源分配方法的研究[D]. 王昊.東北大學(xué) 2014
[4]基于大數(shù)據(jù)的Hadoop并行計(jì)算優(yōu)化處理性能分析[D]. 姚吉龍.南京郵電大學(xué) 2014
[5]M/M/n/n排隊(duì)模型在多線(xiàn)程網(wǎng)絡(luò)服務(wù)軟件系統(tǒng)中的應(yīng)用研究[D]. 劉云杰.重慶師范大學(xué) 2009



本文編號(hào)：2976691