發(fā)布時間：2017-06-26 22:08

  本文關鍵詞：基于YARN的GPU集群系統(tǒng)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在CPU單核性能逐漸遇到技術瓶頸的今天，GPU作為一種高度并行化的流式處理器，在許多應用上的計算能力已經(jīng)大幅超越CPU。加上其可編程技術的成熟，基于GPU的通用計算已經(jīng)成為一個熱門且重要的研究領域。與CPU相類似地，單個GPU的性能還難以完全滿足計算密集型應用的強大計算力需求，GPU集群化成了必然的趨勢。然而，為每一個應用均開發(fā)專門的GPU集群系統(tǒng)的代價過大，基于此，本文結合第二代Hadoop分布式系統(tǒng)對基于YARN的GPU集群技術進行了分析與研究。 首先，本文通過研究YARN系統(tǒng)的組成結構，分析了其多維資源管理的可行性，并為其進行GPU資源調度提出了相應的解決方案。同時，針對YARN資源調度過程和調度算法實現(xiàn)上的不足，本文結合GPU的相關特性，對相應模塊進行了修改與優(yōu)化，使YARN系統(tǒng)真正具備了高效地調度CPU、內存和GPU三種資源的能力。 接著，為了使CUDA程序能夠在YARN框架中并行地運行，本文從YARN框架的用戶接口出發(fā)，設計了具有一定針對性的CUDA應用程序控制器，用于簡化CUDA程序遷移至YARN的過程，以達到降低其并行化成本的目的。同時，針對GPU的硬件特性，本文對CUDA應用程序控制器的任務分配策略進行了深入的研究，以提高集群資源利用率，并為開發(fā)人員對程序進行優(yōu)化提供科學性依據(jù)。 最后，本文通過設計多組實驗對系統(tǒng)進行了全方位的測試，并對結果進行了詳細的分析。大量的實驗數(shù)據(jù)表明，本文的設計能夠在復雜的異構環(huán)境下快速地構建高效穩(wěn)定的和優(yōu)良可擴展的多維資源彈性計算平臺。
【關鍵詞】：GPU集群 YARN CUDA 并行計算
【學位授予單位】：中山大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP332
【目錄】：

• 摘要3-4
• Abstract4-7
• 第1章 引言7-10
• 1.1 課題背景簡介7
• 1.2 領域研究現(xiàn)狀與本文相關工作7-9
• 1.3 段落結構9-10
• 第2章 背景10-18
• 2.1 HADOOP 框架及 YARN 簡介10-12
• 2.2 CUDA 并行架構及其編程模型簡介12-14
• 2.3 CUDA 并行化實踐14-17
• 2.4 本章小結17-18
• 第3章 基于 YARN 的 GPU 資源調度18-29
• 3.1 YARN 基本架構18-20
• 3.2 資源表示模型20-21
• 3.3 資源調度模型21-26
• 3.4 資源調度算法26-28
• 3.5 本章小結28-29
• 第4章 YARN 框架下的 CUDA 應用程序控制器29-38
• 4.1 CLIENT 和 APPLICATIONMASTER 概述29-31
• 4.2 CUDAAPPLICATIONMASTER 設計31-33
• 4.3 動態(tài)任務分配策略33-34
• 4.4 最優(yōu)分割34-37
• 4.5 本章小結37-38
• 第5章 基于 YARN 的 GPU 集群系統(tǒng)38-42
• 5.1 GPU 計算設備的動態(tài)綁定38-40
• 5.2 系統(tǒng)總體運行過程40-42
• 第6章 實驗結果與分析42-51
• 6.1 系統(tǒng)部署環(huán)境和 CUDA 程序樣例42-44
• 6.2 擴展性實驗44-48
• 6.3 DRF 有效性實驗48-49
• 6.4 穩(wěn)定性和容錯性實驗49-50
• 6.5 本章小結50-51
• 第7章 總結與展望51-53
• 7.1 文章總結51-52
• 7.2 工作展望52-53
• 參考文獻53-56
• 致謝56-57
• 成果清單57

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉曉平;王啟駿;陳皓;張乃釗;;基于距離的點光源軟陰影GPU生成方法[J];合肥工業(yè)大學學報(自然科學版);2011年12期

2 郭云;康濤;徐涵;;基于優(yōu)化存儲的嵌入式GPU的字符顯示[J];計算機系統(tǒng)應用;2012年10期

3 本刊編輯部;;加州大學圣地亞哥分校使用GPU超級計算機實現(xiàn)千萬億次級地震模擬[J];科研信息化技術與應用;2013年02期

4 許建;林泳;秦勇;黃翰;;基于GPU的并行協(xié)同過濾算法[J];計算機應用研究;2013年09期

5 技術宅;;GPU通用計算解密[J];電腦愛好者;2014年02期

6 陸筱霞;段光明;李思昆;;基于GPU的遙感紋理壓縮解壓算法[J];系統(tǒng)仿真學報;2009年S1期

7 詹總謙;盧亮;;基于GPU并行處理技術的影像畸變差修正[J];測繪信息與工程;2011年02期

8 張浩;李利軍;林嵐;;GPU的通用計算應用研究[J];計算機與數(shù)字工程;2005年12期

9 謝洪濤;高科;張勇東;李錦濤;劉毅志;;基于GPU的快速圖像拷貝檢測[J];計算機輔助設計與圖形學學報;2010年09期

10 丁鵬;賈月樂;張靜;張巖;;GPU結構與通用計算探析[J];技術與市場;2009年09期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 夏青;岳利群;;基于GPU編程的海浪仿真技術研究[A];2007系統(tǒng)仿真技術及其應用學術會議論文集[C];2007年

2 劉小虎;胡耀國;符偉;;大規(guī)模有限元系統(tǒng)的GPU加速計算研究[A];中國計算力學大會'2010（CCCM2010）暨第八屆南方計算力學學術會議（SCCM8）論文集[C];2010年

3 張迪;黃偉;羅琦;王侃;;波形板干燥器內液滴數(shù)值模擬的GPU并行加速[A];第十六屆全國流體力學數(shù)值方法研討會2013論文集[C];2013年

4 李慧;付志一;;基于GPU計算的有限元總剛組成方法探索[A];北京力學會第17屆學術年會論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前7條

1 本報記者 劉燕;GPU加速是手機瀏覽器方向[N];科技日報;2012年

2 ;GPU，智能手機好推手[N];電腦報;2013年

3 諸玲珍;NVIDIA推0.13微米GPU[N];中國電子報;2002年

4 網(wǎng)絡世界記者 周源;曙光三款GPU服務器問世[N];網(wǎng)絡世界;2013年

5 ;GPU市場Q2創(chuàng)八年最大增幅[N];計算機世界;2009年

6 小溪 編譯;NVIDIA唱響GPU統(tǒng)一架構時代序曲[N];計算機世界;2006年

7 沈陽 劉鏑;GPU：給顯卡一顆驛動的“芯”[N];電腦報;2001年

中國博士學位論文全文數(shù)據(jù)庫 前4條

1 陳鋼;眾核GPU體系結構相關技術研究[D];復旦大學;2011年

2 劉華海;節(jié)點內多CPU多GPU協(xié)同并行繪制關鍵技術研究[D];國防科學技術大學;2012年

3 白洪濤;基于GPU的高性能并行算法研究[D];吉林大學;2010年

4 林一松;面向GPU的低功耗軟件優(yōu)化關鍵技術研究[D];國防科學技術大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 韋婷;基于GPU的自然場景渲染優(yōu)化技術研究[D];廣西大學;2013年

2 梅世冬;實時陰影繪制方法研究及GPU加速[D];華中師范大學;2010年

3 李軍;基于GPU的大規(guī)模場景實時陰影繪制[D];湖南大學;2011年

4 晏福興;基于GPU的軟陰影技術的研究[D];杭州電子科技大學;2009年

5 明星;基于GPU的醫(yī)學圖像三維重建算法及其應用[D];華中科技大學;2009年

6 馬鳴飛;基于GPU加速的三維超聲成像系統(tǒng)[D];哈爾濱工業(yè)大學;2011年

7 蘇金洲;基于粒子濾波的檢測前跟蹤算法研究及在GPU平臺上的實現(xiàn)[D];電子科技大學;2013年

8 范希賢;基于GPU的并行排序學習算法研究[D];哈爾濱工業(yè)大學;2012年

9 彭紹鑫;基于GPU的硬件加速方法及其在積分方程數(shù)值解中的應用[D];電子科技大學;2008年

10 劉偉;基于圖譜配準的肝臟CT三維自動分割研究及GPU加速平臺實現(xiàn)[D];南京郵電大學;2011年

  本文關鍵詞：基于YARN的GPU集群系統(tǒng)研究，，由筆耕文化傳播整理發(fā)布。

本文編號：487729