本文關(guān)鍵詞：基于Xen的虛擬機(jī)間MPI通信機(jī)制的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 虛擬化 虛擬機(jī)間通信 高性能計(jì)算 Xen MPI

【摘要】：虛擬化技術(shù)能夠有效降低系統(tǒng)和應(yīng)用軟件的維護(hù)和管理成本，增強(qiáng)系統(tǒng)可靠性以及優(yōu)化資源配置，，基于虛擬化環(huán)境構(gòu)建的大規(guī)模集群日趨流行。然而虛擬化技術(shù)尚未在性能關(guān)鍵的應(yīng)用系統(tǒng)中得到廣泛應(yīng)用，特別是高性能計(jì)算領(lǐng)域。MPI是當(dāng)今高性能計(jì)算環(huán)境中最主流的并行計(jì)算模型。在并行計(jì)算中，MPI進(jìn)程需要頻繁地通信，而I/O虛擬化所產(chǎn)生的額外開(kāi)銷(xiāo)，會(huì)顯著地降低虛擬機(jī)間MPI進(jìn)程的通信性能。 大量已有工作對(duì)改善虛擬機(jī)間通信性能或MPI結(jié)點(diǎn)內(nèi)通信性能進(jìn)行了研究，然而同時(shí)結(jié)合兩者的研究工作并不多。一個(gè)通用的虛擬機(jī)間通信框架往往沒(méi)有針對(duì)MPI應(yīng)用做特殊優(yōu)化，而結(jié)點(diǎn)內(nèi)MPI通信框架則無(wú)法在虛擬化環(huán)境中使用。本文在同時(shí)考慮了虛擬化環(huán)境的特點(diǎn)以及MPI應(yīng)用的通信特征的基礎(chǔ)上，通過(guò)改進(jìn)虛擬機(jī)間通信模型，對(duì)同一臺(tái)物理機(jī)上的不同虛擬機(jī)內(nèi)的MPI進(jìn)程間的通信性能進(jìn)行了優(yōu)化。 改進(jìn)后的模型將通信任務(wù)代理給一個(gè)隔離的后端通信模塊，通信虛擬機(jī)內(nèi)部的開(kāi)銷(xiāo)大幅降低，而進(jìn)程的通信與計(jì)算重疊能力也得到提升。同時(shí)，該模型更有利于MPI長(zhǎng)消息傳輸與集合通信的優(yōu)化，能夠有效減少拷貝次數(shù)，并均衡系統(tǒng)中虛擬機(jī)的通信負(fù)載。此外，該模型保留了原生環(huán)境下利用硬件加速技術(shù)的能力，存在進(jìn)一步優(yōu)化通信性能的潛力。 在改進(jìn)模型的基礎(chǔ)上，我們進(jìn)一步給出了基于Xen的虛擬機(jī)間MPI通信框架XNEM的設(shè)計(jì)和實(shí)現(xiàn)。XNEM前后端驅(qū)動(dòng)以?xún)?nèi)核模塊的形式運(yùn)行在隔離的虛擬機(jī)中，不需要對(duì)操作系統(tǒng)或虛擬機(jī)監(jiān)視器做任何修改�？蚣芴峁┝撕�(jiǎn)單而靈活的編程接口，能夠方便快速地將框架移植到已有的MPI庫(kù)中。同時(shí)，我們?yōu)镸PICH庫(kù)編寫(xiě)了XNEM LMT模塊，將XNEM通信框架與MPICH庫(kù)整合。使用MPICH庫(kù)的MPI進(jìn)程可以在虛擬環(huán)境下將XNEM LMT模塊作為高性能的虛擬機(jī)間通信通道。 我們選取了多個(gè)微基準(zhǔn)程序和HPC基準(zhǔn)程序?qū)NEM框架進(jìn)行實(shí)驗(yàn)驗(yàn)證。NetPIPE測(cè)試結(jié)果顯示，對(duì)于MPI長(zhǎng)消息傳輸，XNEM的通信吞吐率和延遲顯著優(yōu)于Xen虛擬網(wǎng)絡(luò)以及基于共享緩沖的通信模型。IMB基準(zhǔn)測(cè)試結(jié)果顯示12個(gè)被測(cè)MPI集合操作在XNEM框架下的延遲均好于Xen虛擬網(wǎng)絡(luò)，其中的10個(gè)表現(xiàn)出更好的通信與計(jì)算重疊率。我們還對(duì)通信時(shí)的CPU利用率進(jìn)行了測(cè)量，并分析可能的系統(tǒng)瓶頸。另外，我們調(diào)整I/O環(huán)大小并重復(fù)吞吐率和延遲測(cè)試，對(duì)XNEM框架的性能進(jìn)行了調(diào)優(yōu)。最后，我們運(yùn)行了NPB測(cè)試套件中的FT基準(zhǔn)程序，驗(yàn)證了XNEM框架在實(shí)際應(yīng)用中的可用性以及對(duì)通信性能的提升。
【關(guān)鍵詞】：虛擬化 虛擬機(jī)間通信 高性能計(jì)算 Xen MPI
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP302
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 目錄9-12
• 插圖索引12-14
• 表格索引14-15
• 第一章 緒論15-19
• 1.1 研究背景與意義15-17
• 1.2 研究目標(biāo)17
• 1.3 研究?jī)?nèi)容17-18
• 1.4 論文組織結(jié)構(gòu)18-19
• 第二章 Xen 虛擬機(jī)間通信機(jī)制概述19-31
• 2.1 Xen 虛擬化技術(shù)19-24
• 2.1.1 體系結(jié)構(gòu)19-21
• 2.1.2 關(guān)鍵技術(shù)21-24
• 2.2 Xen 網(wǎng)絡(luò)通信性能分析24-25
• 2.3 相關(guān)工作25-30
• 2.3.1 XenLoop26-27
• 2.3.2 MMNet27-28
• 2.3.3 XenSocket28-29
• 2.3.4 IVC29-30
• 2.4 本章小結(jié)30-31
• 第三章 虛擬機(jī)間 MPI 通信框架的設(shè)計(jì)31-43
• 3.1 設(shè)計(jì)目標(biāo)31
• 3.2 XNEM 通信框架設(shè)計(jì)31-34
• 3.2.1 框架概覽31-33
• 3.2.2 通信流程33-34
• 3.3 XNEM 通信模型分析34-42
• 3.3.1 數(shù)據(jù)拷貝35-37
• 3.3.2 通信特征37-38
• 3.3.3 MPI 集合通信38-40
• 3.3.4 I/O 硬件加速40-42
• 3.4 本章小結(jié)42-43
• 第四章 虛擬機(jī)間 MPI 通信框架的實(shí)現(xiàn)43-61
• 4.1 XNEM 框架的實(shí)現(xiàn)43-52
• 4.1.1 模塊初始化43-44
• 4.1.2 共享數(shù)據(jù)結(jié)構(gòu)44-46
• 4.1.3 XNEM 前端驅(qū)動(dòng)的實(shí)現(xiàn)46-49
• 4.1.4 XNEM 后端驅(qū)動(dòng)的實(shí)現(xiàn)49-52
• 4.2 XNEM 與 MPICH 整合52-60
• 4.2.1 MPICH 架構(gòu)52-54
• 4.2.2 XNEM LMT 模塊的實(shí)現(xiàn)54-57
• 4.2.3 控制信息傳遞57-60
• 4.2.4 模塊選擇的虛擬化感知60
• 4.3 本章小結(jié)60-61
• 第五章 實(shí)驗(yàn)驗(yàn)證61-77
• 5.1 實(shí)驗(yàn)環(huán)境61-65
• 5.1.1 系統(tǒng)環(huán)境61
• 5.1.2 基準(zhǔn)程序61-65
• 5.2 實(shí)驗(yàn)結(jié)果與分析65-75
• 5.2.1 吞吐率與延遲65-68
• 5.2.2 過(guò)載條件下的吞吐率和延遲68-70
• 5.2.3 Dom0 的 CPU 利用率70-71
• 5.2.4 I/O 環(huán)對(duì)通信性能的影響71-72
• 5.2.5 MPI 集合通信72-73
• 5.2.6 HPC 應(yīng)用程序73-75
• 5.3 本章小結(jié)75-77
• 第六章 總結(jié)與展望77-79
• 附錄A 部分源代碼79-81
• 參考文獻(xiàn)81-85
• 致謝85-87
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄87

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 程耀東;陳剛;;科研大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)與實(shí)踐[J];工程研究-跨學(xué)科視野中的工程;2014年03期

2 湯恩義;BARR Earlz;蘇振東;李宣東;;程序數(shù)值誤差的擾動(dòng)檢測(cè)與優(yōu)化[J];中國(guó)科學(xué):信息科學(xué);2014年11期

3 崔奇;谷建華;;MPI集合通信剖析技術(shù)的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年10期

4 Ping Lu;Zhenjiang Dong;Shengmei Luo;Lixia Liu;Shanshan Guan;Shengyu Liu;Qingcai Chen;;A Parallel Platform for Web Text Mining[J];ZTE Communications;2013年03期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 羅耀華;高性能計(jì)算在高光譜遙感數(shù)據(jù)處理中的應(yīng)用研究[D];成都理工大學(xué);2013年

2 徐新海;硬件故障在程序中的傳播行為分析及容錯(cuò)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

3 李承功;流場(chǎng)的格子Boltzmann模擬及其GPU-CUDA并行計(jì)算[D];大連理工大學(xué);2013年

4 林宇斐;大規(guī)模并行計(jì)算通信可擴(kuò)展性—分析、優(yōu)化與模擬[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

5 王希忠;基于MPI的分段線(xiàn)性混沌映射加密算法的研究[D];哈爾濱理工大學(xué);2014年

6 胡子翔;塑料注射成形模擬中方程組的高效求解方法[D];華中科技大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙金鵬;基于MPI的矩陣乘法效率研究[D];成都理工大學(xué);2013年

2 杜慶良;蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的并行模擬退火算法研究[D];福建農(nóng)林大學(xué);2013年

3 劉燕;高性能計(jì)算集群的建立及CdGa_2S_4性質(zhì)的計(jì)算[D];山西大學(xué);2013年

4 劉雪巍;艦船圖像處理并行任務(wù)調(diào)度算法研究[D];哈爾濱工程大學(xué);2013年

5 劉源;基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2013年

6 翟頡;基于JPEG2000的高光譜數(shù)據(jù)并行解壓縮系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（西安光學(xué)精密機(jī)械研究所）;2013年

7 潘晨旭;多向藥理學(xué)計(jì)算中藥物靶標(biāo)預(yù)測(cè)計(jì)算精度的改進(jìn)及三維分子相似性的分布式計(jì)算研究[D];華東理工大學(xué);2014年

8 李昂;基于MPI和OpenMP的2.5維CSAMT正反演混和并行算法的研究[D];吉林大學(xué);2014年

9 龔興全;基于OpenCL的圖形處理器FDTD算法仿真研究[D];山東大學(xué);2014年

10 張新;基于SMP的離散事件執(zhí)行驅(qū)動(dòng)性能模擬器設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

本文編號(hào)：730656