本文關鍵詞：面向新型異構眾核系統(tǒng)的多設備協(xié)同并行計算關鍵技術研究　出處：《湖南大學》2016年博士論文　論文類型：學位論文

  更多相關文章： 異構眾核系統(tǒng) 異構并行編程 異構并行計算 多設備協(xié)同并行計算 數(shù)據(jù)級并行應用 設備間任務調度 設備間通信優(yōu)化

【摘要】：近年來,由多核CPU和眾核加速器而構成的新型異構眾核系統(tǒng)以其高性能、低能耗和低成本等優(yōu)勢在高性能計算領域得到了迅猛發(fā)展,基于異構眾核系統(tǒng)而開發(fā)的并行應用也日益增多。但由于異構眾核系統(tǒng)復雜的體系結構以及簡單易用的異構協(xié)同并行編程模型的缺乏,導致絕大部分并行應用僅能有效利用異構眾核系統(tǒng)中某一類計算設備,這造成了異構眾核系統(tǒng)中其它計算設備的浪費,難以充分發(fā)揮異構眾核系統(tǒng)的性能優(yōu)勢。因此,如何充分利用異構眾核系統(tǒng)中所有可用的計算設備來高效協(xié)同執(zhí)行并行應用已成為一個迫切需要解決的課題。異構協(xié)同并行計算旨在充分利用異構眾核系統(tǒng)中多個任意類型的計算設備來相互協(xié)作、并行地執(zhí)行指定的計算任務,以提高異構眾核系統(tǒng)的計算性能。然而異構系統(tǒng)中不同類型的計算設備具有完全不同的體系結構、指令集、計算能力、存儲能力和通信能力等,這給異構協(xié)同并行計算帶來了極大的挑戰(zhàn)。本文圍繞面向新型異構眾核系統(tǒng)的多設備協(xié)同并行計算的關鍵技術展開了較為深入的分析和研究。本文的研究工作主要集中在以下四個方面:(1)為降低異構協(xié)同并行編程難度、減輕編程負擔并高效支持基于異構眾核系統(tǒng)的數(shù)據(jù)級并行應用的多設備協(xié)同并行計算,提出了一個基于指導語句的異構協(xié)同并行編程框架(簡稱Open HCPP)。通過擴展廣為使用的Open MP給編程人員提供了一種更為簡單靈活的方式來充分利用異構眾核系統(tǒng)中所有可用的計算設備來協(xié)同執(zhí)行數(shù)據(jù)級并行應用。借助于Open HCPP提供的源到源的編譯器和運行時系統(tǒng),編程人員無須關心如何在參與協(xié)同并行計算的各設備間高效地劃分計算任務和傳輸數(shù)據(jù)。實驗結果表明采用Open HCPP能有效提高基于異構眾核系統(tǒng)的數(shù)據(jù)級并行應用的開發(fā)效率和執(zhí)行效率。(2)為能在異構眾核系統(tǒng)中利用多個計算設備合理高效地協(xié)同執(zhí)行數(shù)據(jù)級并行應用,提出了兩種高效支持異構協(xié)同并行計算的設備間動態(tài)任務調度策略,包括反饋式動態(tài)彈性任務調度策略和搶占式動態(tài)彈性任務調度策略。前者較適合于計算和數(shù)據(jù)均勻分布的且計算內核僅需執(zhí)行一次或少量重復執(zhí)行的數(shù)據(jù)級并行應用,而后者較適合于計算和數(shù)據(jù)非均勻分布的且/或計算內核需大量重復執(zhí)行的數(shù)據(jù)級并行應用。實驗結果表明,采用本文提出的設備間動態(tài)任務調度策略不僅能讓各計算設備得到充分利用、設備之間達到較好的負載均衡,而且能避免頻繁的設備初始化、kernel啟動、設備間數(shù)據(jù)傳輸和設備間同步所帶來的開銷。(3)鑒于異構眾核系統(tǒng)中設備間通信容易成為某些數(shù)據(jù)級并行應用的多設備協(xié)同并行計算的性能瓶頸,為有效隱藏、減少或避免設備間通信開銷,提出了一種增量式數(shù)據(jù)傳輸方法和一種基于軟件流水線的通信優(yōu)化方法。前者基于反饋式動態(tài)彈性任務調度,充分考慮了如何避免設備間重復冗余的數(shù)據(jù)傳輸,實現(xiàn)了能有效避免設備間重復傳輸?shù)姆答伿絼討B(tài)任務調度;后者基于反饋式動態(tài)彈性任務調度和搶占式動態(tài)彈性任務調度,充分考慮了如何盡可能地重疊加速器端計算內核執(zhí)行與主機-加速器間數(shù)據(jù)傳輸,實現(xiàn)了能有效隱藏設備間通信開銷的反饋式動態(tài)彈性任務調度和搶占式動態(tài)彈性任務調度。實驗結果表明,采用本文提出的設備間通信優(yōu)化方法能顯著改進某些存在較大設備間通信開銷的數(shù)據(jù)級并行應用的多設備協(xié)同并行計算的整體性能。(4)綜合應用所提出的異構協(xié)同并行編程框架、設備間任務調度策略和設備間通信優(yōu)化方法,實現(xiàn)了一個復雜應用 求解子集和問題的并行二表算法 的高效CPU-GPU協(xié)同并行計算。鑒于并行二表算法的生成階段的異構協(xié)同并行計算中易出現(xiàn)設備間負載不均衡且存在較大設備間通信開銷,在生成階段的CPU-GPU協(xié)同并行執(zhí)行中采用了避免設備間重復傳輸?shù)姆答伿絼討B(tài)任務調度策略。針對并行二表算法的剪塊與搜索階段存在計算和數(shù)據(jù)分布不均勻的問題,在剪塊與搜索階段的CPU-GPU協(xié)同并行執(zhí)行中采用了搶占式動態(tài)彈性任務調度策略。實驗結果表明本文提出的求解子集和問題的并行二表算法的CPU-GPU協(xié)同并行實現(xiàn)顯著優(yōu)于CPU/GPU-only并行實現(xiàn),這得益于CPU和GPU的充分利用、CPU-GPU間良好的負載均衡以及CPU-GPU間較小的通信開銷。
[Abstract]:In recent years , a new heterogeneous multi - core system composed of multi - core CPUs and many nuclear accelerators has developed rapidly in the field of high performance computing based on the advantages of high performance , low energy consumption and low cost . 紼嬩漢鍛樻彁渚涗簡涓，

本文編號：1400653