MPI聚合通信操作廣泛應(yīng)用于并行科學(xué)計(jì)算中,對(duì)程序的可擴(kuò)展性和性能有重要影響。天河互連網(wǎng)絡(luò)支持基于觸發(fā)的消息通信操作,通過在網(wǎng)絡(luò)接口中卸載執(zhí)行數(shù)據(jù)傳輸和計(jì)算操作,提高結(jié)點(diǎn)通信性能。利用觸發(fā)操作,實(shí)現(xiàn)結(jié)點(diǎn)之間的歸約操作通信卸載,設(shè)計(jì)了不同樹形結(jié)構(gòu)的Allreduce和Reduce通信卸載算法�；趯�(shí)際系統(tǒng)平臺(tái)的測(cè)試表明,與MPICH中基于點(diǎn)對(duì)點(diǎn)通信實(shí)現(xiàn)的歸約算法相比,基于觸發(fā)的通信卸載算法在不同規(guī)模下運(yùn)行時(shí)間最多可降低59.6%。 

【文章來源】：計(jì)算機(jī)工程與科學(xué). 2020,42(11)北大核心CSCD

【文章頁數(shù)】：7 頁

【部分圖文】：

虛擬端口實(shí)現(xiàn)用戶通信過程

為了加速聚合通信的執(zhí)行,互連網(wǎng)絡(luò)接口芯片基于現(xiàn)有的通信機(jī)制,設(shè)計(jì)實(shí)現(xiàn)了一種軟硬件結(jié)合的觸發(fā)機(jī)制,來進(jìn)行聚合通信的通信卸載處理。在網(wǎng)絡(luò)接口中加入一種特殊的硬件觸發(fā)邏輯部件,該部件在滿足觸發(fā)條件時(shí)自動(dòng)執(zhí)行數(shù)據(jù)的復(fù)制、替換、接收或發(fā)送,不需要處理器的參與。用戶設(shè)置一組通信請(qǐng)求描述符序列,在描述符序列頭部定義對(duì)通信請(qǐng)求的控制操作,比如觸發(fā)控制條件值、報(bào)文數(shù)據(jù)復(fù)制或替換的選項(xiàng)等。描述符序列被提交到虛擬端口中后,并不會(huì)立即執(zhí)行,需要等待觸發(fā)條件。在進(jìn)行聚合通信操作時(shí),當(dāng)從網(wǎng)絡(luò)接口接收到的數(shù)據(jù)報(bào)文設(shè)定了描述符序列的觸發(fā)條件時(shí),觸發(fā)邏輯部件將會(huì)自動(dòng)執(zhí)行描述符序列,并根據(jù)描述符序列的設(shè)置選項(xiàng)完成復(fù)制、替換或轉(zhuǎn)發(fā)等操作。這種觸發(fā)機(jī)制由控制報(bào)文CP(Control Packet)處理,互連端口中有控制報(bào)文的計(jì)數(shù)器(CP Counter),當(dāng)網(wǎng)絡(luò)接口接收到新的CP時(shí),CP Counter計(jì)數(shù)加一,當(dāng)達(dá)到計(jì)數(shù)閾值時(shí),就立即觸發(fā)描述符序列的執(zhí)行,結(jié)點(diǎn)的觸發(fā)原理如圖2所示。該機(jī)制有多種優(yōu)勢(shì):邏輯設(shè)計(jì)簡(jiǎn)單;可以構(gòu)造多種樹形拓?fù)浣Y(jié)構(gòu)的通信卸載算法,算法構(gòu)造的拓?fù)渑c物理拓?fù)洳灰欢ㄍ耆珜?duì)應(yīng),靈活性好;處理器不參與數(shù)據(jù)傳輸,受到系統(tǒng)噪聲影響較小;數(shù)據(jù)傳輸由硬件自動(dòng)完成,在結(jié)點(diǎn)規(guī)模增加時(shí)延遲增幅較小,可擴(kuò)展性好;消息在網(wǎng)絡(luò)接口中自行復(fù)制,減少跨PCIe的數(shù)據(jù)傳輸。為了支持歸約操作,網(wǎng)絡(luò)接口還加入了計(jì)算邏輯單元ALU,硬件支持最多同時(shí)對(duì)7個(gè)歸約數(shù)據(jù)進(jìn)行歸約計(jì)算,可供支持的歸約操作有浮點(diǎn)/整型求和、最大值、最小值,邏輯/位與、或、異或操作,通過計(jì)算卸載操作來進(jìn)一步提高歸約操作的通信性能。

圖3 16結(jié)點(diǎn)的2-nomial樹和4-nomial樹以上構(gòu)造樹中的結(jié)點(diǎn)分為根結(jié)點(diǎn)(Root Node)、葉結(jié)點(diǎn)(Leaf Node)和中間結(jié)點(diǎn)(Inner Node) 3類,根結(jié)點(diǎn)最上層的1個(gè)結(jié)點(diǎn);葉結(jié)點(diǎn)每條分支中最下層的結(jié)點(diǎn);其余結(jié)點(diǎn)是中間結(jié)點(diǎn)。樹中的邊表示為父子關(guān)系,隸屬于同一父結(jié)點(diǎn)的同一層子結(jié)點(diǎn)互為兄弟關(guān)系。結(jié)點(diǎn)間的通信只在父子結(jié)點(diǎn)之間進(jìn)行,但每個(gè)結(jié)點(diǎn)上的通信操作則根據(jù)結(jié)點(diǎn)類型和子結(jié)點(diǎn)個(gè)數(shù),而有所不同。

【參考文獻(xiàn)】：
期刊論文
[1]The TianHe-1A Supercomputer: Its Hardware and Software[J]. 楊學(xué)軍,廖湘科,盧凱,胡慶豐,宋君強(qiáng),蘇金樹.  Journal of Computer Science & Technology. 2011(03)

博士論文
[1]面向多核的系統(tǒng)級(jí)MPI通信優(yōu)化關(guān)鍵技術(shù)研究[D]. 劉志強(qiáng).國防科學(xué)技術(shù)大學(xué) 2011



本文編號(hào)：3419907