針對(duì)分布式深度學(xué)習(xí)系統(tǒng)網(wǎng)絡(luò)通信的全協(xié)議棧定制優(yōu)化問題,提出了一種分布式深度學(xué)習(xí)系統(tǒng)的網(wǎng)絡(luò)通信優(yōu)化技術(shù)的分類方法。從網(wǎng)絡(luò)協(xié)議棧層次的角度,分析了通信流量調(diào)度和網(wǎng)絡(luò)通信執(zhí)行的關(guān)鍵技術(shù);自頂向下地從算法層面和網(wǎng)絡(luò)層面分別討論了分布式深度學(xué)習(xí)通信瓶頸優(yōu)化的幾種基本技術(shù)途徑,并展望其未來(lái)發(fā)展的機(jī)遇與挑戰(zhàn)。

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

圖1 計(jì)算與通信相對(duì)均衡的分布式訓(xùn)練

除了數(shù)據(jù)并行，模型并行是另一種方法。該方法將神經(jīng)網(wǎng)絡(luò)模型分割到不同的計(jì)算節(jié)點(diǎn)上，每個(gè)計(jì)算節(jié)點(diǎn)僅負(fù)責(zé)計(jì)算模型的某一部分，只有輸入層所在的節(jié)點(diǎn)才負(fù)責(zé)讀取數(shù)據(jù)。當(dāng)模型太大而無(wú)法放到一臺(tái)機(jī)器中時(shí)，則需要使用模型并行。本文主要關(guān)注常見的數(shù)據(jù)并行技術(shù)。圖2通信開銷占比過(guò)大的分布式訓(xùn)練

圖2 通信開銷占比過(guò)大的分布式訓(xùn)練

圖1計(jì)算與通信相對(duì)均衡的分布式訓(xùn)練圖3數(shù)據(jù)并行與模型并行

圖4 通信優(yōu)化層次

梯度和模型參數(shù)中的每個(gè)元素都存儲(chǔ)在電氣和電子工程師協(xié)會(huì)標(biāo)準(zhǔn)（IEEE754）的單精度浮點(diǎn)變量中。交換大量的32位全精度變量經(jīng)常占用大量網(wǎng)絡(luò)帶寬。為了緩解這種通信瓶頸，研究人員嘗試使用低精度浮點(diǎn)數(shù)來(lái)表示訓(xùn)練過(guò)程中傳輸?shù)奶荻�。圖5傳統(tǒng)并行SGD與本地SGD的對(duì)比

圖5 傳統(tǒng)并行SGD與本地SGD的對(duì)比

圖4通信優(yōu)化層次梯度量化的一般性描述為：首先梯度在發(fā)送之前通過(guò)量化函數(shù)量化為低精度值，然后在模型訓(xùn)練期間，每個(gè)節(jié)點(diǎn)之間傳輸這些低精度值；接收節(jié)點(diǎn)通過(guò)反量化函數(shù)從量化值重構(gòu)原始梯度，再聚合這些重構(gòu)后的梯度向量并更新模型參數(shù)。根據(jù)所使用的量化函數(shù)的性質(zhì)，量化操作可以分為確定性量化和....

本文編號(hào)：4034471