隨著深度學習的快速發(fā)展,其規(guī)模越來越大,需要的計算越來越復雜。分布式擴展技術可以有效提高大規(guī)模數(shù)據(jù)的處理能力�；谏裢獬闫脚_對深度學習框架Caffe進行分布式擴展研究,對比同步方式下參數(shù)服務器分布式擴展方法和去中心化的分布式擴展方法。實驗表明,同步方式下,去中心化的分布式擴展方法相比參數(shù)服務器分布式擴展方法在通信效率方面具有明顯的優(yōu)勢,對特定的模型通信性能提高可達98倍。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1“神威太湖之光”系統(tǒng)架構圖

“神威太湖之光”是世界上首臺峰值運算速度超過十億億次量級的超級計算機,也是中國第一臺全部采用自主技術構建的世界第一的超級計算機[6]。“神威太湖之光”計算機系統(tǒng)采用基于高密度彈性超節(jié)點和高流量復合網絡的高效能體系結構,由高速計算系統(tǒng)、輔助計算系統(tǒng)、高速計算互聯(lián)網絡、輔助計算互聯(lián)網....

圖2SW26010異構眾核處理器架構

系統(tǒng)峰值運算性能125.436PFLOPS,實測LINPACK持續(xù)運算性能為93.015PFLOPS,LINPACK系統(tǒng)效率達到74.153%,內存總容量1024TB,訪存總帶寬4473.16TB/s,互聯(lián)網絡的網絡鏈路帶寬14GB/s,I/O聚合帶寬341GB/....

圖3CNN組成圖

CNN由輸入層、輸出層和卷積層、池化層等多個隱藏層組成。輸入層一般為一個二維向量。卷積層是CNN的核心,用于從輸入層或較低級別的特征圖提取更高層次的特征。池化層的作用是簡化卷積層的輸出。輸出層完成對結果的預測,一般為一個Softmax函數(shù)。CNN組成如圖3所示。CNN需要為給定的....

圖4參數(shù)服務器方式架構示意圖

參數(shù)服務器分布式擴展方式由一個或多個參數(shù)服務器節(jié)點和多個計算節(jié)點組成。參數(shù)服務器節(jié)點(ParameterServer)存儲和更新全部的網絡參數(shù)W。計算節(jié)點進行網絡的前向特征計算和反向梯度計算。反向傳播時,每個網絡層從下到上依次計算損失函數(shù)相對權重的梯度,并將所在層的梯度傳遞給參....

本文編號：3934599