隨著大數(shù)據(jù)與人工智能的發(fā)展,深度學(xué)習(xí)模型面對(duì)的問(wèn)題越來(lái)越復(fù)雜,模型參數(shù)越來(lái)越多,處理的數(shù)據(jù)集規(guī)模也越來(lái)越大。為了突破單機(jī)計(jì)算資源的限制,構(gòu)建一個(gè)高效易用的分布式深度學(xué)習(xí)平臺(tái)已經(jīng)成為學(xué)術(shù)界和工業(yè)界廣泛關(guān)注的問(wèn)題。已有的大部分分布式深度學(xué)習(xí)平臺(tái)僅支持靜態(tài)計(jì)算圖,且都是基于參數(shù)服務(wù)器單一框架的。相較于靜態(tài)計(jì)算圖,動(dòng)態(tài)計(jì)算圖可以在運(yùn)行過(guò)程中修改或定義圖中節(jié)點(diǎn)從而能夠處理更復(fù)雜的網(wǎng)絡(luò)模型。單一的分布式深度學(xué)習(xí)框架無(wú)法高效地處理不同的現(xiàn)實(shí)應(yīng)用場(chǎng)景,比如網(wǎng)絡(luò)模型的大小不同、分布式節(jié)點(diǎn)的多少不同和各節(jié)點(diǎn)計(jì)算資源均勻與否等多種場(chǎng)景。目前國(guó)際上仍沒(méi)有一個(gè)支持多種分布式框架、支持動(dòng)態(tài)計(jì)算圖的分布式深度學(xué)習(xí)平臺(tái)。為了填補(bǔ)這一國(guó)際空白,本文基于PyTorch設(shè)計(jì)并研發(fā)了一個(gè)分布式深度學(xué)習(xí)平臺(tái)DisPyTorch。為了能夠處理各種復(fù)雜應(yīng)用場(chǎng)景,本文在DisPyTorch平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了三種分布式深度學(xué)習(xí)框架:MR-DisPyTorch、RA-DisPyTorch和PS-DisPyTorch。用戶(hù)可以根據(jù)實(shí)際的應(yīng)用場(chǎng)景選擇合適的框架。本文的貢獻(xiàn)如下:一、設(shè)計(jì)并實(shí)現(xiàn)了一種基于MapReduce編程模型的分布式深度學(xué)...

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．２：?jiǎn)坞[層前饋網(wǎng)絡(luò)??

?第一章緒論???輸出??１?Ｉ?１??輸出層?ｐ．．．廠）…ｒ）??／?＼??隱層?〇?－?〇■？■〇？？？〇??、Ｘ?＇、、ｙ?，??ｐＫ??輸入層?（）＿＿？（）？■？（）??Ｖ?Ｙ?Ｙ??輸入??圖１．２：?jiǎn)坞[層前饋網(wǎng)絡(luò)??表Ｕ：常見(jiàn)ＣＮＮ的參數(shù)大小??模型?｜層數(shù)｜??....

圖１．３：?ＢＰ算法中的變量??

?第一章緒論???入爲(wèi)知。那么，對(duì)于訓(xùn)練數(shù)據(jù)（Ｘｆｃ，ｙｆｃ），令ｈ為神經(jīng)網(wǎng)絡(luò)的輸出，則??神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)（Ｘｆｃ，ｙｆｃ）上的誤差表示為￡＾?＝?Ｌｊｙｆｃ，；＾）。令對(duì)為輸出層第ｊ個(gè)??神經(jīng)元的輸出，我們根據(jù)這個(gè)訓(xùn)練數(shù)據(jù)，可以利用ＢＰ算法，求得￡；ｆｃ關(guān)于??和ｕ＾｝的梯度，....

圖１．４：數(shù)據(jù)并行??

?第一章緒論???！模型ｍ?ｉ?！模型ｍ?；?！模型ｍ?ｉ??ｉ曜?ｉ囑?：ｗ；??？］．．．??！?＾Ｂ；?！?＾Ｓ；?！?＾９；??節(jié)點(diǎn)１?節(jié)點(diǎn)２?節(jié)點(diǎn)ｐ??圖１．４：數(shù)據(jù)并行??每個(gè)節(jié)點(diǎn)分別負(fù)責(zé)不同數(shù)據(jù)上的計(jì)算量，將多個(gè)節(jié)點(diǎn)上求得的梯度通過(guò)網(wǎng)??絡(luò)通信來(lái)進(jìn)行模型參數(shù)的更新。....

圖１．５：模型并行??

?第一章緒論???丨節(jié)點(diǎn)ｐ??Ｌ＝ｔ＝ｌ???Ｉ?■??■?■?■?Ｉ?■??■?■??：ｒ－４—＼???■■?ｉ節(jié)點(diǎn)２??■■丨節(jié)點(diǎn)ｌ??！?；??圖１．５：模型并行??通過(guò)模型并行構(gòu)成多機(jī)流水線，就可以訓(xùn)練非常大的神經(jīng)網(wǎng)絡(luò)，克服了單??機(jī)無(wú)法保存大模型的困難［４］。一方面，在....

本文編號(hào)：3959104