近些年來,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)作為最重要的深度學(xué)習(xí)(Deep Learning,DL)模型之一,在業(yè)界受到了廣泛的關(guān)注和研究,尤其是在計算機(jī)視覺(Computer Vision,CV)等領(lǐng)域發(fā)揮著至關(guān)重要的作用。由于更深層次的網(wǎng)絡(luò)往往能夠提供更好的效果,卷積神經(jīng)網(wǎng)絡(luò)變得越來越復(fù)雜,隨著網(wǎng)絡(luò)結(jié)構(gòu)的不斷加深和訓(xùn)練數(shù)據(jù)量的顯著增長,通用處理器已經(jīng)無法很好地滿足這類應(yīng)用的計算需求。于是,計算芯片架構(gòu)開始朝著適應(yīng)這類應(yīng)用的定制化方向演進(jìn),進(jìn)而出現(xiàn)了一系列的深度學(xué)習(xí)專用芯片,其中最具有影響力的包括寒武紀(jì)的DianNao系列和谷歌的TPU。它們均是針對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了專用部件的定制和加速,甚至為卷積神經(jīng)網(wǎng)絡(luò)設(shè)計出了一套高效的專用指令集,可以說,當(dāng)今國際上的深度學(xué)習(xí)處理器即為面向卷積神經(jīng)網(wǎng)絡(luò)的加速器。在處理器的設(shè)計過程中,標(biāo)準(zhǔn)的基準(zhǔn)測試程序和測試指標(biāo)至關(guān)重要。本文提出了一套深度學(xué)習(xí)處理器基準(zhǔn)測試程序,用于對當(dāng)前的深度學(xué)習(xí)硬件進(jìn)行客觀評估,判斷處理器設(shè)計的合理性以及對比不同處理器的設(shè)計優(yōu)劣,指導(dǎo)軟硬件層面的系統(tǒng)優(yōu)化,幫助硬件研究人員設(shè)計出高效...

【文章頁數(shù)】：97 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．２同步數(shù)據(jù)并行訓(xùn)練和異步數(shù)據(jù)并行訓(xùn)練??采用隨機(jī)梯度下降法（ｓｔｏｃｈａｓｔｉｃ?ｇｒａｄｉｅｎｔ?ｄｅｓｃｅｎｔ，ＳＧＤ）［１４】訓(xùn)練時，加速ＳＧＤ過??程最簡單的方法就是在多個設(shè)備上并行實(shí)現(xiàn)梯度計算

ＴｅｎｓｏｒＦｌｏｗ的數(shù)據(jù)流圖模型能夠很好地應(yīng)用于計算密集型網(wǎng)絡(luò)在大規(guī)模數(shù)??據(jù)集上的訓(xùn)練加速過程，主要包括數(shù)據(jù)并行訓(xùn)練和模型并行訓(xùn)練，其中，數(shù)據(jù)??并行訓(xùn)練又分為同步和異步兩種方式，具體實(shí)現(xiàn)過程如圖２．２所示。當(dāng)網(wǎng)絡(luò)模型??１１??

圖３．３目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)算法??，

傳線方法?傳法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ豬誤ｓ?■網(wǎng)綰壤＆??圖３．２主流分類網(wǎng)絡(luò)在ＩｍａｇｅＮｅｔ數(shù)據(jù)集....

圖３．４基于中髙級語義的圖像分割方法??注：黑色、紫色、橙色、紅色字體分別代表基于圖論的分割方法、基于像素聚類??的分割方法、基于候選區(qū)域的語義分割方法、基于端到端的語義分割方法??

傳線方法?傳法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ豬誤ｓ?■網(wǎng)綰壤＆??圖３．２主流分類網(wǎng)絡(luò)在ＩｍａｇｅＮｅｔ數(shù)據(jù)集....

圖３．５卷積神經(jīng)網(wǎng)絡(luò)一遍前向的ＭＡＣＣｓ??連接層而言較高，全連接層對網(wǎng)絡(luò)的ＭＡＣＣｓ影響力度被隱藏

Ｈ。和Ｗ。表示卷積層的輸出特征圖尺寸，和表示卷積核尺寸，??和，分別表示輸入通道數(shù)和輸出通道數(shù)，均和叫表示輸入特征圖的尺寸。??圖３．５給出了所選網(wǎng)絡(luò)在單樣本輸入時一次前向過程的卷積層和全連接層的乘加??操作次數(shù)，即網(wǎng)絡(luò)的一次前向計算量。??Ｃｏｎｕ＿Ｍ＞４ＣＣｓ?？０（／ｆ０?....

本文編號：3911788