隨著智能化的發(fā)展,低成本、低功耗的硬件平臺設備已經(jīng)逐步成為人們智能化生活的重要需求之一。卷積神經(jīng)網(wǎng)絡(Convolution Neural Network,CNN)是一種很常見的神經(jīng)網(wǎng)絡結構,它的主要優(yōu)勢體現(xiàn)在圖像的特征抽取方面。在FPGA上實現(xiàn)CNN具有高性能,可重配置,開發(fā)周期短等優(yōu)勢。然而,由于CNN模型中存在大量的浮點型參數(shù)以及較多的乘法運算,使得在FPGA上實現(xiàn)CNN不僅對FPGA提出了較高的存儲要求,而且在推算的過程中需要大量的能耗。針對CNN本身在硬件實現(xiàn)的過程中存在的局限性,本文選擇了裁剪的方法對CNN進行壓縮,從而減小CNN中的參數(shù)量。為了避免常用的權重裁剪法會在FPGA上引入稀疏矩陣的問題,使用了卷積核裁剪法。對于固定數(shù)量的PE,卷積核裁剪法能夠有效的減少需要進行并行計算的次數(shù)。在本文中提出了一種更為精確的衡量卷積核重要性的方式,使用對L_1范數(shù)和標準差進行加權求和的方式來計算每個卷積核的重要性,并對重要性較低的卷積核進行裁剪。本課題分別對VGG16以及ResNet18/34進行了實驗,在幾乎沒有精度損失的前提條件下,在卷積層的裁剪率分別能夠達到60%和40%。受到神經(jīng)網(wǎng)絡“不可解釋性”的影響,神經(jīng)網(wǎng)絡的裁剪方法,多為基于“數(shù)學假設”的基礎之上對神經(jīng)網(wǎng)絡中的權重或卷積核重要性進行計算。本文提出了通過最大化激活圖對CNN進行可視化的方法對CNN進行裁剪,通過最大化激活圖觀察到了卷積核在訓練任務中提取到的特征。在本文中使用圖像熵的方法描述最大化激活圖包含的信息量,并作為衡量卷積核重要性的標準。在進行實驗的過程中,我們使用分層裁剪的方法對在CIFAR10上進行訓練的VGG16網(wǎng)絡進行了裁剪實驗,并對實驗結果進行了分析和討論。為了驗證算法的有效性,在本課題中使用HLS實現(xiàn)了一個VGG網(wǎng)絡的變形,并查看了裁剪之前和裁剪之后網(wǎng)絡所占用的資源,經(jīng)過裁剪之后的網(wǎng)絡能夠將BRAM的占用率從203%降低為76%。通過Vivado進行功耗估算得出,經(jīng)過裁剪之后的網(wǎng)絡功耗節(jié)省了十倍。另外,裁剪之前的網(wǎng)絡和裁剪之后的網(wǎng)絡的精度差異不大,裁剪前的網(wǎng)絡精度為83.04%,裁剪之后的網(wǎng)絡精度為82.37%。
【學位單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP391.41;TN791;TP183
【部分圖文】：

圖 3-1 CNN 卷積核裁剪示意圖本章中采用了自適應多層裁剪法，該方法的主要流程是：對整個網(wǎng)絡設置一個裁剪率，將網(wǎng)絡中所有卷積核的重要性（本章中使用的重要性評價標準是對卷積核的 L1范數(shù)和標準差進行加權求和）放在一起比較，裁剪掉重要性較低的卷積核，然后對裁剪之后的網(wǎng)絡進行微調，補償在裁剪過程中損失的精度。對于 ResNet 而言，由于其結構較為復雜，殘差塊中的第一層可以使用前述方法直接進行裁剪，而殘差塊中的第二層的輸出特征圖由于需要與 shortcut上的輸出特征圖進行對應通道相加，因此不能隨意的進行裁剪。如圖 3-2 所示：ShortcutShortcut

圖 3-5 使用三種不同的衡量標準對 VGG16 進行裁剪的效果比較們主要對使用 L1范數(shù)與標準差進行加權求和的方式與 Li Hao 結果進行了比較，對于 VGG16 而言，當裁剪率大于 15%時，的方式作為衡量卷積核重要性的標準對網(wǎng)絡進行裁剪，相比相用 L1范數(shù)做裁剪的網(wǎng)絡，精度大約上升了 10%左右。

圖 3-5 使用三種不同的衡量標準對 VGG16 進行裁剪的效果比較們主要對使用 L1范數(shù)與標準差進行加權求和的方式與 Li Hao 結果進行了比較，對于 VGG16 而言，當裁剪率大于 15%時，的方式作為衡量卷積核重要性的標準對網(wǎng)絡進行裁剪，相比相用 L1范數(shù)做裁剪的網(wǎng)絡，精度大約上升了 10%左右。

【相似文獻】

相關期刊論文 前10條

1 孔凡年;卷積核譜零點的剔除[J];電子科學學刊;1987年02期

2 姚若河;;時域卷積反演的一個新算法[J];桂林電子工業(yè)學院學報;1988年02期

3 沈辰;敬忠良;潘漢;;基于卷積核優(yōu)化的運動圖像盲去模糊算法[J];信息與控制;2014年01期

4 汪濟洲;魯昌華;查長軍;;基于卷積核補償ECG檢測分類算法[J];自動化與儀器儀表;2009年04期

5 李妍;金士琪;多國帥;涂春蓉;戴旭;;迭代重建算法聯(lián)合不同卷積核應用于冠脈雙低掃描支架顯示的比較研究[J];中國臨床醫(yī)學影像雜志;2019年02期

6 梅習龍;吳雄;蔣博;鄧凱;顏敏;胡躍群;;第3代雙源CT卷積核的選擇對肺磨玻璃結節(jié)圖像質量的影響[J];中南大學學報(醫(yī)學版);2019年09期

7 勞保強;王俊義;王錦清;符杰林;仇洪冰;;基于卷積核網(wǎng)格化二維近程微波全息[J];微波學報;2014年05期

8 孫鳳琪,多曉蜜;一類含卷積核的對偶型奇異積分方程的非正則型解法[J];松遼學刊(自然科學版);2001年04期

9 朱繼洪;裴繼紅;趙陽;;卷積神經(jīng)網(wǎng)絡(CNN)訓練中卷積核初始化方法研究[J];信號處理;2019年04期

10 張軍陽;郭陽;扈嘯;;二維矩陣卷積的并行計算方法[J];浙江大學學報(工學版);2018年03期

相關會議論文 前3條

1 李春鵬;郭杰;康學凈;;基于DeepLab的二階段人像分割方法[A];第十三屆全國信號和智能信息處理與應用學術會議論文集[C];2019年

2 李盈達;魯建壯;陳小文;;基于滾球模型的卷積神經(jīng)網(wǎng)絡數(shù)據(jù)復用方法及硬件實現(xiàn)[A];第二十二屆計算機工程與工藝年會暨第八屆微處理器技術論壇論文集[C];2018年

3 郝曉辰;楊躍;楊黎明;郭f萬

本文編號：2823865