近些年來,卷積神經(jīng)網(wǎng)絡在圖像識別、目標定位等計算機視覺任務中得到了廣泛的應用。卷積神經(jīng)網(wǎng)絡壓縮技術能夠有效地降低神經(jīng)網(wǎng)絡的計算量和參數(shù)量,使計算設備能夠更加流暢地運行卷積神經(jīng)網(wǎng)絡模型,減少設備能量消耗,提升用戶體驗。本文對卷積神經(jīng)網(wǎng)絡壓縮算法的研究分為以下兩個方面。在卷積神經(jīng)網(wǎng)絡神經(jīng)節(jié)點裁剪方面,結合卷積層和批標準化層對神經(jīng)節(jié)點輸出特征圖的影響,提出一種神經(jīng)節(jié)點重要程度評估算法,以此對卷積層中神經(jīng)節(jié)點的重要程度進行評分,裁剪掉重要程度得分最低的一部分神經(jīng)節(jié)點,從而實現(xiàn)卷積神經(jīng)網(wǎng)絡的壓縮;根據(jù)卷積層中神經(jīng)節(jié)點重要程度得分的分布,提出了一種計算各個卷積層神經(jīng)節(jié)點裁剪率的算法,如果各個神經(jīng)節(jié)點的重要程度得分近似,則裁剪率較小。本文算法對ILSVRC2012數(shù)據(jù)集上訓練的VGG16網(wǎng)絡模型的裁剪實驗結果為:裁剪掉63.9%的卷積層神經(jīng)節(jié)點,浮點計算次數(shù)降低66.5%,Top-5準確率降低0.56%。在卷積神經(jīng)網(wǎng)絡模型存儲空間壓縮方面,提出一種基于字典學習的卷積神經(jīng)網(wǎng)絡存儲空間壓縮算法,通過字典中少量詞條的線性組合來近似表示神經(jīng)節(jié)點中各個通道的權值參數(shù),并對詞條線性組合的系數(shù)進行量化壓縮。存儲卷... 

【文章來源】：海南大學海南省 211工程院校

【文章頁數(shù)】：48 頁

【學位級別】：碩士

【部分圖文】：

池化層計算方式

卷積神經(jīng)網(wǎng)絡的壓縮算法研究10降低神經(jīng)網(wǎng)絡的參數(shù)量和計算量，與卷積層相比，同樣是降采樣，但是池化層的池化計算要遠比卷積計算簡單。池化層是在輸入數(shù)據(jù)的各個通道上進行降采樣，所以輸出和輸入數(shù)據(jù)的通道數(shù)是一致的，由于步長通常大于或等于2，所以輸出數(shù)據(jù)的尺寸會變小，可以快速的降低后續(xù)卷積層的計算量，并且池化層沒有需要學習的參數(shù)，不需要學習。2.1.3激活函數(shù)層卷積神經(jīng)網(wǎng)絡中卷積層是線性計算，激活函數(shù)是非線性的函數(shù)，將其引入卷積神經(jīng)網(wǎng)絡中可以增加網(wǎng)絡的非線性，增強神經(jīng)網(wǎng)絡的學習能力。激活函數(shù)的類型有Sigmoid函數(shù)、tanh函數(shù)、ReLU等。Sigmoid函數(shù)可以將輸入的數(shù)據(jù)映射到0t之間，如公式2-3所示。tanh函數(shù)可以將輸入的數(shù)據(jù)映射到t之間，如公式2-4所示。ReLU函數(shù)只保留輸入數(shù)據(jù)不小于0的部分，如公式2-5所示。它們的函數(shù)曲線如圖2.2所示。xex11)(-3h112)tanh(2xex-4h;0,0;0,U)(ReLxxxx-5h圖2.2激活函數(shù)曲線Fig.2.2Activationfunctioncurve從公式2-3和2-4中可以發(fā)現(xiàn)Sigmoid函數(shù)和tanh函數(shù)計算比較復雜，都包含冪運算，對其求導也很復雜，計算量比較大。從圖2-2中可以看出，隨著的增大，函數(shù)曲線接近于直線，其導數(shù)會變得非常小，接近于0。在卷積神經(jīng)網(wǎng)絡的鏈式求導中，容易出現(xiàn)梯度消失的情況，最終導致較為靠前的網(wǎng)絡層的權值參數(shù)無法得到有效的學習。目前常使用ReLU作為激活函數(shù)，因為它的求導非常簡單，在x0時，導數(shù)為常數(shù)1，在x0時，導數(shù)為常數(shù)0。這樣避免了梯度消失的問題，但是梯度也和可學習的參數(shù)有關，有一定可能會出現(xiàn)梯度爆炸問題，

海南大學碩士學位論文13與該層的權值參數(shù)矩陣直接相乘，權值參數(shù)矩陣的形狀為5×5×16×120，輸出120個特征數(shù)值。該層可學習的參數(shù)個數(shù)為48120個，浮點計算次數(shù)為9.6萬次。FC6全連接層：輸入為FC5層全連接層輸出的120個特征數(shù)值，與FC6層的尺寸為120×84的參數(shù)矩陣直接相乘，得到84個特征數(shù)值。該層可學習參數(shù)為10164個，浮點計算次數(shù)為20160次。FC7為輸出層：輸入為FC6層輸出的84個特征數(shù)值，與FC7層的尺寸為84×10的參數(shù)矩陣直接相乘，得到10個特征數(shù)值，最后，將這10個數(shù)值送入分類器中。該層總共有10個神經(jīng)節(jié)點，每個節(jié)點對應0到9之間的一個數(shù)字。LeNet-5是一個參數(shù)量少、計算量孝簡潔高效的卷積神經(jīng)網(wǎng)絡，在MNIST數(shù)據(jù)集上的準確率可以達到98.5%。2.2.2DenseNetDenseNet是Huang等人于2017年提出的一種密集連接型卷積神經(jīng)網(wǎng)絡，它由DenseBlock模塊和Transition層交替堆疊組成，如圖2.4所示。在DenseBlock中每一層的輸出數(shù)據(jù)都會作為后續(xù)所有層輸入數(shù)據(jù)的一部分，每一層的輸入數(shù)據(jù)都包含了前面所有層的輸出數(shù)據(jù)，極其有效的利用了每一層輸出的特征圖，其結構如圖2.5所示。Transition層本質上是一個卷積層，但是它的卷積核的平面尺寸是1×1，用于對DenseBlock輸出的特征圖進行綜合。圖2.4DenseNet結構示意圖Fig.2.4StructurediagramofDenseNet圖2.5DenseBlock結構示意圖Fig.2.5StructurediagramofDenseBlockDenseNet是一個比較窄的卷積神經(jīng)網(wǎng)絡，每一層神經(jīng)節(jié)點的數(shù)量都很少，所以可學習的權值參數(shù)比較少，但是由于它連接方式的特殊性，保證了每一層輸出的特征圖都會得到有效的利用，所以神經(jīng)網(wǎng)絡的性能并沒有降低。在Cifar-10數(shù)據(jù)集的分類任務中準確率達到了92.4%，其可學習參數(shù)大約為100萬個，浮點計


本文編號：2919480