近些年來,卷積神經(jīng)網(wǎng)絡(luò)在許多與計算機視覺相關(guān)的任務(wù)（如目標檢測和圖像識別）上均取得了顯著的成就。但是多數(shù)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)異性能都以計算和內(nèi)存成本的顯著增加作為代價,因此很難將它們部署在資源受限的環(huán)境（如移動設(shè)備和嵌入式設(shè)備）中。因此,對卷積神經(jīng)網(wǎng)絡(luò)進行壓縮和加速,降低其對計算和內(nèi)存資源的消耗,已逐漸成為一個熱門的研究領(lǐng)域。剪枝是卷積神經(jīng)網(wǎng)絡(luò)壓縮的主要方法之一,它可以有效識別并剔除網(wǎng)絡(luò)的冗余部分,同時最小化網(wǎng)絡(luò)性能的損失。本文圍繞剪枝提出兩種結(jié)構(gòu)化的剪枝方法用于對現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)進行壓縮,進而達到加速的目的。本文具體的貢獻總結(jié)如下:1.為了解決現(xiàn)有的非結(jié)構(gòu)化剪枝方法難以獲得實際加速的問題,本文提出了一種結(jié)構(gòu)化的基于重要性的全局濾波器剪枝方法。該方法首先通過引入梯度信息,對多批次樣本訓(xùn)練過程中生成的梯度進行統(tǒng)計,并將歸一化后的統(tǒng)計值作為最終的濾波器重要性分數(shù),利用重要性分數(shù)可以評估移除濾波器對網(wǎng)絡(luò)性能帶來的影響。然后在此基礎(chǔ)上設(shè)置全局剪枝率構(gòu)建一個全局排名,通過全局排名可以高效的完成單次修剪。最后在重訓(xùn)練的過程中恢復(fù)網(wǎng)絡(luò)的性能。此外,該方法使用了一種分組剪枝的方式來解決剪枝Res Net時... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

被修剪的卷積濾波器與下一層特征映射圖和相關(guān)濾波器的關(guān)系

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論9第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論2.1卷積神經(jīng)網(wǎng)絡(luò)的基本概念2.1.1卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)最初是受到生物自然視覺認知機制的啟發(fā)而來的。在上個世紀60年代左右，D.H.Hubel和T.N.Wiesel[42]提出貓的初級視覺系統(tǒng)中，單個神經(jīng)元僅在被稱為“感受野”的視野受限區(qū)域內(nèi)對刺激做出反應(yīng)。在此基礎(chǔ)上，K.Fukushima等[43]仿造生物的視覺皮層，提出了一種以“神經(jīng)認知”命名的多層人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)認知模型也被認為是啟發(fā)了卷積神經(jīng)網(wǎng)絡(luò)的開創(chuàng)性研究。隨后，Y.LeCun等人利用反向傳播(BackPropagation,BP)算法來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，并將其成功用于手寫數(shù)字字符識別，從而形成了經(jīng)典的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)如圖2.1[7]所示。與傳統(tǒng)圖像識別算法需要分為預(yù)處理、特征提取與選擇等若干步驟不同，LeNet-5采用了“端到端”的學(xué)習(xí)方式，通過不同模塊的層層堆疊使得網(wǎng)絡(luò)可以直接從原始數(shù)據(jù)中學(xué)習(xí)其特征并最終完成任務(wù)，從此形成了當代卷積神經(jīng)網(wǎng)絡(luò)的雛形。圖2.1LeNet-5結(jié)構(gòu)描述總體來說，卷積神經(jīng)網(wǎng)絡(luò)是一種層次結(jié)構(gòu)模型。它的輸入是圖像、音頻或文本等原始數(shù)據(jù)，通過卷積、池化和非線性激活函數(shù)映射等運算操作的層層堆疊和組合，從原始數(shù)據(jù)輸入層中逐層抽取高層語義信息并進行抽象，這一過程稱為“前向傳播”。其中，不同類型的運算操作在卷積神經(jīng)網(wǎng)絡(luò)中通常被稱為“層”：卷積操作對應(yīng)“卷積層”，池化操作對應(yīng)“池化層”等。最后，卷積神經(jīng)網(wǎng)絡(luò)的最后一層將目標任務(wù)（分類、回歸等）形式化為目標函數(shù)，然后通過計算預(yù)測值和真實值之間的誤差或

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論13(a)第一次卷積操作與輸出特征(b)第二次卷積操作與輸出特征(c)第三次卷積操作與輸出特征(d)第九次卷積操作與輸出特征圖2.2卷積操作示例2.2.2池化層當圖像數(shù)據(jù)的尺寸較大時，池化(pooling)層可以對其進行“下采樣”(down-sampling)操作。池化結(jié)果中的一個元素對應(yīng)于原輸入數(shù)據(jù)的一塊子區(qū)域，因此池化操作相當于在空間范圍內(nèi)進行了維度約減，從而使模型可以提取更廣范圍的特征，同時壓縮了輸入的特征圖，導(dǎo)致下一層的參數(shù)減少，進而簡化了卷積神經(jīng)網(wǎng)絡(luò)計算時的復(fù)雜度。值得注意的是，在池化層中并沒有可以學(xué)習(xí)的參數(shù)，而池化操作與卷積操作類似，都需要設(shè)置窗口大小和步長。池化操作最常用的形式是最大值池化(maxpooling)。如圖2.3所示，最大值池化從輸入特征圖中選取窗口，在每個窗口中選擇最大值，并丟棄所有其他值。在實踐中最大值池化通常使用2×2大小且步長為2的過濾器，這會將原始特征圖的平面尺寸下采樣2倍。與高度和寬度不同，特征圖的深度尺寸是保持不變的。圖2.3最大值池化操作


本文編號：3292217