近年來(lái),由于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network,CNN）在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等諸多領(lǐng)域中取得了前所未有的成果而被廣泛應(yīng)用,CNN模型在不斷逼近計(jì)算機(jī)視覺(jué)任務(wù)的精度極限的同時(shí),其深度和尺寸也在成倍增長(zhǎng)。模型體積龐大、對(duì)硬件資源要求高、存儲(chǔ)開(kāi)銷(xiāo)大以及功耗驚人等問(wèn)題都非常不利于其在移動(dòng)端和嵌入式端的部署和應(yīng)用。在這樣的情形下,對(duì)CNN模型進(jìn)行壓縮顯得尤為重要。早期就有學(xué)者提出了一系列CNN模型壓縮方法,如權(quán)值量化、低秩分解等,但是壓縮率和效率遠(yuǎn)不能令人滿(mǎn)意。目前,針對(duì)CNN模型參數(shù)冗余問(wèn)題,研究者們通過(guò)設(shè)計(jì)高效的卷積結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的卷積層,以達(dá)到減少參數(shù)量和計(jì)算量的目的,但是此類(lèi)方法仍然存在神經(jīng)元（或特征）退化嚴(yán)重、模型泛化能力低等問(wèn)題;另外,針對(duì)特征冗余問(wèn)題,研究人員提出了以逐層的方式對(duì)通道進(jìn)行剪枝的方法,此類(lèi)方法對(duì)常規(guī)卷積層堆疊而成的結(jié)構(gòu)剪枝效果較好,但不適用于高效卷積結(jié)構(gòu)（如深度可分離卷積,高效殘差單元等）,具有較大的局限性。針對(duì)以上問(wèn)題,本論文提出了一種基于非均勻分組逐點(diǎn)卷積的神經(jīng)網(wǎng)絡(luò)模型壓縮方法及一種基于特征冗余分析的神經(jīng)網(wǎng)絡(luò)跨層剪枝方法... 

【文章來(lái)源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

常規(guī)卷積操作

2c 。圖3.2 均勻分組卷積操作因此，均勻分組卷積過(guò)程中卷積核的參數(shù)量為：1 1 1 22 ( h w c / 2 c/ 2)；總的計(jì)算量為：1 1 1 22 ( h w c / 2 c / 2 H W)；所以均勻分組卷積和常規(guī)卷積的計(jì)算量比值為：1 21 11 1 1 22 ( )12 22c ch w H Wh w c c H W(3-1)根據(jù)式（3-1）可知，當(dāng)分組數(shù)為 2 時(shí)，分組卷積的計(jì)算量為常規(guī)卷積的1/2。以此類(lèi)推，當(dāng)分組數(shù)為 g 時(shí)，則為1/ g 。由此可見(jiàn)分組數(shù)越多，參數(shù)量越少。使用均勻分組卷積結(jié)構(gòu)，模型的參數(shù)量和計(jì)算量都大幅度降低，然而這種操作也

勻分組的同時(shí)，引入了組間信息交換的機(jī)制，提出了“通道重排”的概念，如圖 3.3所示。圖3.3 通道重排[36]圖中 Input 和 Output 分別表示輸入和輸出特征，Channel 表示通道維度，GConv1和 GConv2 表示采用分組卷積的層，F(xiàn)eature 表示第一個(gè)分組卷積的輸出組合后的特征。圖中紅綠藍(lán)三種顏色分別代表一個(gè)組，共有三個(gè)組。圖 3.3（a）為只采用了分組卷積沒(méi)有采用通道重排策略的效果圖，每個(gè)卷積核只接收各自組內(nèi)的特征作為輸入；圖 3.3（b）則采用了通道重排策略，具體是將不同組的子組作為 GConv2 的一個(gè)組的輸入，使得 GConv2 的每一個(gè)組都能對(duì)輸入的所有組的特征圖做卷積；圖 3.3（c）是結(jié)合分組卷積和通道重排后的效果圖。由于通道重排是可導(dǎo)的


本文編號(hào)：3313537