近年來,卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network,CNN）已然成為了計算機視覺領域的主要方法,相比傳統(tǒng)算法取得了突破性的進展。然而,卷積神經(jīng)網(wǎng)絡往往擁有巨大的參數(shù)量和計算量,限制了其在嵌入式等“邊緣”設備上應用的問題。本論文中,針對卷積神經(jīng)網(wǎng)絡計算量大和參數(shù)冗余的問題,以目標檢測算法（Faster RCNN）為研究模型進行壓縮,提出基于統(tǒng)計量聚類的剪枝方法,同時結合張量分解的方法對模型進行壓縮,分析了秩的選取對混合壓縮效果的影響,本文研究內(nèi)容主要包括:（1）針對Faster RCNN算法在PASCAL VOC數(shù)據(jù)集檢測精度改進,以提高在目標大小差異較大的類別物體召回率,本文提出了多尺度區(qū)域生成網(wǎng)絡,增強了每個錨框中的前景特征信息,提高了算法的候選框生成質量和檢測精度。（2）針對卷積神經(jīng)網(wǎng)絡計算量大和參數(shù)冗余的問題,本文研究了基于統(tǒng)計量聚類的結構化剪枝方法,對剪枝而言,一個關鍵性但目前仍沒有解決的問題是參數(shù)的“相對重要性”評價,它對剪枝后的模型性能有著決定性影響,首先,分析了Faster RCNN模型每層卷積核在均值、方差上的分布,通過聚類的方式把每個卷積核... 

【文章來源】：北方民族大學寧夏回族自治區(qū)

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【部分圖文】：

傳統(tǒng)卷積層結構設計示意圖

北方民族大學2020屆碩士學位論文第二章相關工作-7-圖2-1傳統(tǒng)卷積層結構設計示意圖提升網(wǎng)絡性能的方法有很多，例如硬件升級、大規(guī)模數(shù)據(jù)集等。設計模型過程中提高網(wǎng)絡性能最直接的方法就是增加卷積層輸出通道，然而，這種方法會帶來以下兩個不足之處：a)容易發(fā)生過擬合。當網(wǎng)絡結構深度和寬度不斷增加的時候，網(wǎng)絡學習的參數(shù)量也不斷增加，巨大的參數(shù)量容易在訓練集發(fā)生過擬合。b)均勻地增加網(wǎng)絡的大小，會導致計算量的加大。因此，解決上述不足的方法是引入稀疏特性，依據(jù)此想法產(chǎn)生了Inception結構。圖2-2展示了具有Inception模塊的網(wǎng)絡結構，該網(wǎng)絡結構首先用一個1×1的卷積核，和1×1并行的其他通道又增加了三種卷積核，最后所有通道的特征圖融合在一起。Googlenet通過融合Inception模塊構造的深度卷積網(wǎng)絡，在ImageNet數(shù)據(jù)集取得了極佳的識別精度。圖2-2Inception模塊卷積層結構設計示意圖在不斷增加卷積神經(jīng)網(wǎng)絡的深度時，網(wǎng)絡會出現(xiàn)性能退化問題，網(wǎng)絡模型準確率先上升最后達到最大值后，再增加網(wǎng)絡深度準確率反而下降，然而，這個問題不是普通的過擬合現(xiàn)

北方民族大學2020屆碩士學位論文第二章相關工作-8-象，因為網(wǎng)絡模型不止在測試集上誤差增大。為了解決這種網(wǎng)絡退化和梯度消失的問題，何凱明等人提出了深度殘差網(wǎng)絡，如圖2-3所示，帶有殘差結構的網(wǎng)絡模型，融入殘差結構的卷積網(wǎng)絡權值的學習為H(x)-x，這個結構能夠很好的解決網(wǎng)絡退化問題，理論上可以融入任意卷積網(wǎng)絡。圖2-3殘差結構設計示意圖2.3深度卷積網(wǎng)絡的正則化方法在訓練神經(jīng)網(wǎng)絡模型時，使用復雜的模型來擬合復雜的數(shù)據(jù)集時，泛化誤差與模型容量的一般關系如圖2-4。過擬合的原因通常是因為數(shù)據(jù)中存在噪聲使得模型在訓練過程中學習了噪聲特征，正則化方法是常用的減少過擬合的方式之一，廣泛應用于機器學習和深度學習中，它可以改善過擬合問題，降低結構風險，提高模型的泛化能力，以下介紹幾種訓練神經(jīng)網(wǎng)絡常用的正則化方法：

【參考文獻】：
期刊論文
[1]基于Adaboost算法的日間前方車輛檢測[J]. 金立生,王巖,劉景華,王亞麗,鄭義.  吉林大學學報(工學版). 2014(06)
[2]基于HOG特征和SVM的前向車輛識別方法[J]. 李星,郭曉松,郭君斌.  計算機科學. 2013(S2)

碩士論文
[1]基于HOG特征的車輛檢測技術研究[D]. 馬蓓蓓.華南理工大學 2015



本文編號：3470003