隨著深度學習的研究和發(fā)展,卷積神經網絡在計算機視覺等領域取得了突破性的進展。然而卷積神經網絡中存在大量參數,需要占用較多的計算和存儲資源,這導致模型難以部署在資源有限的移動設備上。為了減少模型對硬件資源的消耗,卷積神經網絡剪枝壓縮技術被廣泛研究。目前關于剪枝方法的研究中,基于參數重要性的剪枝和基于參數稀疏性的剪枝是兩個重要的研究方向。本文針對這兩個方向的主要研究內容如下:提出一種基于注意力機制的參數重要性衡量算法,該算法借助注意力模塊,給卷積神經網絡中同層濾波器的輸出通道賦予權重,并以此計算濾波器重要性,在濾波器級別指導網絡剪枝。實驗結果表明,在相同剪枝比例下,本文提出的算法可以獲得更高的準確率。在基于參數稀疏性的剪枝方面,提出一種基于正則化的全局剪枝算法,解決如何自適應地控制卷積神經網絡中各層剪枝比例的問題。通過對通道權重應用L1正則化,將權重趨近于0的通道移除。使卷積神經網絡自主地進行通道級別的特征選擇,增強結構稀疏性。此外,針對Tensorflow框架下基于掩膜運算的剪枝在性能上的缺陷,本文提出一種能夠有效實現參數裁剪效果的剪枝方法。實驗結果表明,基于正則化的全局剪枝方法能夠進一... 

【文章頁數】：68 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現狀
        1.2.1 基于參數重要性剪枝的研究現狀
        1.2.2 基于參數稀疏性剪枝的研究現狀
    1.3 本文的主要工作
    1.4 論文組織架構
第二章 基于注意力機制的參數重要性衡量方法
    2.1 問題描述
    2.2 卷積神經網絡
        2.2.1 全連接層
        2.2.2 卷積層
        2.2.3 池化層
        2.2.4 損失函數
    2.3 濾波器級別的剪枝
    2.4 濾波器重要性衡量方法
        2.4.1 注意力模塊
        2.4.2 通道重要性得分計算
        2.4.3 剪枝步驟
    2.5 實驗和結果分析
        2.5.1 數據集和模型
        2.5.2 CIFAR-10數據集結果
        2.5.3 CIFAR-100數據集結果
    2.6 本章小結
第三章 基于正則化的全局剪枝方法
    3.1 問題描述
    3.2 基于正則化的全局剪枝方法
        3.2.1 正則化技術
        3.2.2 剪枝步驟
    3.3 改進的Tensorflow剪枝方法
    3.4 實驗和結果分析
        3.4.1 數據集和模型
        3.4.2 縮放因子分布
        3.4.3 CIFAR-10數據集結果
    3.5 本章小結
第四章 基于壓縮神經網絡的植物識別應用的設計與實現
    4.1 系統(tǒng)需求分析
        4.1.1 開發(fā)環(huán)境
        4.1.2 功能需求
    4.2 系統(tǒng)概要設計
    4.3 數據庫設計
    4.4 系統(tǒng)詳細設計
        4.4.1 植物識別模塊
        4.4.2 動態(tài)發(fā)布和查看模塊
    4.5 系統(tǒng)實現
        4.5.1 植物識別模塊
        4.5.2 動態(tài)發(fā)布和查看模塊
    4.6 系統(tǒng)測試
        4.6.1 功能測試
        4.6.2 性能測試
    4.7 本章小結
第五章 總結和展望
    5.1 總結
    5.2 展望
參考文獻
致謝
作者攻讀學位期間發(fā)表的學術論文目錄


【參考文獻】：
期刊論文
[1]語音識別的研究與發(fā)展[J]. 何湘智.  計算機與現代化. 2002(03)



本文編號：3693067