深度卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺的各個領(lǐng)域都取得了顯著的效果,在圖像識別、語義分割、行為檢測、圖像跟蹤等任務(wù)上,獲得了超過人類能力的性能表現(xiàn)。高性能的網(wǎng)絡(luò)模型往往對硬件的算力、資源和能耗等方面有更高的要求。在工程化應(yīng)用的過程中,如何將這類資源消耗性的網(wǎng)絡(luò)模型部署到資源受限的移動/嵌入式設(shè)備上,這仍然是一個亟待解決的挑戰(zhàn)。模型輕量化技術(shù)是由工程派研究人員提出,在少量額外精度產(chǎn)生的前提下,用精簡網(wǎng)絡(luò)來替換深度網(wǎng)絡(luò)的一種解決方案。這種方案通常是基于特定的規(guī)則,通過網(wǎng)絡(luò)稀疏化操作后,獲得相對緊湊的網(wǎng)絡(luò)模型來完成既定的機(jī)器學(xué)習(xí)任務(wù)。本文采用了兩種通道修剪策略來實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的輕量化設(shè)計(jì),基于混合統(tǒng)計(jì)特征的選擇準(zhǔn)則以及基于強(qiáng)化學(xué)習(xí)的分配準(zhǔn)則。具體而言,對預(yù)訓(xùn)練的網(wǎng)絡(luò)模型而言,基于混合統(tǒng)計(jì)特征的選擇準(zhǔn)則采用了修剪閾值作為靈敏度指標(biāo)來替代固定比例的修剪方式,選取了每個特征層中的統(tǒng)計(jì)特征作為觀察值,進(jìn)而構(gòu)造評價函數(shù),通過評估各個層中特征圖的統(tǒng)計(jì)得分,來篩選出負(fù)得分的通道,通過掩膜屏蔽相關(guān)權(quán)重的更新�；趶�(qiáng)化學(xué)習(xí)的分配準(zhǔn)則圍繞通道修剪任務(wù),重定義了強(qiáng)化學(xué)習(xí)的動作、狀態(tài)空間,采用了改進(jìn)的Q-learning策略... 

【文章來源】：湘潭大學(xué)湖南省

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 課題研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 深度神經(jīng)網(wǎng)絡(luò)模型壓縮
        1.2.2 深度神經(jīng)網(wǎng)絡(luò)通道裁剪
        1.2.3 強(qiáng)化學(xué)習(xí)與框架搜索
    1.3 本文研究創(chuàng)新點(diǎn)及章節(jié)安排
第二章 相關(guān)理論
    2.1 卷積神經(jīng)網(wǎng)絡(luò)
    2.2 多層網(wǎng)絡(luò)的通道修剪方式的討論
    2.3 強(qiáng)化學(xué)習(xí)
        2.3.1 強(qiáng)化學(xué)習(xí)要素
        2.3.2 基于值函數(shù)的強(qiáng)化學(xué)習(xí)算法
    2.4 本章小結(jié)
第三章 基于混合統(tǒng)計(jì)特征的通道修剪方法
    3.1 引言
    3.2 基于統(tǒng)計(jì)選擇的通道修剪
        3.2.1 基于統(tǒng)計(jì)的挑選準(zhǔn)則
        3.2.2 修剪策略
        3.2.3 超參數(shù)調(diào)度
    3.3 實(shí)驗(yàn)結(jié)果與分析
        3.3.1 在Darknet模型上的實(shí)驗(yàn)結(jié)果
        3.3.2 在VGG-16模型上的實(shí)驗(yàn)結(jié)果
        3.3.3 在Res Net-50 模型上的實(shí)驗(yàn)結(jié)果
    3.4 本章小結(jié)
第四章 基于強(qiáng)化學(xué)習(xí)的通道分配方法
    4.1 引言
    4.2 方法
        4.2.1 問題描述
        4.2.2 狀態(tài)空間
        4.2.3 動作空間
        4.2.4 E-learning代理
        4.2.5 獎勵函數(shù)
    4.3 實(shí)驗(yàn)結(jié)果
        4.3.1 在 CIFAR-10 數(shù)據(jù)集上的運(yùn)行結(jié)果
        4.3.2 在 Image Net 數(shù)據(jù)集上的運(yùn)行結(jié)果
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 全文總結(jié)
    5.2 項(xiàng)目展望
參考文獻(xiàn)
致謝
個人簡歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文及研究成果


【參考文獻(xiàn)】：
期刊論文
[1]一種基于Lasso回歸與SVD融合的深度學(xué)習(xí)模型壓縮方法[J]. 吳進(jìn),吳漢寧,劉安,李聰,李喬深.  電訊技術(shù). 2019(05)
[2]基于特征復(fù)用的卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方法[J]. 冀樹偉,楊喜旺,黃晉英,尹寧.  計(jì)算機(jī)應(yīng)用. 2019(06)
[3]強(qiáng)化學(xué)習(xí)研究綜述[J]. 馬騁乾,謝偉,孫偉杰.  指揮控制與仿真. 2018(06)
[4]基于DSD和剪枝的模型壓縮與加速[J]. 褚瑩,凌力.  微型電腦應(yīng)用. 2018(11)
[5]權(quán)重量化的深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法[J]. 陳昀,蔡曉東,梁曉曦,王萌.  西安電子科技大學(xué)學(xué)報(bào). 2019(02)
[6]基于統(tǒng)計(jì)分析的卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方法[J]. 楊揚(yáng),藍(lán)章禮,陳巍.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(08)
[7]神經(jīng)網(wǎng)絡(luò)模型壓縮方法綜述[J]. 曹文龍,芮建武,李敏.  計(jì)算機(jī)應(yīng)用研究. 2019(03)
[8]面向嵌入式應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)綜述[J]. 王磊,趙英海,楊國順,王若琪.  北京交通大學(xué)學(xué)報(bào). 2017(06)
[9]深度網(wǎng)絡(luò)模型壓縮綜述[J]. 雷杰,高鑫,宋杰,王興路,宋明黎.  軟件學(xué)報(bào). 2018(02)
[10]圖像分類卷積神經(jīng)網(wǎng)絡(luò)的特征選擇模型壓縮方法（英文）[J]. 鄒月嫻,余嘉勝,陳澤晗,陳錦,王毅.  控制理論與應(yīng)用. 2017(06)

碩士論文
[1]基于參數(shù)和特征冗余的神經(jīng)網(wǎng)絡(luò)模型壓縮方法[D]. 楊文慧.西安電子科技大學(xué) 2018
[2]Qlearning強(qiáng)化學(xué)習(xí)算法的改進(jìn)及應(yīng)用研究[D]. 馬朋委.安徽理工大學(xué) 2016



本文編號：3051288