近年來,隨著深度學習的飛速發(fā)展,深度神經網絡受到了越來越多的關注,在許多應用領域取得了顯著效果。通常,在較高的計算量下,深度神經網絡的學習能力隨著網絡層深度的增加而不斷提高,因此深度神經網絡在大型數(shù)據(jù)集上的表現(xiàn)非常卓越。然而,由于其計算量大、存儲成本高、模型復雜等特性,使得深度學習無法有效地應用于輕量級移動便攜設備。因此,壓縮、優(yōu)化深度學習模型成為目前研究的熱點。當前主要的模型壓縮方法有模型裁剪、輕量級網絡設計、知識蒸餾、量化、體系結構搜索等。對以上方法的性能、優(yōu)缺點和最新研究成果進行了分析總結,并對未來研究方向進行了展望。 

【文章來源】：計算機科學與探索. 2020,14(09)北大核心

【文章頁數(shù)】：15 頁

【部分圖文】：

模型壓縮分類

在MobileNet網絡中使用3×3深度卷積，其計算量比標準卷積下降89%左右，同時精度下降很少。此外，算法中還引入了一個寬度因子α來縮減網絡寬度而不是縮減層數(shù)。與標準卷積相比，深度分離卷積使得模型在ImageNet數(shù)據(jù)集上的精度只降低1個百分點，同時參數(shù)規(guī)模減少了86%。MobileNet V2[50]模型是對MobileNet的改進，該模型中引入了殘差結構，使用線性激活函數(shù)代替ReLU激活函數(shù)來減少特征損失，從而提升了MobileNet的性能。4.2.2 ShuffleNet

Channel Shuffle結構

【參考文獻】：
期刊論文
[1]一種用于卷積神經網絡壓縮的混合剪枝方法[J]. 靳麗蕾,楊文柱,王思樂,崔振超,陳向陽,陳麗萍.  小型微型計算機系統(tǒng). 2018(12)
[2]神經網絡模型壓縮方法綜述[J]. 曹文龍,芮建武,李敏.  計算機應用研究. 2019(03)
[3]基于權值相似性的神經網絡剪枝[J]. 黃聰,常滔,譚虎,呂紹和,王曉東.  計算機科學與探索. 2018(08)
[4]帶比例因子的卷積神經網絡壓縮方法[J]. 徐喆,宋澤奇.  計算機工程與應用. 2018(12)



本文編號：3027150