隨著技術的發(fā)展,深度神經網絡所代表的AI,是被大家所公認的技術。目前,深度卷積神經網絡已被廣泛的在計算機視覺、語音、自然語言等各大領域應用,并獲得很好的效果和巨大的成功。而深度卷積神經網絡則是深度學習不可缺少的一部分,但是深度卷積神經網絡模型參數巨大,遷移學習困難,硬件需求條件巨大,在較小的硬件上更是無法訓練,或者使用這些效果較好的模型。如何將深度卷積神經網絡模型壓縮的更小,使得模型能夠在較小的硬件設備上運行,其好處是顯而易見的。因此,本文提出的一種深度網絡模型的壓縮方法,主要包括以下三大步驟:第一步,提出一個自適應重復剪枝算法（Adaptive repetitive Pruning）,對網絡的權重進行逐層閾值修剪,通過閾值遞增來修剪,同時對網絡進行恢復性訓練,找到影響模型精度的連接,然后重復裁剪權值連接,留下重要連接,裁剪不重要的連接,同時保證網絡的精度不變。完成對網絡模型的第一步壓縮,使得深度網絡參數得到有效的減少。第二步,使用Mini Batch-K-means聚類算法對權重每層進行聚類,通過對每層權值進行聚類后,將所得的聚類中心來表示每層的權值,這樣可以實現(xiàn)權值共享的效果,此時... 

【文章來源】：廣東工業(yè)大學廣東省

【文章頁數】：74 頁

【學位級別】：碩士

【部分圖文】：

神經網絡

圖 2-1 一個簡單的生物神經元Figure 2-1 A simple biological neuron傳遞信息并表達出所需的信息。早在 1943 年一個神經元的簡單模型，如下圖 2-2 所示。

10圖 2-2 簡單的神經元模型Figure 2-2 Simple neuron modeln所代表的該神經元的輸入信號，wi1~win則重，不同的權重有著不同的影響，而求和號的處理。圖中還有一個比較特殊的就是因此神經元不會被這個輸入激活，也就是個輸入 x 和其權值 w 進行乘積和得到一個sum(*)1inii xw

【參考文獻】：
期刊論文
[1]人工智能大國戰(zhàn)略[J]. 趙剛.  當代縣域經濟. 2017(06)
[2]人工智能的進展及發(fā)展建議[J]. 王瑩.  電子產品世界. 2017(Z1)
[3]深度學習研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應用研究. 2012(08)



本文編號：2944273