深度學(xué)習(xí)近年來得到了快速的發(fā)展,在計算機視覺,自然語言處理等眾多領(lǐng)域有著優(yōu)越的表現(xiàn),催生了一系列智能產(chǎn)品的落地。而深度學(xué)習(xí)的本質(zhì)是在大數(shù)據(jù)支撐下,由多層神經(jīng)網(wǎng)絡(luò)堆疊形成的信號處理系統(tǒng),具有參數(shù)量大,計算復(fù)雜度高等特點,需要依靠高性能的服務(wù)器端來處理龐大的網(wǎng)絡(luò)參數(shù)運算與更新。很多時候,出于響應(yīng)時間、隱私方面和服務(wù)穩(wěn)定性的考慮,更希望將這些網(wǎng)絡(luò)模型放在移動終端上運行,而移動終端的運算資源及計算能力有限,不能直接運行模型。目前普遍的做法是將訓(xùn)練好的模型存放在在云端,通過云與移動端進行信息交互,這導(dǎo)致了產(chǎn)品的使用效果的下降。因此,對深度神經(jīng)網(wǎng)絡(luò)進行壓縮以降低其參數(shù)量和存儲要求,提升運算效率,保持網(wǎng)絡(luò)性能,使其滿足通用移動設(shè)備的要求,已經(jīng)成為是當(dāng)下的研究熱點之一,對移動設(shè)備的發(fā)展也有著重要的工程及社會意義。論文分析了國內(nèi)外現(xiàn)有網(wǎng)絡(luò)參數(shù)壓縮模型的優(yōu)缺點,結(jié)合網(wǎng)絡(luò)參數(shù)的低秩和稀疏特性,提出以下模型壓縮算法:1)基于克羅內(nèi)克分解(Kronecker Tensor Decomposition,KTD)的改進方法壓縮神經(jīng)網(wǎng)絡(luò)。該方法利用張量數(shù)據(jù)的多重克羅內(nèi)克結(jié)構(gòu)成功地刻畫了數(shù)據(jù)在多重壓縮結(jié)構(gòu)上的內(nèi)在關(guān)系,...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-2卷積運算

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)12后還需添加偏置則可以得到輸出矩陣。圖2-2卷積運算2.2.3激勵層激勵層的作用可以理解為對卷積層的輸出結(jié)果做一次非線性映射。其實激勵函數(shù)就相當(dāng)于f(x)=x，而當(dāng)神經(jīng)網(wǎng)絡(luò)缺少激勵函數(shù)，每一層的輸出都是上一層輸入的線性函數(shù)。分析可知，無論有多少神經(jīng)網(wǎng)....

圖2-3激勵函數(shù)

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)12后還需添加偏置則可以得到輸出矩陣。圖2-2卷積運算2.2.3激勵層激勵層的作用可以理解為對卷積層的輸出結(jié)果做一次非線性映射。其實激勵函數(shù)就相當(dāng)于f(x)=x，而當(dāng)神經(jīng)網(wǎng)絡(luò)缺少激勵函數(shù)，每一層的輸出都是上一層輸入的線性函數(shù)。分析可知，無論有多少神經(jīng)網(wǎng)....

圖2-4最大池化

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)132.2.4池化層池化（Pooling），也稱為欠采樣或下采樣，其作用是用于各個特征圖的降維，同時還能保留大部分重要信息。連續(xù)的卷積層中穿插著池化層，它不僅可以壓縮模型的參數(shù)數(shù)量，還可以防止過擬合，同時提高模型的容錯性。最為常用的方法有：最大池化（M....

圖2-5全連接層

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)14最后可能出現(xiàn)過擬合，為了避免出現(xiàn)過擬合引入Dropout操作，通過隨機刪除神經(jīng)網(wǎng)絡(luò)中的部分神經(jīng)元來解決問題。還可以利用局部歸一化（LRN）、數(shù)據(jù)增強等操作，來加強模型的魯棒性，提高模型的整體性能。全連接層可以整合卷積層和池化層中具有類別區(qū)分性的局部....

本文編號：3903558