當前,卷積神經(jīng)網(wǎng)絡已經(jīng)在多個領域取得了巨大的成功。為了進一步提高卷積神經(jīng)網(wǎng)絡的效率,研究者們從多個角度提出了改進方案,主要包括:降低網(wǎng)絡的過擬合,優(yōu)化網(wǎng)絡結構,跨領域的遷移學習以及高效的模型權重初始化等。現(xiàn)階段,搭建一個優(yōu)秀的網(wǎng)絡模型通常需要進行大量的實驗,模型參數(shù)的設置也往往依賴研究者的經(jīng)驗,沒有很好的理論指導。針對網(wǎng)絡模型的權重初始化問題,本文基于統(tǒng)計的方法,歸納總結了幾種典型的卷積神經(jīng)網(wǎng)絡模型的預訓練權重的分布特征,從這些分布特征來看,模型訓練完成后權重值整體呈現(xiàn)向0方向偏移的特點,較正態(tài)分布,方差更小,分布峰值更高,且局部出現(xiàn)長尾的現(xiàn)象�；谶@些分布特點,試想,網(wǎng)絡模型的權重初始化直接采用這種分布是否能提高網(wǎng)絡的效率?首先,本文通過對模型預訓練權重做正態(tài)性檢驗,確定權重分布與正態(tài)分布的關聯(lián),然后采用了最大似然擬合方法與基于Kolmogorov-Smirnov（KS）統(tǒng)計量以及似然比的擬合優(yōu)度檢驗相結合的方式探究了使用冪律分布擬合預訓練權重分布的可行性,得出預訓練權重存在局部冪律的性質(zhì)。綜合以上研究的結果,本文使用了調(diào)整正態(tài)分布方差的方式對預訓練權重進行擬合,并提出基于方差調(diào)整的... 

【文章來源】：青島大學山東省

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【部分圖文】：

卷積神經(jīng)網(wǎng)絡基本結構

青島大學碩士學位論文7圖2.2卷積運算原理示意圖2.1.2線性整流層線性整流層可以看作是卷積層的一個組成部分，卷積操作得到的輸出是線性的，從數(shù)學的角度出發(fā)，線性意味著復雜性不足，即對數(shù)據(jù)中復雜的特征映射能力有限，從而影響特征的提齲整流是指將非線性應用到卷積層的輸出上，讓網(wǎng)絡模型能更有效地學習。線性整流函數(shù)也叫激勵函數(shù)，在多層網(wǎng)絡模型中，處于上層節(jié)點的輸出與下層的輸入之間。常用的線性整流函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)和ReLU函數(shù)等[44]。(a)Sigmoid(b)Tanh(c)ReLU圖2.3Sigmoid、Tanh、ReLU函數(shù)及其導函數(shù)圖像Sigmoid函數(shù)的數(shù)學形式為：1()1zfze，將輸入值轉變?yōu)閇0,1]之間的值輸出。近年來，由于Sigmoid函數(shù)在卷積神經(jīng)網(wǎng)絡的反向傳播中容易造成梯度消失(梯度爆炸)等問題，使用頻率越來越校圖2.3(a)中Sigmoid函數(shù)的導函數(shù)圖像可知，當網(wǎng)絡模型初始化權值在[0,1]之間時，在反向傳播的過程中，每經(jīng)過一次傳遞，梯

青島大學碩士學位論文7圖2.2卷積運算原理示意圖2.1.2線性整流層線性整流層可以看作是卷積層的一個組成部分，卷積操作得到的輸出是線性的，從數(shù)學的角度出發(fā)，線性意味著復雜性不足，即對數(shù)據(jù)中復雜的特征映射能力有限，從而影響特征的提齲整流是指將非線性應用到卷積層的輸出上，讓網(wǎng)絡模型能更有效地學習。線性整流函數(shù)也叫激勵函數(shù)，在多層網(wǎng)絡模型中，處于上層節(jié)點的輸出與下層的輸入之間。常用的線性整流函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)和ReLU函數(shù)等[44]。(a)Sigmoid(b)Tanh(c)ReLU圖2.3Sigmoid、Tanh、ReLU函數(shù)及其導函數(shù)圖像Sigmoid函數(shù)的數(shù)學形式為：1()1zfze，將輸入值轉變?yōu)閇0,1]之間的值輸出。近年來，由于Sigmoid函數(shù)在卷積神經(jīng)網(wǎng)絡的反向傳播中容易造成梯度消失(梯度爆炸)等問題，使用頻率越來越校圖2.3(a)中Sigmoid函數(shù)的導函數(shù)圖像可知，當網(wǎng)絡模型初始化權值在[0,1]之間時，在反向傳播的過程中，每經(jīng)過一次傳遞，梯


本文編號：2943241