卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是深度學(xué)習(xí)領(lǐng)域重要的模型之一,近些年來被廣泛應(yīng)用在圖像視頻處理等場景中。在圖像識別任務(wù)中,CNN對圖像特征的不變性和良好的特征提取能力,使其不需要經(jīng)過繁瑣的預(yù)處理就能取得較好的識別效果。而模型識別精度主要是由其結(jié)構(gòu)和參數(shù)的共同作用,因此對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)優(yōu)化方法的研究具有重要的意義。本文對卷積神經(jīng)網(wǎng)絡(luò)的基本原理結(jié)構(gòu)、還存在的問題以及國內(nèi)外改進方法和成果進行了分析與總結(jié)。一方面,典型的CNN在卷積層輸入與輸出特征通道之間存在很多冗余的連接,不僅不利于卷積層的特征提取,還會增加模型復(fù)雜度。而現(xiàn)有的改進方法需要根據(jù)經(jīng)驗設(shè)計,并不具有普適性;另一方面,反向傳播算法由于諸多超參數(shù)需要設(shè)置,導(dǎo)致模型參數(shù)訓(xùn)練不徹底。因此開展了以下工作:1.提出了一種基于自適應(yīng)遺傳算法優(yōu)化CNN特征通道連接結(jié)構(gòu)的方法。首先預(yù)訓(xùn)練CNN并保存預(yù)訓(xùn)練參數(shù),然后使用自適應(yīng)遺傳算法對預(yù)訓(xùn)練CNN卷積層的特征通道連接結(jié)構(gòu)進行優(yōu)化,最后使用反向傳播算法微調(diào)最優(yōu)連接結(jié)構(gòu)的CNN參數(shù),使參數(shù)適應(yīng)新的連接結(jié)構(gòu)。將優(yōu)化后的CNN用于Fashion-MN... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

卷積計00111卷積核5×5卷積運算

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)13且梯度為0，在參數(shù)更新時會造成對應(yīng)的權(quán)重?zé)o法更新，導(dǎo)致神經(jīng)元出現(xiàn)“壞死”的現(xiàn)象。由于ReLU函數(shù)的輸出均值大于0，會出現(xiàn)偏移的現(xiàn)象，而神經(jīng)元“壞死”和偏移現(xiàn)象會共同影響網(wǎng)絡(luò)的收斂性。(2.5)圖2.3Sigmoid&Tanh&ReLU激活函數(shù)圖像2.其他改進的激活函數(shù)(Softplus&Leaky-ReLU)除了以上最常用的非線性激活函數(shù)，近些年還針對常用激活函數(shù)存在的問題進行了一些改進，這里介紹幾種改進的非線性激活函數(shù)。Softplus函數(shù)是一種和ReLU函數(shù)類似的激活函數(shù)[48]，從函數(shù)式如式2.6來看，Softplus是Sigmoid函數(shù)的原函數(shù)，從圖像上來看，Softplus是ReLU函數(shù)的一種平滑方式，神經(jīng)學(xué)科研究人員認為ReLU函數(shù)和Softplus函數(shù)是最接近生物神經(jīng)元激活方式的函數(shù)。(2.6)Leaky-ReLU函數(shù)是在ReLU函數(shù)的基礎(chǔ)上進行改進的[49]，如式2.7所示。Leaky-ReLU在負半軸將自變量乘以一個取值為(0，1)的系數(shù)，使x<0時具有一個較小的非零斜率，從而解決神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時會出現(xiàn)“神經(jīng)元死亡”的問題。f(x)=max(0,x)f(x)=log(1+ex)α

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)14(2.7)圖2.4Softplus&Leaky-ReLU激活函數(shù)圖像除了以上提到的一些有代表性的激活函數(shù)外，近些年還出現(xiàn)了各種各樣的改進型激活函數(shù)[50-52]，而隨著深度神經(jīng)網(wǎng)絡(luò)研究的不斷深入，激活函數(shù)的研究也仍然在進行著。在實際應(yīng)用中，需要根據(jù)應(yīng)用場景的不同來選擇合適的非線性激活函數(shù)。2.2.3常用的池化方式池化層的主要作用是降低特征圖分辨率，池化層能有效減少模型參數(shù)，增強模型的魯棒性和避免模型過擬合。更重要的是池化層能實現(xiàn)旋轉(zhuǎn)，平移和縮放的不變性。下面將介紹幾種常見的池化方式。1.Mean-pooling方式平均池化方式是計算采樣鄰域內(nèi)特征點的均值。在特征提取的過程中由于鄰域大小受限制，會造成估計值方差增大的誤差，而平均池化能夠減小這種誤差，從而使圖像的背景信息得到較好的保留。在反向傳播時，則是將采樣點中的值平均分配到采樣鄰域的每個特征點中。2.Max-pooling方式f(x)=xx≥0αxx<0

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)背景下機器學(xué)習(xí)研究[J]. 胡永祥.  信息與電腦(理論版). 2019(24)
[2]基于深度學(xué)習(xí)的圖像分類研究綜述[J]. 蘇賦,呂沁,羅仁澤.  電信科學(xué). 2019(11)
[3]關(guān)于深度學(xué)習(xí)的綜述與討論[J]. 胡越,羅東陽,花奎,路海明,張學(xué)工.  智能系統(tǒng)學(xué)報. 2019(01)
[4]基于人工智能技術(shù)的大數(shù)據(jù)分析方法研究進展[J]. 王萬良,張兆娟,高楠,趙燕偉.  計算機集成制造系統(tǒng). 2019(03)
[5]大數(shù)據(jù)下的機器學(xué)習(xí)算法綜述[J]. 何清,李寧,羅文娟,史忠植.  模式識別與人工智能. 2014(04)
[6]差分進化算法的參數(shù)研究[J]. 高岳林,劉軍民.  黑龍江大學(xué)自然科學(xué)學(xué)報. 2009(01)



本文編號：3398092