學習率衰減策略是深度學習算法優(yōu)化中常用的學習率設定方法,好的學習率設定方式可以訓練出更好的深度神經(jīng)網(wǎng)絡模型。因此,如何設定好的學習率衰減是深度學習領域的一個前沿問題,非常值得研究。在本論文中,我們詳細研究了不同指數(shù)的多項式學習率衰減對深度神經(jīng)網(wǎng)絡模型性能的影響,并提出了一種對任意可導的衰減函數(shù)都適用的學習率衰減函數(shù)的調整方法——k-Decay方法。基于k-Decay方法可對原衰減函數(shù)的衰減變化率進行不同程度的加強或減弱,得到新的衰減函數(shù),利用新函數(shù)訓練出的模型其精度要優(yōu)于原函數(shù)。在基于該方法的新衰減函數(shù)中引入新的超參數(shù)k,可以控制衰減函數(shù)的學習率的衰減程度,而原衰減函數(shù)恰好是新衰減函數(shù)在k=1時的特例。我們將k-Decay方法應用于多項式衰減、余弦衰減和指數(shù)衰減,分別給出了基于該方法的新衰減函數(shù)的解析表達式。為了驗證k-Decay方法的有效性,我們采用了基于該方法得到的新多項式衰減函數(shù)作為學習率的設定方法,選用了當前最先進架構的幾個深度神經(jīng)網(wǎng)絡(ResNet、Wide ResNet 和 DenseNet),在 CIFAR10和 CIFAR100 數(shù)據(jù)集上進行了廣泛的測試,證明了該方法的...

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【部分圖文】：

圖２－１：生物神經(jīng)元??人工神經(jīng)元（Ａｒｔｉｆｉｃｉａｌ?Ｎｅｕｒｏｎ）是神經(jīng)網(wǎng)絡的基本單元，它是一種模擬生物神??經(jīng)元的結構和特性的數(shù)學模型，其作用是通過接收一組輸入信號經(jīng)過一系列變換并??

碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??第２章深度神經(jīng)網(wǎng)絡??深度學習中的’＿深度”說明了輸入數(shù)據(jù)經(jīng)過不同的深度神經(jīng)網(wǎng)絡層進行非線性??變換的次數(shù)，這些網(wǎng)絡層由許多的神經(jīng)元組成，其中非線性變換主要來源于激活函??數(shù)，它們在一起構成了前饋神經(jīng)網(wǎng)絡。本章介紹了深度學習中的前....

圖２－３：?Ｓｉｇｍｏｉｄ函數(shù)曲線??

ｚＳｍ碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ???＇??—＾＝＝＝＾??—?Ｓｉｇｍｏｉｄ??０．８?／?－??０．６?－?／??Ｓ??０．４?■??０．２?■?／??〇．〇?Ｉ??＾Ｚ??１???－１０?－５０?５?１０??ｚ??圖２－３：?Ｓｉｇｍｏｉｄ函數(shù)曲線??１....

圖２￣４：?Ｔａｎｈ函數(shù)曲線??

以看出，它對輸入進行了歸一化操作，輸出值在［〇，１］區(qū)間，不同于??Ｓｉｇｍｏｉｄ函數(shù)的是，Ｓｏｆｔｍａｘ函數(shù)常用于多元分類（Ｍｕｌｔｉｃｌａｓｓ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）問題，??常用于多分類網(wǎng)絡的最后一層。??１０．?????Ｉ?－?Ａ??一?ＲｅＬＵ??—Ｌｅａｋｙ?....

圖２－５：?ＲｅＬＵ函數(shù)曲線??

奸學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３前饋神經(jīng)網(wǎng)絡??＇??Ｉｎｐｕｔ?Ｌａｙｅｒ?￡?Ｒ５?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?Ｇ?Ｒ１０?Ｏｕｔｐｕｔ?Ｌａｙｅｒ?￡?Ｒ２??圖２－６：前饋神經(jīng)....

本文編號：3961346