人工智能技術(shù)經(jīng)過(guò)多年的積累變得日益成熟,其應(yīng)用領(lǐng)域也不斷擴(kuò)大。其中基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)由于其突出的效果而成為了這一領(lǐng)域中的研究熱點(diǎn)。在深度學(xué)習(xí)中,卷積神經(jīng)網(wǎng)絡(luò)的性能往往取決于其模型結(jié)構(gòu)和學(xué)習(xí)算法。在卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)確定的前提下,各神經(jīng)元之間連接的網(wǎng)絡(luò)參數(shù)會(huì)直接決定模型的最終性能。作為調(diào)節(jié)模型參數(shù)的最基本學(xué)習(xí)算法,隨機(jī)梯度下降（Stochastic Gradient Descent,SGD）已經(jīng)成為深度學(xué)習(xí)實(shí)際工程應(yīng)用中必不可少的一部分。根據(jù)深度學(xué)習(xí)的底層運(yùn)行方式,SGD對(duì)卷積神經(jīng)網(wǎng)絡(luò)的模型參數(shù)具有串行和并行兩種計(jì)算方式。通過(guò)對(duì)SGD的分析,發(fā)現(xiàn)SGD主要存在以下兩個(gè)問(wèn)題:第一,在SDG的串行計(jì)算中,其學(xué)習(xí)率是固定的,選擇一個(gè)合適的學(xué)習(xí)率對(duì)SGD來(lái)說(shuō)是很困難的。當(dāng)選擇的學(xué)習(xí)率太小時(shí),算法的收斂速度會(huì)很慢;當(dāng)選擇的學(xué)習(xí)率太大時(shí),算法容易導(dǎo)致模型參數(shù)在迭代過(guò)程中發(fā)生大幅度的振動(dòng),甚至導(dǎo)致模型不收斂。第二,在SGD的并行計(jì)算中,有同步運(yùn)行和異步運(yùn)行兩種方式。相比于同步運(yùn)行,異步并行具有更加快的運(yùn)行速度。但是,在異步隨機(jī)梯度下降（Asynchronous Stochastic Grad... 

【文章頁(yè)數(shù)】：92 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)內(nèi)研究現(xiàn)狀
        1.2.2 國(guó)外研究現(xiàn)狀
    1.3 主要研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 相關(guān)理論基礎(chǔ)
    2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
        2.1.2 損失函數(shù)
        2.1.3 防止過(guò)擬合機(jī)制
    2.2 隨機(jī)梯度下降算法
        2.2.1 Momentum
        2.2.2 Adam
        2.2.3 Amsgrad
        2.2.4 SSGD
        2.2.5 ASGD
        2.2.6 MDCASGD
    2.3 本章小結(jié)
第3章 基于卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)率優(yōu)化算法
    3.1 問(wèn)題分析
    3.2 策略描述
    3.3 自適應(yīng)學(xué)習(xí)率優(yōu)化算法ACADG
        3.3.1 ACADG算法描述
        3.3.2 ACADG算法執(zhí)行過(guò)程
        3.3.3 ACADG算法相關(guān)性能
    3.4 本章小結(jié)
第4章 基于卷積神經(jīng)網(wǎng)絡(luò)的梯度延遲優(yōu)化算法
    4.1 問(wèn)題分析
    4.2 策略描述
    4.3 梯度延遲優(yōu)化算法DASGD
        4.3.1 DASGD算法描述
        4.3.2 DASGD算法執(zhí)行過(guò)程
        4.3.3 DASGD算法相關(guān)性能
    4.4 本章小結(jié)
第5章 實(shí)驗(yàn)與結(jié)果分析
    5.1 實(shí)驗(yàn)數(shù)據(jù)
    5.2 自適應(yīng)學(xué)習(xí)率優(yōu)化算法ACADG的實(shí)驗(yàn)與結(jié)果分析
        5.2.1 實(shí)驗(yàn)環(huán)境
        5.2.2 ACADG算法在合成損失函數(shù)上的實(shí)驗(yàn)與結(jié)果分析
        5.2.3 ACADG算法在Mnist數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析
        5.2.4 ACADG算法在Cifar10 數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析
    5.3 梯度延遲優(yōu)化算法DASGD的實(shí)驗(yàn)與結(jié)果分析
        5.3.1 實(shí)驗(yàn)環(huán)境
        5.3.2 DASGD算法在Cifar10 數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析
        5.3.3 DASGD算法在Tiny-Image Net數(shù)據(jù)集上的實(shí)驗(yàn)與結(jié)果分析
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 未來(lái)展望
    6.3 本章小結(jié)
參考文獻(xiàn)
致謝
碩士期間發(fā)表的論文和參與的課題


【參考文獻(xiàn)】：
期刊論文
[1]改進(jìn)遺傳模擬退火算法優(yōu)化BP算法研究[J]. 郭彩杏,郭曉金,柏林江.  小型微型計(jì)算機(jī)系統(tǒng). 2019(10)
[2]基于平移不變CNN的機(jī)械故障診斷研究[J]. 朱會(huì)杰,王新晴,芮挺,張欲保,李艷峰.  振動(dòng)與沖擊. 2019(05)
[3]ReLU激活函數(shù)優(yōu)化研究[J]. 蔣昂波,王維維.  傳感器與微系統(tǒng). 2018(02)
[4]分布式隨機(jī)方差消減梯度下降算法topkSVRG[J]. 王建飛,亢良伊,劉杰,葉丹.  計(jì)算機(jī)科學(xué)與探索. 2018(07)
[5]MFSC系數(shù)特征局部有限權(quán)重共享CNN語(yǔ)音識(shí)別[J]. 黃玉蕾,羅曉霞,劉篤仁.  控制工程. 2017(07)



本文編號(hào)：3680883