隨著高性能計(jì)算芯片的發(fā)展,在移動(dòng)設(shè)備上部署深度學(xué)習(xí)模型成為了當(dāng)今的熱門(mén)。卷積神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱CNN）作為深度學(xué)習(xí)技術(shù)的一種,由于其能夠自適應(yīng)地學(xué)習(xí)并組合出有效的特征,非常適用于花卉識(shí)別這種較難的細(xì)粒度圖像分類范疇。CNN通常有上百萬(wàn)個(gè)計(jì)算節(jié)點(diǎn)與參數(shù),這意味著硬件設(shè)施要有較強(qiáng)的算力與較大的存儲(chǔ)資源。然而在邊緣計(jì)算中（比如移動(dòng)端和嵌入式平臺(tái)）,設(shè)備的計(jì)算能力較低,內(nèi)存也較小,因此部署起來(lái)有較大難度。論文圍繞移動(dòng)端CNN的部署和優(yōu)化展開(kāi)研究,探索了一系列技術(shù)來(lái)使花卉識(shí)別模型尺寸更小、預(yù)測(cè)時(shí)間更短、識(shí)別精度更高。論文的主要工作包括:（1）模型選擇方面,詳細(xì)分析了CNN的演變和網(wǎng)絡(luò)結(jié)構(gòu),以及各種經(jīng)典的CNN架構(gòu)。接著從CNN的時(shí)間復(fù)雜度和空間復(fù)雜度入手,選擇了尺度、速度和精度都取得了較好權(quán)衡的輕量級(jí)CNN20MobileNet-V2。（2）模型訓(xùn)練和優(yōu)化方面,通過(guò)對(duì)CNN的訓(xùn)練流程和常用優(yōu)化算法進(jìn)行分析,提出了一種結(jié)合Momentum的RMSProp優(yōu)化算法,和其它優(yōu)化算法相比,該算法在相同的迭代輪數(shù)內(nèi),損失函數(shù)下降得更快,正確率上升得更高,更快尋找到最優(yōu)解。另外本文采用同步模式的雙GPU并行訓(xùn)練... 

【文章來(lái)源】：華僑大學(xué)福建省

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 數(shù)據(jù)集的選擇
        1.2.2 傳統(tǒng)機(jī)器學(xué)習(xí)方法
        1.2.3 深度學(xué)習(xí)方法
        1.2.4 深度學(xué)習(xí)模型的壓縮與量化
    1.3 論文的組織結(jié)構(gòu)
第2章 深度卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)技術(shù)
    2.1 全連接神經(jīng)網(wǎng)絡(luò)
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 卷積層
        2.2.2 池化層
        2.2.3 全連接層
        2.2.4 Batch Normalization層
        2.2.5 Softmax層
        2.2.6 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)
    2.3 面向移動(dòng)端的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)
        2.3.1 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度分析
        2.3.2 MobileNet-V
    2.4 本章小結(jié)
第3章 改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法和訓(xùn)練策略
    3.1 深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程
        3.1.1 特征學(xué)習(xí)
        3.1.2 損失函數(shù)
        3.1.3 梯度下降算法
        3.1.4 反向傳播算法
        3.1.5 過(guò)擬合現(xiàn)象
    3.2 改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法
        3.2.1 常用深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法
        3.2.2 結(jié)合Momentum的 RMSProp優(yōu)化算法
    3.3 深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略
        3.3.1 同步模式多GPU并行訓(xùn)練
        3.3.2 遷移學(xué)習(xí)
        3.3.3 數(shù)據(jù)增強(qiáng)
        3.3.4 正則化
    3.4 本章小結(jié)
第4章 高效8-bit整數(shù)運(yùn)算神經(jīng)網(wǎng)絡(luò)
    4.1 高效8-bit整數(shù)運(yùn)算神經(jīng)網(wǎng)絡(luò)量化方案
        4.1.1 神經(jīng)網(wǎng)絡(luò)權(quán)值分布特征
        4.1.2 均勻仿射量化
        4.1.3 卷積計(jì)算轉(zhuǎn)化為矩陣乘法
        4.1.4 量化的整數(shù)運(yùn)算矩陣乘法
        4.1.5 典型的融合層實(shí)現(xiàn)
        4.1.6 模擬量化訓(xùn)練
    4.2 本章小結(jié)
第5章 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
    5.1 評(píng)估數(shù)據(jù)集
    5.2 實(shí)驗(yàn)環(huán)境
        5.2.1 基于TensorFlow的主機(jī)訓(xùn)練平臺(tái)
        5.2.2 基于TensorFlow Lite的移動(dòng)端開(kāi)發(fā)
    5.3 改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法和訓(xùn)練策略實(shí)驗(yàn)
        5.3.1 結(jié)合Momentum的 RMSProp優(yōu)化算法與其他優(yōu)化算法對(duì)比
        5.3.2 雙GPU并行訓(xùn)練與單GPU訓(xùn)練對(duì)比
        5.3.3 不同的訓(xùn)練策略對(duì)最終精度的影響
    5.4 8-bit 模型量化實(shí)驗(yàn)
        5.4.1 未模擬量化訓(xùn)練
        5.4.2 模擬量化訓(xùn)練
    5.5 與其它花卉識(shí)別模型的對(duì)比實(shí)驗(yàn)
    5.6 移動(dòng)端效果圖
    5.7 本章小結(jié)
第6章 總結(jié)與展望
    6.1 主要工作與總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
附錄A 實(shí)驗(yàn)開(kāi)源代碼
個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號(hào)：3177095