近年來(lái),深度學(xué)習(xí)及相關(guān)方法已經(jīng)在計(jì)算機(jī)視覺(jué)研究領(lǐng)域占據(jù)了統(tǒng)治地位。隨著GPU等高速計(jì)算處理硬件的逐步普及,在計(jì)算量得到保證的情況下,設(shè)計(jì)包含更多層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型可以簡(jiǎn)單有效地大幅提升各種計(jì)算機(jī)視覺(jué)任務(wù)的精確度。然而,簡(jiǎn)單地增加網(wǎng)絡(luò)層數(shù)存在一些明顯的問(wèn)題。首先,模型的精確度隨著層數(shù)增加到一定程度后達(dá)到穩(wěn)定,無(wú)法進(jìn)一步上升甚至不升反降。這種現(xiàn)象稱(chēng)為模型退化（Degradation）。堆疊卷積層并不能增加模型學(xué)習(xí)到的非線(xiàn)性項(xiàng),所以并不利于復(fù)雜問(wèn)題中的特征分布擬合。其次,層數(shù)的增加帶來(lái)了參數(shù)與計(jì)算量的大幅增加,導(dǎo)致模型訓(xùn)練時(shí)間大幅上升,不利于實(shí)際問(wèn)題中的模型應(yīng)用。可以看出,卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)尚存在較大的研究空間。受到將單支神經(jīng)網(wǎng)絡(luò)改進(jìn)為多支網(wǎng)絡(luò)的啟發(fā),我們將神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都改進(jìn)為一個(gè)由并行的兩分支組成的二階響應(yīng)變換（Second-Order Response Transform,SORT）模塊。在傳統(tǒng)的兩分支神經(jīng)網(wǎng)絡(luò)對(duì)于分支輸出求和的基礎(chǔ)上,我們?cè)黾恿税次磺蟪朔e的操作,使得最終傳遞的響應(yīng)同時(shí)包含一階項(xiàng)和二階項(xiàng)。二階響應(yīng)變換的一大優(yōu)勢(shì)是可以促進(jìn)網(wǎng)絡(luò)中不同分支間的響應(yīng)的共享和傳播... 

【文章頁(yè)數(shù)】：93 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
        1.1.1 圖像模式識(shí)別
        1.1.2 深度卷積神經(jīng)網(wǎng)絡(luò)
        1.1.3 卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)
    1.2 本文的主要研究?jī)?nèi)容與創(chuàng)新成果
    1.3 本文的結(jié)構(gòu)安排
第二章 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)演變
    2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.1 GoogLeNet與 Inception模塊
        2.1.2 由Highway網(wǎng)絡(luò)到殘差神經(jīng)網(wǎng)絡(luò)
        2.1.3 多支網(wǎng)絡(luò)結(jié)構(gòu)的近期發(fā)展
        2.1.4 雙線(xiàn)性神經(jīng)網(wǎng)絡(luò)(Bilinear CNN)
    2.2 本章小結(jié)
第三章 二階響應(yīng)變換
    3.1 研究背景:多分支網(wǎng)絡(luò)連接方法
    3.2 二階響應(yīng)變換模塊
        3.2.1 結(jié)構(gòu)簡(jiǎn)述
        3.2.2 分支間的響應(yīng)傳播
        3.2.3 網(wǎng)絡(luò)中的非線(xiàn)性
        3.2.4 與其他研究工作的關(guān)系
    3.3 小規(guī)模圖片數(shù)據(jù)集上的實(shí)驗(yàn)
        3.3.1 實(shí)驗(yàn)環(huán)境
        3.3.2 實(shí)驗(yàn)?zāi)Ｐ?br>        3.3.3 實(shí)驗(yàn)結(jié)果
        3.3.4 實(shí)驗(yàn)結(jié)果分析與討論
    3.4 大規(guī)模圖片數(shù)據(jù)集上的實(shí)驗(yàn)
        3.4.1 實(shí)驗(yàn)環(huán)境
        3.4.2 實(shí)驗(yàn)結(jié)果
        3.4.3 實(shí)驗(yàn)結(jié)果討論與分析
    3.5 遷移學(xué)習(xí)
    3.6 本章小結(jié)
第四章 多尺度空間不對(duì)稱(chēng)校正
    4.1 研究背景:注意力模型
    4.2 多尺度空間不對(duì)稱(chēng)校正模塊
        4.2.1 卷積網(wǎng)絡(luò)與空間不對(duì)稱(chēng)性
        4.2.2 空間不對(duì)稱(chēng)重標(biāo)定
        4.2.3 多尺度空間不對(duì)稱(chēng)重標(biāo)定
        4.2.4 多種卷積神經(jīng)網(wǎng)絡(luò)上的重標(biāo)定模型設(shè)計(jì)
        4.2.5 模型計(jì)算量
    4.3 CIFAR數(shù)據(jù)集上的實(shí)驗(yàn)
        4.3.1 實(shí)驗(yàn)環(huán)境
        4.3.2 實(shí)驗(yàn)結(jié)果與分析
    4.4 消融實(shí)驗(yàn)與分析
    4.5 ILSVRC2012 數(shù)據(jù)集上的實(shí)驗(yàn)
        4.5.1 實(shí)驗(yàn)環(huán)境
        4.5.2 實(shí)驗(yàn)結(jié)果與分析
    4.6 本章小結(jié)
第五章 全文總結(jié)與研究展望
    5.1 全文總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文



本文編號(hào)：3682228