小樣本學習的目的在于學習一個具有良好泛化性能的分類模型,當只有一個或者幾個樣本時,該模型也能快速泛化到新的類別上。這在現(xiàn)實中具有很重要的應用價值,因為一方面很多時候一些新的類別的樣本是很難獲取的,另一方面有些應用中的樣本標注往往是非常困難的。由于每個類別中極其有限的樣本個數(shù)很難有效地表達類別分布,使得小樣本學習問題非常具有挑戰(zhàn)性。小樣本學習目前主要有三類方法,即基于數(shù)據(jù)擴充的方法,基于元學習的方法和基于度量的方法。本文主要從基于度量這類方法著手,分析目前小樣本學習中主要存在五個挑戰(zhàn),即知識的遷移、圖像表征、概念表征、關系度量和模型魯棒性,并提出相應的解決方案。具體地,本文主要提出以下四個創(chuàng)新方法:（1）提出一種協(xié)方差度量網(wǎng)絡框架（Covariance Metric Network,簡稱為Co-vaMNet）。針對目前小樣本學習中主要采用一階統(tǒng)計信息進行概念表征的問題,提出了一種二階統(tǒng)計信息的概念表征方法。因為二階統(tǒng)計信息往往比一階統(tǒng)計信息包含更多的信息量,更利于小樣本場景下的概念分布表征。具體地,我們采用包含二階信息的協(xié)方差矩陣對概念類別進行表征。為了有效計算協(xié)方差矩陣表示,我們首次將... 

【文章頁數(shù)】：114 頁

【學位級別】：博士

【文章目錄】：
中文摘要
英文摘要
1 緒論
    1.1 引言
    1.2 基于數(shù)據(jù)擴充的小樣本學習
    1.3 基于元學習的小樣本學習
    1.4 基于度量的小樣本學習
    1.5 小樣本分類問題的定義和描述
        1.5.1 問題形式化
        1.5.2 插曲訓練機制
    1.6 待研究問題與本文工作
2 基于協(xié)方差度量的小樣本學習
    2.1 引言
    2.2 CovaMNet:協(xié)方差度量網(wǎng)絡
        2.2.1 局部協(xié)方差表征
        2.2.2 協(xié)方差度量
        2.2.3 模型結構
    2.3 實驗
        2.3.1 miniImageNet上的小樣本分類
        2.3.2 tieredImageNet上的小樣本分類
        2.3.3 細粒度小樣本分類
    2.4 本章小結
    本章的主要工作已發(fā)表論文
3 基于對比分布度量的小樣本學習
    3.1 引言
    3.2 CDM:對比分布度量網(wǎng)絡
        3.2.1 特征嵌入與局部描述子分布
        3.2.2 基于Wasserstein距離的分布度量
        3.2.3 對比分布度量
        3.2.4 模型結構
    3.3 實驗
        3.3.1 數(shù)據(jù)集
        3.3.2 實驗設置
        3.3.3 對比方法
        3.3.4 miniImageNet上的小樣本分類
        3.3.5 tieredImageNet上的小樣本分類
        3.3.6 消融實驗
    3.4 本章小結
    本章的主要工作已投稿論文
4 基于圖像到類別度量的小樣本學習
    4.1 引言
    4.2 DN4:深度最近鄰神經(jīng)網(wǎng)絡
        4.2.1 受NBNN啟發(fā)的動機
        4.2.2 模型框架
        4.2.3 網(wǎng)絡結構
    4.3 實驗
        4.3.1 數(shù)據(jù)集
        4.3.2 實驗設置
        4.3.3 對比方法
        4.3.4 miniImageNet上的小樣本分類
        4.3.5 tieredImageNet上的小樣本分類
        4.3.6 細粒度小樣本分類
        4.3.7 討論
    4.4 本章小結
    本章的主要工作已發(fā)表論文
5 基于對抗訓練的防御型小樣本學習
    5.1 引言
        5.1.1 四個問題
    5.2 預備知識
        5.2.1 防御型小樣本學習
        5.2.2 相關符號
        5.2.3 攻擊方法
    5.3 MDAT:基于多層次分布的對抗訓練
        5.3.1 任務層分布
        5.3.2 樣本層分布
        5.3.3 統(tǒng)一的評價標準
    5.4 實驗
        5.4.1 對抗防御遷移
        5.4.2 miniImageNet上的對抗性防御
        5.4.3 CFAR-100上的對抗性防御
        5.4.4 消融實驗
        5.4.5 定性比較:F_β分數(shù)曲線
    5.5 相關工作的討論
    5.6 本章小結
    本章的主要工作已投稿論文
6 總結與展望
    6.1 總結
    6.2 展望
致謝
參考文獻
簡歷與科研成果



本文編號：3705926