以深度神經網絡為代表的深度學習最近發(fā)展迅速,并實際運用在圖像識別、語音識別和自然語言處理等諸多領域。然而有研究指出深度學習還存在一些問題,其中可能會造成重大安全問題的對抗樣本問題引起了學術界廣泛關注。對深度學習對抗樣本問題進行深度而全面的探討,不僅有助于解決潛藏的安全隱患,也利于促進深度學習理論的研究,具有重要的理論和現實意義。本文針對深度學習對抗樣本問題,對深度神經網絡和對抗樣本進行深入地理論研究和實驗分析,并將知識蒸餾應用于深度學習對抗樣本問題,提出了一種新的對抗樣本的防御策略,并且在對抗樣本的應用上基于對抗樣本和知識蒸餾提出一種新的模型集成方法。本文的主要工作和成果如下:1.針對對抗樣本問題,提出一種基于對抗訓練和知識蒸餾的防御方法,兩階段對抗知識遷移。此方法先將對抗樣本作為訓練數據進行對抗訓練得到魯棒性強的復雜的教師網絡,完成將對抗知識從數據遷移到模型;其次利用教師網路對干凈樣本和對抗樣本輸出的軟標簽進行知識蒸餾,得到魯棒性強的學生網絡,完成將對抗知識從模型遷移到模型。2.針對對抗樣本的應用,提出一種基于知識蒸餾和對抗樣本的集成方法。影響模型集成的要素有模型準確性和模型差異性,...

【文章頁數】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景
    1.2 研究現狀
    1.3 研究意義
    1.4 論文結構
    參考文獻
第2章 深度學習與神經網絡
    2.1 人工神經網絡
    2.2 深度學習
        2.2.1 CNN結構
        2.2.2 經典卷積神經網絡
        2.2.3 深度神經網絡的壓縮
    參考文獻
第3章 深度學習中的對抗樣本問題
    3.1 對抗樣本的定義
    3.2 生成對抗樣本的攻擊方法
        3.2.1 Box-constrained L-BFGS攻擊方法
        3.2.2 FGSM攻擊方法及其衍生方法
        3.2.3 C&W攻擊方法及其衍生方法
        3.2.4 DeepFool攻擊方法
        3.2.5 JSMA攻擊方法
    3.3 防御對抗樣本的防御策略
        3.3.1 對抗訓練
        3.3.2 隱藏梯度信息
    參考文獻
第4章 兩階段對抗知識遷移
    4.1 對抗知識遷移
        4.1.1 對抗知識從數據到模型遷移
        4.1.2 對抗知識從模型到模型遷移
    4.2 實驗評估
        4.2.1 數據集與模型設置
        4.2.2 對抗知識遷移的有效性
        4.2.3 模型的魯棒性評估
        4.2.4 訓練過程的收斂性分析
    4.3 結論
    參考文獻
第5章 基于對抗樣本蒸餾的神經網絡集成
    5.1 預備知識
        5.1.1 對抗樣本增強知識蒸餾
        5.1.2 神經網絡集成
    5.2 基于對抗樣本蒸餾的神經網絡集成
        5.2.1 知識蒸餾和邊界支持對抗樣本的實現
        5.2.2 神經網絡集成的實現
        5.2.3 基于對抗樣本蒸餾的神經網絡集成
    5.3 實驗評估
        5.3.1 數據集與網絡結構
        5.3.2 不同溫度下知識蒸餾網絡的性能
        5.3.3 知識蒸餾模型的集成
        5.3.4 基于對抗樣本蒸餾的神經網絡集成
    5.4 結論
    參考文獻
第6章 結論與展望
    6.1 結論
    6.2 展望
致謝
攻讀學位期間參加的科研項目和成果



本文編號：3864743