模型壓縮與優(yōu)化是當下深度學習領域的研究熱點之一,致力于解決深度神經(jīng)網(wǎng)絡(Deep Neural Network,DNN)模型過度冗余,參數(shù)過大導致的運算量或存儲要求過高的問題。當前主流的基于低秩與稀疏分解的網(wǎng)絡壓縮方法沒有整體考慮權重的這兩種特性,忽略了它們之間的關聯(lián)。其次,模型壓縮涉及的超參數(shù),如秩、稀疏度等的搜索空間極大,高度依賴領域專家經(jīng)驗進行選擇。此外,在稀疏網(wǎng)絡的學習中,網(wǎng)絡連接結構與模型參數(shù)作為保證壓縮性能的關鍵,往往難以得到較理想的設置與訓練。大量試錯過程不僅浪費人力成本,也會造成嚴重的計算負擔,且最后只能找到單一的所謂“最優(yōu)解”,無法滿足用戶對不同場景下模型壓縮效果的需求。因此可見,在DNN模型壓縮學習與優(yōu)化方面,仍有較多亟待解決的問題。準確捕獲權重的結構特征,設計合理并高效的壓縮學習算法,是一個富有挑戰(zhàn)性的科學難題。本論文深入分析網(wǎng)絡權重的低秩與稀疏特性,提出新型的壓縮結構,并基于進化多目標優(yōu)化(Evolutionary Multi-objective Optimization,EMO)的思想,解決該類DNN模型壓縮所涉及的超參數(shù)難調,搜索難度高等難題。同時也基于該思...

【文章頁數(shù)】：83 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 引言
    1.2 論文研究背景與意義
    1.3 國內外研究現(xiàn)狀
        1.3.1 神經(jīng)網(wǎng)絡模型壓縮
        1.3.2 進化多目標機器學習
    1.4 本文研究內容與組織結構
第2章 模型壓縮與進化多目標技術概述
    2.1 引言
    2.2 模型壓縮技術概述
        2.2.1 壓縮方法分類
        2.2.2 壓縮方法基本框架
    2.3 進化多目標優(yōu)化技術
        2.3.1 多目標優(yōu)化簡介
        2.3.2 經(jīng)典多目標進化算法
    2.4 本章小結
第3章 基于低秩與稀疏特性的聯(lián)合壓縮方法
    3.1 引言
    3.2 聯(lián)合壓縮模型
        3.2.1 壓縮模型結構
        3.2.2 低秩與稀疏聯(lián)合分解
        3.2.3 全局稀疏矩陣性能補償
    3.3 模型壓縮實驗結果與分析
        3.3.1 基于Image Net的 VGG-16 壓縮結果
        3.3.2 基于CIFAR-10的VGG壓縮結果
        3.3.3 模型壓縮方法對比
    3.4 本章小結
第4章 進化多目標模型壓縮學習
    4.1 引言
    4.2 多目標壓縮學習模型
        4.2.1 多目標問題構建
        4.2.2 多目標進化壓縮學習模型框架
    4.3 高效子代壓縮模型生成
        4.3.1 遺傳算子設計
        4.3.2 超參數(shù)調優(yōu)
    4.4 候選子代模型評估與篩選
        4.4.1 適應度代理函數(shù)
        4.4.2 非支配排序機制
        4.4.3 基于種群分布性的距離度量準則
    4.5 仿真驗證與性能分析
        4.5.1 壓縮模型微調分析
        4.5.2 候選模型選擇效果
        4.5.3 基于CIFAR-10數(shù)據(jù)集的實驗結果
        4.5.4 基于CIFAR-10數(shù)據(jù)集的模型性能分析
        4.5.5 基于CIFAR-100數(shù)據(jù)集的實驗結果
    4.6 本章小結
第5章 進化多目標稀疏網(wǎng)絡學習與優(yōu)化
    5.1 引言
    5.2 多目標稀疏網(wǎng)絡訓練模型
        5.2.1 多目標模型構建
        5.2.2 網(wǎng)絡稀疏特性挖掘
        5.2.3 聯(lián)合訓練模型框架
    5.3 進化多目標稀疏網(wǎng)絡優(yōu)化
        5.3.1 網(wǎng)絡連接結構搜索
        5.3.2 模型參數(shù)微調
        5.3.3 區(qū)域進化
    5.4 仿真驗證與性能分析
        5.4.1 基于單層網(wǎng)絡的BP算法分析
        5.4.2 單層網(wǎng)絡聯(lián)合訓練實驗
        5.4.3 多層網(wǎng)絡實驗結果
        5.4.4 基于CIFAR-10的多層網(wǎng)絡實驗結果
    5.5 本章小結
第6章 總結和展望
    6.1 全文工作總結
    6.2 未來研究展望
參考文獻
指導教師對研究生學位論文的學術評語
研究生學位論文答辯委員會決議書
致謝
攻讀碩士學位期間的研究成果



本文編號：3767618