關(guān)鍵詞識別（Keyword spotting,KWS）是一個熱門的研究方向,在可穿戴設備、機器人和智能家居等領域有著大量的應用空間。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network,CNN）能夠聯(lián)合語音信號時域和頻域的特征,并且對于噪聲有很好的魯棒性,因此成為關(guān)鍵詞識別中最重要的神經(jīng)網(wǎng)絡算法之一。但是CNN參數(shù)量和計算量巨大,限制了關(guān)鍵詞識別在便攜式設備的部署,因此卷積神經(jīng)網(wǎng)絡的壓縮有著十分重大的現(xiàn)實意義。本文的KWS系統(tǒng)是基于CNN實現(xiàn)的,而CNN是計算密集型和存儲密集型,因此本文對CNN進行壓縮,壓縮主要包括量化和剪枝兩個方面。通過對權(quán)重參數(shù)、激活值和網(wǎng)絡輸入進行量化以及對卷積層進行剪枝,可以大大減小模型的參數(shù)量和計算量。權(quán)重二值化可以大大壓縮參數(shù)的存儲空間,但二值化造成網(wǎng)絡性能下降,本文采用漸進量化的策略對權(quán)重進行二值化,有效減少了網(wǎng)絡的性能損失。由于CNN模型在計算過程中每層有大量的輸出（激活值）,通過對激活值進行低位寬量化可以大大減小模型大小。對網(wǎng)絡輸入進行量化造成了極大的信息損失,本文提出高階殘差量化方案,通過高階殘差量化從量化丟失的信息中提取有用信息... 

【文章來源】：東南大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
        1.1.1 關(guān)鍵詞識別的研究進展
        1.1.2 深度神經(jīng)網(wǎng)絡壓縮的意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究內(nèi)容與設計指標
    1.4 論文組織結(jié)構(gòu)
第二章 卷積神經(jīng)網(wǎng)絡算法特性分析
    2.1 卷積神經(jīng)網(wǎng)絡基本算法分析
        2.1.1 神經(jīng)元的模型
        2.1.2 卷積神經(jīng)網(wǎng)絡算法
    2.2 卷積神經(jīng)網(wǎng)絡計算和存儲特性分析
        2.2.1 卷積層計算特性分析
        2.2.2 全連接層參數(shù)特性分析
    2.3 本章小結(jié)
第三章 基于漸進量化和卷積核級剪枝的神經(jīng)網(wǎng)絡模型壓縮研究
    3.1 神經(jīng)網(wǎng)絡的量化方案
        3.1.1 權(quán)重的漸進量化
        3.1.2 激活值的量化
    3.2 高階殘差量化
    3.3 卷積核級剪枝
        3.3.1 卷積核級剪枝的可行性分析
        3.3.2 基于前后級聯(lián)合評價策略的卷積核級剪枝方案
    3.4 本章小結(jié)
第四章 基于卷積神經(jīng)網(wǎng)絡壓縮算法的關(guān)鍵詞識別系統(tǒng)設計
    4.1 基于卷積神經(jīng)網(wǎng)絡的關(guān)鍵詞識別系統(tǒng)設計
        4.1.1 特征提取方案設計
        4.1.2 關(guān)鍵詞識別網(wǎng)絡結(jié)構(gòu)
    4.2 基于量化剪枝卷積神經(jīng)網(wǎng)絡的關(guān)鍵詞識別系統(tǒng)設計
        4.2.1 量化技術(shù)在關(guān)鍵詞識別網(wǎng)絡中的實施方案
        4.2.2 基于前后級聯(lián)合評價策略的卷積核級剪枝實施方案
    4.3 KWS系統(tǒng)的FPGA實現(xiàn)
    4.4 本章小結(jié)
第五章 驗證與結(jié)果分析
    5.1 壓縮技術(shù)有效性驗證
        5.1.1 量化方案驗證及分析
        5.1.2 基于前后級聯(lián)合評價策略的卷積核級剪枝方案有效性驗證
    5.2 基于卷積神經(jīng)網(wǎng)絡量化剪枝的KWS系統(tǒng)測試與驗證
        5.2.1 KWS系統(tǒng)中量化方案驗證
        5.2.2 KWS系統(tǒng)中量化和剪枝聯(lián)合實施方案驗證
        5.2.3 FPGA驗證
    5.3 方案對比
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
致謝
參考文獻
作者簡介



本文編號：3163136