基于深度學(xué)習(xí)的文本分類是一項非常依賴標(biāo)記數(shù)據(jù)的有監(jiān)督學(xué)習(xí)任務(wù),高質(zhì)量大規(guī)模的標(biāo)記數(shù)據(jù)集通常很難獲得,人工標(biāo)記數(shù)據(jù)的成本過于高昂。針對這一現(xiàn)象,本論文研究了使用深度遷移學(xué)習(xí)技術(shù)解決這一問題的可行性和適用性,通過利用未標(biāo)記數(shù)據(jù)和相關(guān)領(lǐng)域的標(biāo)記數(shù)據(jù),降低對目標(biāo)領(lǐng)域標(biāo)記數(shù)據(jù)的依賴程度。在基于任務(wù)的遷移和基于領(lǐng)域的遷移兩個方面對LSTM文本分類模型（Long Short Term Memory Based Classification Model）提出了改進(jìn)與創(chuàng)新,本文主要研究工作如下:（1）對LSTM文本分類模型和深度遷移學(xué)習(xí)技術(shù)進(jìn)行了介紹。在基于任務(wù)的深度遷移方面,分析了SA自編碼器（Seq2seq Autoencoder）的結(jié)構(gòu)及其作為源任務(wù)的深度遷移方法。在基于領(lǐng)域的深度遷移方面,對傳統(tǒng)跨領(lǐng)域遷移學(xué)習(xí)方法進(jìn)行了研究。（2）針對SA自編碼器捕捉文本表示特征能力較弱的問題,本文將對抗訓(xùn)練引入SA自編碼器,使其能夠在無監(jiān)督狀態(tài)下,從被對抗擾動破壞的輸入中重構(gòu)原文,不再是對輸入文本的簡單復(fù)制。此外,本文使用Bi-LSTM網(wǎng)絡(luò)構(gòu)造編碼器,使其能夠根據(jù)前后文的雙向信息進(jìn)行語義編碼,并使編碼結(jié)果參與每... 

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 課題研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 文本分類技術(shù)研究現(xiàn)狀
        1.2.2 遷移學(xué)習(xí)技術(shù)研究現(xiàn)狀
    1.3 論文研究內(nèi)容及組織結(jié)構(gòu)
        1.3.1 論文主要研究內(nèi)容
        1.3.2 論文組織結(jié)構(gòu)
    1.4 本章小結(jié)
第2章 LSTM文本分類與深度遷移
    2.1 基于LSTM網(wǎng)絡(luò)的文本分類技術(shù)
        2.1.1 LSTM網(wǎng)絡(luò)
        2.1.2 Softmax分類器
        2.1.3 LSTM文本分類模型
    2.2 深度遷移學(xué)習(xí)技術(shù)
        2.2.1 遷移學(xué)習(xí)定義及分類
        2.2.2 深度遷移學(xué)習(xí)方法簡介
        2.2.3 神經(jīng)網(wǎng)絡(luò)的遷移與訓(xùn)練
    2.3 基于深度遷移的文本分類模型
        2.3.1 RNNLM語言模型
        2.3.2 以RNNLM為源任務(wù)的深度遷移
    2.4 本章小節(jié)
第3章 改進(jìn)的SA自編碼器及其深度遷移
    3.1 SA自編碼器模型及其深度遷移方法研究
        3.1.1 Seq2seq架構(gòu)研究
        3.1.2 SA自編碼器模型
        3.1.3 以SA自編碼器為源任務(wù)的深度遷移方法
    3.2 改進(jìn)的SA自編碼器模型構(gòu)建及其深度遷移
        3.2.1 AdvSA自編碼器特點概述
        3.2.2 引入對抗訓(xùn)練的嵌入層
        3.2.3 改進(jìn)的編碼器與解碼器
        3.2.4 解碼器詞匯表構(gòu)建
        3.2.5 以改進(jìn)的SA自編碼器為源任務(wù)的深度遷移
    3.3 本章小節(jié)
第4章 基于跨領(lǐng)域遷移的文本分類模型
    4.1 領(lǐng)域差異度量
    4.2 傳統(tǒng)跨領(lǐng)域遷移學(xué)習(xí)方法研究
        4.2.1 數(shù)據(jù)分布自適應(yīng)方法
        4.2.2 特征選擇方法
    4.3 AM-AdpLSTM文本分類模型構(gòu)建
        4.3.1 網(wǎng)絡(luò)自適應(yīng)與注意力機制原理
        4.3.2 AM-AdpLSTM模型特點概述
        4.3.3 AM-AdpLSTM模型網(wǎng)絡(luò)結(jié)構(gòu)
        4.3.4 特征選擇層內(nèi)部機制
        4.3.5 自適應(yīng)層及模型損失
    4.4 任務(wù)與領(lǐng)域共同遷移的文本分類模型構(gòu)建
    4.5 本章小結(jié)
第5章 實驗結(jié)果及分析
    5.1 文本分類評價指標(biāo)
    5.2 實驗環(huán)境
    5.3 基于自編碼器任務(wù)遷移的文本分類實驗
        5.3.1 實驗設(shè)計
        5.3.2 實驗數(shù)據(jù)集及預(yù)處理
        5.3.3 模型結(jié)構(gòu)及參數(shù)設(shè)置
        5.3.4 模型參數(shù)評估
        5.3.5 實驗結(jié)果分析
    5.4 基于跨領(lǐng)域遷移的文本分類實驗
        5.4.1 實驗設(shè)計
        5.4.2 實驗數(shù)據(jù)集及預(yù)處理
        5.4.3 模型結(jié)構(gòu)及參數(shù)設(shè)置
        5.4.4 模型參數(shù)評估
        5.4.5 實驗結(jié)果分析
    5.5 本章小結(jié)
總結(jié)與展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及科研成果



本文編號：3646491