近年來,隨著計算機的性能突飛猛進,特別是圖形處理單元（GPU）的使用,促進著自然語言處理領域研究的不斷發(fā)展,其中,基于深度學習的對話系統(tǒng)取得了巨大的進步。然而,當前對話系統(tǒng)的研究主要集中于對于句子語義的理解,并未考慮到情感因素對于整個系統(tǒng)的影響。情商作為人類智力的重要組成部分,高情商的人可以察言觀色,根據(jù)對話中的情感因素給出最佳的回復。所以讓對話系統(tǒng)能夠進行情感表達,可以提高對話系統(tǒng)生成對話的質(zhì)量,從而帶來更好的用戶體驗。同時,生成式對抗網(wǎng)絡在對話系統(tǒng)的使用,可以提高傳統(tǒng)機器學習方法的準確性,并使得生成的對話更加類人化。首先,本文對機器翻譯模型Transformer和GNA-RNN模型中的語言子網(wǎng)絡的結構和原理進行了相關研究。Transformer模型中通過對詞向量進行多尺度的變換,可以得到不同維度的語義特征,進而提高了模型的準確性;GNA-RNN模型通過語言子網(wǎng)絡增加語句中重要單詞的權重,從而提高了模型進行相關圖片搜索的能力。為了提高序列生成模型的準確性,本文提出了詞級權重網(wǎng)絡,將經(jīng)過詞嵌入的語句向量作為輸入,語句中各單詞的權重作為輸出,并與序列生成模型生成的語句相乘,得到最終的輸出... 

【文章來源】：遼寧大學遼寧省 211工程院校

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)機器翻譯
        1.2.2 智能對話系統(tǒng)
    1.3 本文主要研究內(nèi)容與章節(jié)安排
        1.3.1 主要研究內(nèi)容
        1.3.2 章節(jié)安排
第2章 基于對抗性網(wǎng)絡對話生成的相關理論基礎
    2.1 循環(huán)神經(jīng)網(wǎng)絡
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡基本理論
        2.1.2 長短期記憶網(wǎng)絡LSTM
        2.1.3 門控循環(huán)單元GRU
    2.2 Seq2Seq模型
        2.2.1 Seq2Seq模型基本理論
        2.2.2 注意力機制
    2.3 生成式對抗網(wǎng)絡GAN
        2.3.1 GAN模型基本理論
        2.3.2 文本序列生成模型SeqGAN
    2.4 本章小節(jié)
第3章 基于詞級權重的文本序列生成模型改進方法
    3.1 機器翻譯模型Transformer
        3.1.1 編碼器和解碼器堆
        3.1.2 Transformer模型中的注意力機制
        3.1.3 位置編碼
    3.2 詞級權重方法的提出
        3.2.1 GNA-RNN中的語言子網(wǎng)絡
        3.2.2 關鍵詞權重計算方法TF-IDF
    3.3 基于詞級權重的序列生成網(wǎng)絡
        3.3.1 詞級權重網(wǎng)絡
        3.3.2 基于詞級權重的Transformer模型
        3.3.3 基于詞級權重的ECM模型
    3.4 本章小結
第4章 基于對抗性ECM模型的對話生成方法
    4.1 多情感對話生成模型ECM
        4.1.1 Encoder-decoder框架
        4.1.2 多情感對話生成任務
    4.2 ECM模型的實現(xiàn)機制
        4.2.1 情感類別嵌入
        4.2.2 內(nèi)部情感記憶
        4.2.3 外部情感記憶
        4.2.4 ECM的損失函數(shù)
    4.3 對抗性多情感對話生成模型ECGAN
        4.3.1 策略梯度
        4.3.2 ECGAN獎勵機制
        4.3.3 教師激勵機制
        4.3.4 ECGAN模型算法
    4.4 本章小結
第5章 實驗結果及分析
    5.1 實驗環(huán)境
        5.1.1 實驗硬件環(huán)境
        5.1.2 實驗軟件環(huán)境
    5.2 實驗數(shù)據(jù)集
        5.2.1 IWSLT16英語-德語平行語料庫
        5.2.2 NLPCC2017數(shù)據(jù)集
    5.3 實驗評價標準
        5.3.1 BLEU標準
        5.3.2 METEOR標準
    5.4 實驗結果及分析
        5.4.1 帶有詞級權重的序列生成模型實驗結果
        5.4.2 ECGAN模型實驗結果及分析
    5.5 本章小結
第6章 總結與展望
    6.1 總結
    6.2 進一步工作方向
致謝
參考文獻
攻讀學位期間發(fā)表的學術論文及參加科研情況


【參考文獻】：
期刊論文
[1]深度學習方法研究綜述[J]. 高明旭,李靖,朱緒平,常延輝.  中國科技信息. 2019(10)
[2]一種基于詞級權重的Transformer模型改進方法[J]. 王明申,牛斌,馬利.  小型微型計算機系統(tǒng). 2019(04)
[3]基于深度學習的生成式聊天機器人算法綜述[J]. 孫立茹,余華云.  電腦知識與技術. 2018(23)



本文編號：3201505