神經(jīng)對(duì)話生成(Neural Dialogue Generation)模型是最近的研究熱點(diǎn)。其中基于LSTM的Seq2Seq是其中一個(gè)典型的模型,盡管該模型在對(duì)話生成取得成功,但是還存在一般性回復(fù)問題,陷入死循環(huán)問題和對(duì)話生成中情感傾向不可控問題等。本文的研究課題將探討對(duì)話生成中的情感傾向不可控問題。不同于目前的研究對(duì)象,本論文以生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks)為理論基礎(chǔ),依據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)構(gòu)建出具有情感傾向的對(duì)話生成模型。本文主要貢獻(xiàn)如下:(1)梳理歸納了近幾年生成對(duì)話模型的研究進(jìn)展,并總結(jié)了它們的優(yōu)缺點(diǎn),指出了情感因素在對(duì)話系統(tǒng)中的重要意義。(2)在生成式對(duì)話模型的情感控制研究中,通過對(duì)抗網(wǎng)絡(luò)和增強(qiáng)學(xué)習(xí)來指導(dǎo)生成模型的情感傾向。相比該方向的其他研究方法,該方法提出了一個(gè)新思路,并且有效便捷。(3)本文設(shè)計(jì)了一個(gè)全新的判別模型。提出了基于TextRank和Word2Vec結(jié)合的特征權(quán)重模型,通過該模型可以計(jì)算短文本的特征權(quán)重;除此之外,本文還將文本特征權(quán)重作為向量和分級(jí)分類模型得到的向量進(jìn)行拼接組合,得到一個(gè)具有文本語義和文本特征的...

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 對(duì)話模型的定義與劃分
    1.2 對(duì)話模型的研究歷史與現(xiàn)狀
    1.3 情感模型的研究歷史與現(xiàn)狀
    1.4 對(duì)話情感模型的研究意義
    1.5 本文的組織結(jié)構(gòu)
第2章 對(duì)話情感模型的相關(guān)技術(shù)介紹
    2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
        2.1.2 長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用與擴(kuò)展
    2.2 Sequence-to-Sequence模型
        2.2.1 Sequence-to-Sequence模型簡介
        2.2.2 帶有注意力機(jī)制的Sequence-to-Sequence模型
    2.3 TextRank算法
        2.3.1 PageRank算法
        2.3.2 TextRank算法
    2.4 Word2Vec算法
        2.4.1 詞向量簡介
        2.4.2 Word2Vec向量
    2.5 生成對(duì)抗網(wǎng)絡(luò)
    2.6 增強(qiáng)學(xué)習(xí)
        2.6.1 馬爾科夫決策過程
        2.6.2 增強(qiáng)學(xué)習(xí)
    2.7 本章小結(jié)
第3章 對(duì)話情感模型的算法設(shè)計(jì)
    3.1 對(duì)話情感模型概述
    3.2 生成模型設(shè)計(jì)
        3.2.1 生成模型概述
        3.2.2 具有注意力機(jī)制的Sequence-to-Sequence模型
    3.3 判別模型設(shè)計(jì)
    3.4 策略梯度的應(yīng)用
        3.4.1 策略梯度的概述
        3.4.2 蒙特卡洛采樣
        3.4.3 策略梯度的在模型中的應(yīng)用
    3.5 模型的損失函數(shù)
        3.5.1 損失函數(shù)概述
        3.5.2 交叉熵函數(shù)
    3.6 本章小結(jié)
第4章 對(duì)話情感模型的判別模型算法設(shè)計(jì)
    4.1 分級(jí)向量模型
    4.2 基于TextRank和Word2Vec結(jié)合的特征權(quán)重計(jì)算方法
    4.3 組合向量
    4.4 Sigmoid激活函數(shù)
    4.5 判別模型分類實(shí)驗(yàn)與分析
    4.6 本章小結(jié)
第5章 對(duì)話情感模型的實(shí)驗(yàn)設(shè)計(jì)與效果展示
    5.1 實(shí)驗(yàn)環(huán)境、語料及預(yù)處理
    5.2 對(duì)話情感模型的訓(xùn)練
    5.3 對(duì)話情感模型的效果展示
    5.4 本章小結(jié)
總結(jié)
    本文總結(jié)
    工作展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的研究成果
致謝



本文編號(hào)：3911605