【摘要】：人機對話作為人工智能領(lǐng)域的核心技術(shù)之一,一直以來備受學(xué)術(shù)界與工業(yè)界的關(guān)注。早期,人機對話系統(tǒng)的構(gòu)建主要基于規(guī)則、模板或者檢索的方法。近年來,深度學(xué)習(xí)技術(shù)的發(fā)展使得現(xiàn)有人機對話技術(shù)有了突破性的進展。隨著人機對話系統(tǒng)應(yīng)用場景的不斷擴展,人們提出更高的需求,無論是任務(wù)型人機對話還是開放域的閑聊,都希望機器兼具智商與情商,能夠靈活地與人交流,理解并且表達情感,而不是給出冷冰冰的回復(fù)。然而,現(xiàn)有的對話生成研究大多致力于提高回復(fù)內(nèi)容的相關(guān)性,在情感對話生成上的研究還較少。本文研究基于深度學(xué)習(xí)的情感對話生成,即根據(jù)用戶對話消息與指定情感類別,生成語法正確、內(nèi)容相關(guān)且包含指定情感的回復(fù),情感類別包括{其他、喜歡、悲傷、厭惡、憤怒、快樂}六種。本文的主要工作如下。本文提出基于內(nèi)容與情感聯(lián)合解碼的情感對話生成模型(EDG-JDCE)。研究表明,在對話生成模型中加入情感因素會導(dǎo)致生成回復(fù)的內(nèi)容相關(guān)性降低。為了緩解上述問題,該模型構(gòu)建基于內(nèi)容與情感的聯(lián)合注意力機制與聯(lián)合解碼器。在解碼器中設(shè)計獨立的內(nèi)容解碼單元與情感解碼單元,分別學(xué)習(xí)對話中內(nèi)容與情感的表達能力。在解碼過程中,引入基于內(nèi)容與情感的聯(lián)合注意力機制,根據(jù)內(nèi)容與情感的表達狀態(tài),獲取注意力權(quán)重,動態(tài)對用戶對話消息進行編碼。同時,本文在該模型的基礎(chǔ)上,探討One-hot與Embedding兩種常見的情感類別表示方式對模型的影響。本文在NLPCC2017發(fā)布的情感對話語料上進行對比實驗,實驗結(jié)果表明,相比其他模型,該模型在各項評價指標上均有一定程度的提升。EDG-JDCE模型使用極大似然函數(shù)作為目標函數(shù),同樣會出現(xiàn)這種方法下普遍存在的“安全回復(fù)”的問題,如“我不知道”等。為了提高回復(fù)的多樣性,本文提出基于序列生成對抗網(wǎng)絡(luò)的情感對話生成模型(EDG-SeqGAN),主要包括生成器、內(nèi)容與情感鑒別器。生成器使用EDG-JDCE模型,內(nèi)容與情感鑒別器均基于雙向長短時記憶網(wǎng)絡(luò)。在對抗訓(xùn)練中,使用內(nèi)容鑒別器保證生成器生成與用戶對話消息內(nèi)容相關(guān)的回復(fù),使用情感鑒別器引導(dǎo)生成器生成包含指定情感類別的回復(fù),從而最終生成更接近真實對話的回復(fù),提高回復(fù)的多樣性。實驗結(jié)果表明,本文模型生成的回復(fù)在內(nèi)容和情感上相關(guān),同時也更加豐富、多樣。
【學(xué)位授予單位】：華中師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.1;TP18
【圖文】：

復(fù)雜的長短時記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通過遺忘門、輸入逡逑門、輸出門實踐部保留長期記憶。ＬＳＴＭ也是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以串聯(lián)展逡逑開，模型如圖２．２所示。逡逑Ｑ邐？邐Ｑ逡逑邐，邐邐０邐丨丨＂�。邋褰皴澹卞澹у宀峰义希藻濉姡郏撸海姡催姟妭�邋＿＿＿＿＿逡逑＾邋ｉｆｆ邋ｒ＾＇邋［＾］逡逑丨丨邋．．．．」＾邋ｒｉ邋丨邋—邐邐逡逑◎邋？邋？逡逑圖２．２邋ＬＳＴＭ網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑９逡逑

＠邐④邐＠邐（ｊ；邐？逡逑圖２．１邋ＲＮＮ網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑其中，每個時刻有一個輸入ｘｔ，Ａ是ＲＮＮ的一個單元，心是每個時刻對應(yīng)的輸逡逑出，下一時刻的輸出￣由當前時刻的輸入Ａ與前一時刻的輸出計算得到，如公逡逑式２．１所示。逡逑ｈｔ邋－邋ａ（Ｗｈｈ邋■邋ｈｔ＿！邋＋邋Ｗｘｈ邋？邋ｘｔ）邐（公式邋２．１）逡逑其中與１４／Ｚ／１均為ＲＮＮ的參數(shù)，每個時刻的參數(shù)共享，Ｊ是激活函數(shù)，常用的逡逑激活函數(shù)有Ｓｉｇｍｏｉｄ函數(shù)、Ｔａｎｈ函數(shù)以及ＲｅＬｕ函數(shù)等。逡逑２．２．２長短時記憶網(wǎng)絡(luò)逡逑＿雖然可以將之前的序列數(shù)據(jù)進行關(guān)聯(lián)，但是隨著序列的增長，開始的信息逡逑會逐漸被遺忘，而越靠后的序列信息保留的越多，存在長期依賴（Ｌｏｎｇ－ｔｅｒｍ逡逑Ｄｅｐｅｎｄｅｎｃｉｅｓ）的問題。１９９７年Ｓｃｈｍｉｄｈｕｂｅｒ教授為解決此問題提出內(nèi)部結(jié)構(gòu)更加逡逑復(fù)雜的長短時記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通過遺忘門、輸入逡逑門、輸出門實踐部保留長期記憶。ＬＳＴＭ也是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以串聯(lián)展逡逑開，模型如圖２．２所示。逡逑Ｑ邐？邐Ｑ逡逑

ｔｆ＾．ｆ輸入門通過Ｓｉｇｍｏｉｄ函數(shù)控制接受前一時刻信息的程度，并通過非線性Ｔａｎｈ激逡逑活函數(shù)得到候選狀態(tài)Ｃｔ，如公式２．３、２．４所示。逡逑ｉｔ邋＝邋ａ（Ｗｉ邋■邐（公式邋２．３）逡逑Ｑ邋＝邋ｔａｎｈ（Ｍ／ｃ－邋［ｈｔ．ｉ．Ｘｆ］邋＋邋ｂｃ）邐（公式邋２．４）逡逑通過將上一時刻的狀態(tài)與遺忘門的參數(shù)相乘，表示需要忘記的信息，候選狀態(tài)逡逑與輸入門的參數(shù)相乘，表示保留現(xiàn)有的信息，兩者相加，更新為ＬＳＴＭ的狀態(tài)，如逡逑公式２．５所不。逡逑Ｃｔ邋＝邋ｆｔ邋＊邋＾ｔ－ｉ邋＋邋ｈ邋＊邋Ｑ邐（公式邋２．５）逡逑輸出門通過Ｓｉｇｍｏｉｄ函數(shù)決定最終要輸出的信息參數(shù)，并通過非線性Ｔａｎｈ激逡逑活函數(shù)進行映射與輸出門的參數(shù)相乘，得到最終輸出結(jié)果，如公式２．６、１７所示。逡逑ｏｔ邋＝邋ａ（Ｗ0邋■邐＋邋ｂ0）邐（公式邋２．６）逡逑ｈｔ邋＝邋ｏｔ邋＊邋ｔａｎｈ（Ｃ￡）邐（公式邋２．７）逡逑２．２．３門控循環(huán)單元網(wǎng)絡(luò)逡逑門控循環(huán)單元網(wǎng)絡(luò)（ＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＧＲＵ）是ＬＳＴＭ的一種變體［３６］’也逡逑是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型如圖２．３所示。逡逑？邐？邐Ｑ逡逑

【參考文獻】

相關(guān)碩士學(xué)位論文 前2條

1 范創(chuàng);人機對話中的情感文本生成方法研究[D];哈爾濱工業(yè)大學(xué);2018年

2 曹東巖;基于強化學(xué)習(xí)的開放領(lǐng)域聊天機器人對話生成算法[D];哈爾濱工業(yè)大學(xué);2017年

本文編號：2799021