在開放域?qū)υ捝上到y(tǒng)中,Seq2Seq模型取得了不錯的效果。但是,由于Seq2Seq模型沒有著重建模情感信息,因而該模型生成的回復語句往往在情感上與源語句不太匹配。為了在對話系統(tǒng)中引入外部情感信息進而引導其生成情感合適的回復語句,我們將基于PAD情感狀態(tài)模型的PAD情感向量引入Seq2Seq模型并取得了比傳統(tǒng)Seq2Seq模型更好的效果�！癙AD情感狀態(tài)模型”是用以描述和度量情感狀態(tài)的一種心理學模型,它包含三個數(shù)值型維度:愉悅度、激活度和優(yōu)勢度,理論上可以利用這三個維度表示所有的情感狀態(tài)。在本文中,首先,我們根據(jù)PAD情感向量詞典賦予每一個詞語一個三維的PAD情感向量,該向量代表了詞語的情感信息,然后,將詞語的PAD情感向量和詞向量一起作為編碼器的輸入進行“聯(lián)合編碼”,這為Seq2Seq模型增加了額外的情感信息。其次,為了解碼器能夠在解碼階段有選擇性地“關(guān)注”上下文的內(nèi)容信息和情感信息進而生成情感合適的回復,本文提出“聯(lián)合注意力機制”,包括“內(nèi)容注意力機制”和“情感注意力機制”�！扒楦凶⒁饬C制”基于PAD情感向量,它可以在解碼時有選擇地“關(guān)注”并充分利用源語句中詞語的PAD情感向量包... 

【文章來源】：華中師范大學湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

圖１．２開放域?qū)υ捪到y(tǒng)分類??［７］一“”

碩士學位論文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于詞語的上下文來預測當前詞語（計算其出現(xiàn)的概率）。它與前饋??神經(jīng)網(wǎng)絡(luò)語言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］類似，但將其中??的非線性隱藏層（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射層（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??為所有詞語所共享，因此所有詞語都映射到了相同位置。（詞語所對應的向量被平均??化了）因為歷史詞語的順序不影響映射過程，因此稱其為“詞袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ類似，但它則是給定某個詞語來計算同一句子中其前??后其他詞語出現(xiàn)的概率。模型將每個當前詞語作為一個具有連續(xù)映射層的丨ｏｇ－ｌｉｎｅａｒ??分類器的輸入，然后在一定范圍內(nèi)預測位于當前詞語前面和后面的詞語。并且該范??圍越大，生成的詞向量質(zhì)量越高，但計算復雜度也會相應升高。??上述模型是當前得到詞語分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同時提供??了現(xiàn)成的工具包ｗ〇ｒｄ２ｖｅｃ。實驗中，我們直接該工具包訓練詞向量。當然，也可以??利用其他工具進行預訓練，或者選擇隨機初始化同模型一起訓練。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??

碩士學位論文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于詞語的上下文來預測當前詞語（計算其出現(xiàn)的概率）。它與前饋??神經(jīng)網(wǎng)絡(luò)語言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］類似，但將其中??的非線性隱藏層（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射層（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??為所有詞語所共享，因此所有詞語都映射到了相同位置。（詞語所對應的向量被平均??化了）因為歷史詞語的順序不影響映射過程，因此稱其為“詞袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ類似，但它則是給定某個詞語來計算同一句子中其前??后其他詞語出現(xiàn)的概率。模型將每個當前詞語作為一個具有連續(xù)映射層的丨ｏｇ－ｌｉｎｅａｒ??分類器的輸入，然后在一定范圍內(nèi)預測位于當前詞語前面和后面的詞語。并且該范??圍越大，生成的詞向量質(zhì)量越高，但計算復雜度也會相應升高。??上述模型是當前得到詞語分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同時提供??了現(xiàn)成的工具包ｗ〇ｒｄ２ｖｅｃ。實驗中，我們直接該工具包訓練詞向量。當然，也可以??利用其他工具進行預訓練，或者選擇隨機初始化同模型一起訓練。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??


本文編號：3240308