發(fā)布時間：2020-12-31 19:36

　　隨著人工智能技術(shù)的發(fā)展,人機對話系統(tǒng)逐漸出現(xiàn)在了人們的日常生活中。這種任務(wù)驅(qū)動的人機對話系統(tǒng)能夠通過用戶提供的信息,協(xié)助用戶完成特定領(lǐng)域的任務(wù)�？谡Z理解作為任務(wù)型人機對話系統(tǒng)的關(guān)鍵模塊,可以從用戶的自然語言中提取出計算機能夠識別的結(jié)構(gòu)化數(shù)據(jù),主要包括兩個子任務(wù):用戶語句的意圖識別與語義槽填充。深度學(xué)習(xí)模型能夠以端到端的形式高效地完成口語理解任務(wù),從而提高任務(wù)型對話系統(tǒng)的整體效果。在多輪對話中,用戶與機器之間的歷史對話信息能夠為口語理解模型提供額外的信息支撐從而更好地理解用戶的當前語句。但是并非所有的歷史信息都與當前句相關(guān),在人機交互中用戶的意圖存在跳轉(zhuǎn)的情況,這時無關(guān)的歷史信息則會為當前句的理解帶來負面影響。此外,在人與人之間的交互中,言語背后通常都省略了人們通曉的常識和知識,但是機器卻不了解這些信息,無法和人類一樣進行推理。本文將歷史信息和外部知識引入意圖識別和語義槽填充的聯(lián)合模型,使模型能夠更加精準地理解用戶對話。本文主要研究包括:提出了一種融入歷史信息的口語理解聯(lián)合模型,該模型能夠利用機器與用戶之間的歷史對話信息,從而提升意圖識別和語義槽填充任務(wù)的準確度。針對該歷史信息存在的意圖... 

【文章來源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．２任務(wù)型人機對話系統(tǒng)輸入輸出樣例??目前，口語理解技術(shù)的發(fā)展經(jīng)過三個階段：第一個階段是基于規(guī)則模板的口??

ｆｏｒｍｅｒ?qū)崿F(xiàn)其特有的編碼器，并利用無監(jiān)督學(xué)習(xí)，??讓模型能夠?qū)W到一個詞在不同上下文語境下?lián)碛胁煌恼Z義表示。由于ＢＥＲＴ是??由深層Ｔｒａｎｓｆｏｒｍｅｒ構(gòu)成并在強大的硬件系統(tǒng)的支撐下訓(xùn)練完成的，所以Ｇｏｏｇｌｅ??公司為全世界的研宄人員提供了己完成預(yù)訓(xùn)練的ＢＥＲＴ模型，研宄人員只需要在??該模型的下游補充用于解決特定任務(wù)的神經(jīng)網(wǎng)絡(luò)并采取微調(diào)（ｆｉｎｅ－Ｕｍｅ）的形式，??就可以從多任務(wù)聯(lián)合學(xué)習(xí)（Ｍｕｌｔｉ－Ｔａｓｋ?Ｌｅａｒｎｉｎｇ）的角度解決ＮＬＰ問題。??ＢＥＲＴ模型結(jié)構(gòu)如圖２．１所示，本文實驗利用ＢＥＲＴ輸入后的編碼層獲得詞向??量，ＣＬＳ位標簽的向量表示代表句子的分類信息，輔助完成口語理解任務(wù)。??＇［ＣＬＳ］?［■詞編碼１?ｆ?ｉ司編碼ｆ詞編碼＇??ｔ輸出?１?２?ｎ??ＢＥＲＴ??＾?Ｅ＿［ｄｓ）?Ｅ＿１?Ｅ＿２?Ｅ＿ｎ?Ｊ??［ＣＬＳ］?｜?｜?［詞１】?［詞２］?｜?［詞ｎ】??圖２．?１?ＢＥＲＴ模型結(jié)構(gòu)圖??１３??

ｚＳＳｘ碩士學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)??與傳統(tǒng)機器學(xué)習(xí)不同的是，深度學(xué)習(xí)模型作為一種端到端的結(jié)構(gòu)能夠在沒有??特征工程干預(yù)的情況下從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)特征［３９］，是目前解決人工智能領(lǐng)域問題??的有效途徑和方法。對于口語理解中的意圖識別任務(wù)和語義槽填充任務(wù)來說，構(gòu)??建深度神經(jīng)網(wǎng)絡(luò)模型是目前的主流解決手段。??如圖２．２所示，一個基本的全連接神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成包括輸入層（Ｉｎｐｕｔ??ｌａｙｅｒ）、隱藏層（Ｈｉｄｄｅｎ丨ａｙｅｒ）和輸出層（Ｏｕｔｐｕｔ?ｌａｙｅｒ）。全連接網(wǎng)絡(luò)簡單且有??效，但是其存在兩個非常明顯的缺點：首先，每次網(wǎng)絡(luò)的輸出只依賴于當前的輸??入，沒有考慮不同時刻輸入的相互影響；其次，輸入和輸出的維度必須固定，沒??有考慮到序列結(jié)構(gòu)數(shù)據(jù)長度的不固定性。所以，循環(huán)神經(jīng)網(wǎng)絡(luò)的出現(xiàn)解決了全連??接神經(jīng)網(wǎng)絡(luò)的問題，對自然語言處理領(lǐng)域的發(fā)展起到了關(guān)鍵性的作用。??輸入層?隱藏層?輸出層??圖２．２全連接祌經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖??２．３．１循環(huán)神經(jīng)網(wǎng)絡(luò)??自然語言處理領(lǐng)域中，循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）作為最常用的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)模??型廣受研宄人員的喜愛。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)展開圖如２．３所示，其中；ｃ是輸入??序列（長度為：Ｔ），／ｚ是隱藏層序列，〇是輸出序列，Ｚ是總體損失，少是目標標??簽序列，ｔ／是輸入層到隱藏層的參數(shù)矩陣，Ｆ是隱藏層到隱藏層的自循環(huán)參數(shù)矩??１４??

【參考文獻】：
碩士論文
[1]任務(wù)型人機對話系統(tǒng)中口語理解技術(shù)研究[D]. 王逾凡.華中師范大學(xué) 2019



本文編號：2950191