自然語言理解模塊是任務(wù)型人機對話系統(tǒng)的重要組成部分,一般包含領(lǐng)域識別、意圖識別與語義標注三個部分,語義標注識別用戶輸入中的槽值,也常稱為槽填充,是自然語言理解的主要任務(wù)。在很多實際應(yīng)用中,NLU不僅需要語義標注算法識別出用戶輸入中的槽值,還需要將槽值映射到一個預(yù)定義(或基于訓(xùn)練語料構(gòu)建)的槽值列表上。但是,預(yù)定義的表難以包含所有可能槽值,實際對話中常常會出現(xiàn)不在列表(或訓(xùn)練語料)中的新槽值。有效識別新槽值對于自然語言理解的健壯性和對話系統(tǒng)的擴展性都具有重要價值,但是,傳統(tǒng)的基于序列標注的方法以及基于分類的方法都無法有效地解決這一新槽值問題。本文針對上述問題,在充分調(diào)研已有相關(guān)研究的基礎(chǔ)上,結(jié)合實際需求開展工作,具體內(nèi)容包括:提出了一種基于注意力機制的聯(lián)合語義標注模型以及基于負采樣的模型訓(xùn)練方法。模型結(jié)合序列標注器與分類器,序列標注器定位槽值信息而分類器獲得標準槽值或新槽值類別標簽·,基于負采樣的訓(xùn)練方法通過構(gòu)建負樣例使得模型可以進行監(jiān)督訓(xùn)練。在兩個語料的實驗結(jié)果表明,基于負樣例的訓(xùn)練顯著提升了新槽值識別的性能,而注意力機制可以自主發(fā)現(xiàn)關(guān)鍵信息,進一步提升了模型性能。對聯(lián)合模型進行了擴展...

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??全連經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)單，易于實現(xiàn)，對函數(shù)有很強的擬合能力

神經(jīng)網(wǎng)絡(luò)（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＲＮＮ）［２６］。ＲＮＮ是一種節(jié)點定向連接成環(huán)的??人工神經(jīng)網(wǎng)絡(luò)，用于處理序列數(shù)據(jù)，有效地解決了全連接神經(jīng)網(wǎng)絡(luò)在自然語言處??理領(lǐng)域的不足。圖２－２所示為典型的ＲＮＮ結(jié)構(gòu)圖。??６?°ｔ－ｉ?°ｔ?°ｔ＋１??Ａ?八?....

圖２－２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖【２７】??從圖中可見，這種網(wǎng)絡(luò)的內(nèi)部狀態(tài)可以展示動態(tài)時序行為

?隱藏層?輸出層??圖２－１全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??全連接神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于實現(xiàn)，對函數(shù)有很強的擬合能力。然??而，它的層數(shù)與每層網(wǎng)絡(luò)的節(jié)點數(shù)目均為固定，無法應(yīng)用于變長的輸入。對于大??多數(shù)自然語言處理的應(yīng)用而言，其輸入往往是不定長的自然語言文本。與此同時，??全連接神....

圖２－３長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖［２９］??圖２－３為ＬＳＴＭ—個存儲塊的結(jié)構(gòu)圖

ｍ??圖２－３長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖［２９］??圖２－３為ＬＳＴＭ—個存儲塊的結(jié)構(gòu)圖。從圖中可知，輸入門作用在最新的狀??態(tài)向量上，用于控制信息的更新，輸出門作用在當前時刻的輸出上，用于選擇單??元的輸出，遺忘門則作用在上一時刻的狀態(tài)向量上，用于過濾歷史信息。其計算??方式分別如公....

圖３－１聯(lián)合糢型??本文采用雙向ＬＳＴＭ模型作為文本表示編碼的基本結(jié)構(gòu)

下標ｔ?＝?０？７則表示第ｉ條輸入中的第ｔ個字或詞，ｗ／為當前輸入的字??向量表示。該表示可以由外部語料預(yù)先訓(xùn)練得到，在本文中，該表示先隨機初始??化，而后隨著模型訓(xùn)練一同更新。如圖３－１所示，聯(lián)合模型將同時預(yù)測其時序標??簽＼?ｓＡ｝與槽值類標ｙｆ。??Ｉ＂１?Ｉ??＜——ＬＳ....

本文編號：3921344