口語理解中意圖識別和語義槽填充聯(lián)合建模研究
發(fā)布時間:2023-01-07 09:00
口語理解是對話系統(tǒng)重要的功能模塊,口語理解的性能直接影響后續(xù)的對話管理,意圖識別和語義槽填充是口語理解的兩個關(guān)鍵子任務(wù)。本研究主要針對對話系統(tǒng)中的口語理解進行研究。傳統(tǒng)方法中,意圖識別和語義槽填充獨立解決,獨立建模沒有考慮兩個任務(wù)的相關(guān)性,但是這兩個任務(wù)相互關(guān)聯(lián),因此現(xiàn)階段大多數(shù)研究者將意圖識別和語義槽填充任務(wù)使用同一個模型聯(lián)合解決,這樣既可以將模型學(xué)習(xí)到的特征被兩個任務(wù)共享,同時將意圖識別和語義槽填充的結(jié)果使用一個模型輸出,對于后續(xù)的對話管理可以減少誤差累積。本文在聯(lián)合建模的基礎(chǔ)上進行改進。本文的工作包含兩個任務(wù)的獨立建模研究和融合多種方法的聯(lián)合建模研究。本文的具體工作如下:(1)兩個任務(wù)的獨立建模研究。由于支持向量機(Support Vector Machine,SVM)在意圖識別任務(wù)中效果比較好,因此本文采用SVM對意圖識別進行獨立建模研究,并采用深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、雙向門控循環(huán)單元(Bidirectional Gated Recurrent Unit,BiGRU)以及CNN-BiGRU模型對意圖識別進行研...
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【文章目錄】:
中文摘要
abstract
第1章 緒論
1.1 研究背景
1.2 研究意義
1.3 研究內(nèi)容
1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)工作及理論介紹
2.1 意圖識別研究
2.2 語義槽填充研究
2.3 聯(lián)合建模研究
2.3.1 基于三角鏈條件隨機場的聯(lián)合識別
2.3.2 基于CNN-TriCRF的聯(lián)合識別
2.3.3 基于遞歸神經(jīng)網(wǎng)絡(luò)和Viterbi算法的聯(lián)合識別
2.3.4 基于BiGRU-CNN的聯(lián)合識別
2.3.5 基于BiLSTM和注意力機制的聯(lián)合識別
2.4 相關(guān)理論介紹
2.4.1 詞向量
2.4.2 雙向長短時記憶網(wǎng)絡(luò)
2.4.3 注意力機制
2.4.4 門控機制
2.4.5 條件隨機場
2.5 本章小結(jié)
第3章 口語理解獨立建模研究
3.1 意圖識別獨立建模
3.1.1 基本思想
3.1.2 實驗設(shè)置
3.2 語義槽填充獨立建模
3.2.1 基本思想
3.2.2 實驗設(shè)置
3.3 實驗數(shù)據(jù)
3.4 評價指標(biāo)
3.5 實驗結(jié)果及分析
3.6 本章小結(jié)
第4章 基于門控機制和CRF的聯(lián)合建模
4.1 基本思想
4.2 對比實驗介紹
4.3 實驗數(shù)據(jù)
4.3.1 數(shù)據(jù)格式
4.3.2 數(shù)據(jù)預(yù)處理
4.3.3 實驗設(shè)置
4.3.4 實驗過程
4.4 實驗結(jié)果及分析
4.5 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
參考文獻
致謝
攻讀碩士學(xué)位期間發(fā)表的論文
【參考文獻】:
期刊論文
[1]基于上下文詞向量和主題模型的實體消歧方法[J]. 王瑞,李弼程,杜文倩. 中文信息學(xué)報. 2019(11)
[2]基于深度學(xué)習(xí)的開放領(lǐng)域?qū)υ捪到y(tǒng)研究綜述[J]. 陳晨,朱晴晴,嚴(yán)睿,柳軍飛. 計算機學(xué)報. 2019(07)
[3]面向任務(wù)口語理解研究現(xiàn)狀綜述[J]. 侯麗仙,李艷玲,李成城. 計算機工程與應(yīng)用. 2019(11)
[4]特定領(lǐng)域的命名實體識別方法的研究[J]. 張磊. 計算機與現(xiàn)代化. 2018(03)
[5]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[6]問答中的問句意圖識別和約束條件分析[J]. 孫鑫,王厚峰. 中文信息學(xué)報. 2017(06)
[7]聊天機器人中用戶出行消費意圖識別方法[J]. 錢岳,丁效,劉挺,陳毅恒. 中國科學(xué):信息科學(xué). 2017(08)
[8]AI時代的門票——智能語音交互[J]. 張繼勇. 計算機與網(wǎng)絡(luò). 2017(15)
[9]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實體識別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報. 2017(04)
[10]基于BLSTM的命名實體識別方法[J]. 馮艷紅,于紅,孫庚,孫娟娟. 計算機科學(xué). 2018(02)
碩士論文
[1]基于深度學(xué)習(xí)的任務(wù)型對話系統(tǒng)的設(shè)計與實現(xiàn)[D]. 趙明星.北京郵電大學(xué) 2019
[2]可控閑聊對話系統(tǒng)的研究[D]. 顧秀森.北京郵電大學(xué) 2019
[3]面向出行領(lǐng)域的任務(wù)型對話系統(tǒng)研究[D]. 林先輝.哈爾濱工業(yè)大學(xué) 2018
[4]人機對話系統(tǒng)中用戶意圖分類方法研究[D]. 黃佳偉.華中師范大學(xué) 2018
[5]基于深度學(xué)習(xí)的短文本分類研究[D]. 胡可奇.電子科技大學(xué) 2018
[6]基于詞向量的中文短文本分類問題研究[D]. 汪靜.中南民族大學(xué) 2018
[7]基于Attention-Based LSTM模型的文本分類技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[8]詞典和機器學(xué)習(xí)相結(jié)合的生物命名實體識別[D]. 王琦.大連理工大學(xué) 2009
本文編號:3728353
【文章頁數(shù)】:60 頁
【學(xué)位級別】:碩士
【文章目錄】:
中文摘要
abstract
第1章 緒論
1.1 研究背景
1.2 研究意義
1.3 研究內(nèi)容
1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)工作及理論介紹
2.1 意圖識別研究
2.2 語義槽填充研究
2.3 聯(lián)合建模研究
2.3.1 基于三角鏈條件隨機場的聯(lián)合識別
2.3.2 基于CNN-TriCRF的聯(lián)合識別
2.3.3 基于遞歸神經(jīng)網(wǎng)絡(luò)和Viterbi算法的聯(lián)合識別
2.3.4 基于BiGRU-CNN的聯(lián)合識別
2.3.5 基于BiLSTM和注意力機制的聯(lián)合識別
2.4 相關(guān)理論介紹
2.4.1 詞向量
2.4.2 雙向長短時記憶網(wǎng)絡(luò)
2.4.3 注意力機制
2.4.4 門控機制
2.4.5 條件隨機場
2.5 本章小結(jié)
第3章 口語理解獨立建模研究
3.1 意圖識別獨立建模
3.1.1 基本思想
3.1.2 實驗設(shè)置
3.2 語義槽填充獨立建模
3.2.1 基本思想
3.2.2 實驗設(shè)置
3.3 實驗數(shù)據(jù)
3.4 評價指標(biāo)
3.5 實驗結(jié)果及分析
3.6 本章小結(jié)
第4章 基于門控機制和CRF的聯(lián)合建模
4.1 基本思想
4.2 對比實驗介紹
4.3 實驗數(shù)據(jù)
4.3.1 數(shù)據(jù)格式
4.3.2 數(shù)據(jù)預(yù)處理
4.3.3 實驗設(shè)置
4.3.4 實驗過程
4.4 實驗結(jié)果及分析
4.5 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
參考文獻
致謝
攻讀碩士學(xué)位期間發(fā)表的論文
【參考文獻】:
期刊論文
[1]基于上下文詞向量和主題模型的實體消歧方法[J]. 王瑞,李弼程,杜文倩. 中文信息學(xué)報. 2019(11)
[2]基于深度學(xué)習(xí)的開放領(lǐng)域?qū)υ捪到y(tǒng)研究綜述[J]. 陳晨,朱晴晴,嚴(yán)睿,柳軍飛. 計算機學(xué)報. 2019(07)
[3]面向任務(wù)口語理解研究現(xiàn)狀綜述[J]. 侯麗仙,李艷玲,李成城. 計算機工程與應(yīng)用. 2019(11)
[4]特定領(lǐng)域的命名實體識別方法的研究[J]. 張磊. 計算機與現(xiàn)代化. 2018(03)
[5]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[6]問答中的問句意圖識別和約束條件分析[J]. 孫鑫,王厚峰. 中文信息學(xué)報. 2017(06)
[7]聊天機器人中用戶出行消費意圖識別方法[J]. 錢岳,丁效,劉挺,陳毅恒. 中國科學(xué):信息科學(xué). 2017(08)
[8]AI時代的門票——智能語音交互[J]. 張繼勇. 計算機與網(wǎng)絡(luò). 2017(15)
[9]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實體識別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報. 2017(04)
[10]基于BLSTM的命名實體識別方法[J]. 馮艷紅,于紅,孫庚,孫娟娟. 計算機科學(xué). 2018(02)
碩士論文
[1]基于深度學(xué)習(xí)的任務(wù)型對話系統(tǒng)的設(shè)計與實現(xiàn)[D]. 趙明星.北京郵電大學(xué) 2019
[2]可控閑聊對話系統(tǒng)的研究[D]. 顧秀森.北京郵電大學(xué) 2019
[3]面向出行領(lǐng)域的任務(wù)型對話系統(tǒng)研究[D]. 林先輝.哈爾濱工業(yè)大學(xué) 2018
[4]人機對話系統(tǒng)中用戶意圖分類方法研究[D]. 黃佳偉.華中師范大學(xué) 2018
[5]基于深度學(xué)習(xí)的短文本分類研究[D]. 胡可奇.電子科技大學(xué) 2018
[6]基于詞向量的中文短文本分類問題研究[D]. 汪靜.中南民族大學(xué) 2018
[7]基于Attention-Based LSTM模型的文本分類技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[8]詞典和機器學(xué)習(xí)相結(jié)合的生物命名實體識別[D]. 王琦.大連理工大學(xué) 2009
本文編號:3728353
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3728353.html
最近更新
教材專著