自然語言理解是人機對話系統(tǒng)的核心組成部分,意圖識別是實現(xiàn)自然語言理解的關(guān)鍵技術(shù)之一。隨著人機對話系統(tǒng)的不斷發(fā)展,越來越多的對話機器人產(chǎn)品走進人們的生活中,但是人機對話時人類多使用短句和省略詞。這些短文本存在內(nèi)容短、數(shù)據(jù)量大、表達不規(guī)范等特點,這些特點導致在意圖識別時常面臨文本噪聲多、特征稀疏、一詞多義、前后對話信息不獨立等問題。為解決上述問題,本文首先針對人機對話中短文本向量化表示時不能表征一詞多義以及語義缺失的問題,分別介紹了BERT模型和word2vec模型,以及兩個模型向量的融合方法,提出了基于BERT和word2vec的聯(lián)合模型的短文本向量化表示方法,實驗表明融合后的向量化表示可以較大程度的提升分類模型的分類性能。其次針對人機對話的短文本包含多種意圖且特征稀疏的問題,描述了CNN、LSTM意圖識別模型,重點闡述了多頭注意力機制對短文本序列進行權(quán)重分配的過程,提出了基于多頭注意力機制和特征融合的多意圖識別方法,實驗結(jié)果對比表明該方法的識別效果更好。最后針對前后文對話信息不獨立的問題,基于BLSTM模型,通過分析經(jīng)常出現(xiàn)的兩種不同的多輪對話情況分別描述了兩個歷史存儲方法,并闡述了利...

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

圖1-1人機對話系統(tǒng)框架

哈爾濱理工大學工學碩士學位論文-1-第1章緒論1.1課題研究的背景和意義隨著互聯(lián)網(wǎng)與無線網(wǎng)絡的發(fā)展，人與智能設(shè)備之間的信息交互模式發(fā)生了變化。人機對話旨在為計算機搭載人類和計算機語言之間溝通的橋梁，使人機交互更加直觀，從而減輕人們的負擔并創(chuàng)建直觀的交互模型。許多專家認為未來它可能....

圖2-1意圖識別數(shù)學模型

哈爾濱理工大學工學碩士學位論文-7-第2章意圖識別相關(guān)理論與介紹2.1意圖識別概述近年來，意圖識別成為學術(shù)界和工業(yè)界新的研究熱點，為了正確理解人機對話系統(tǒng)中的用戶意圖，可以把意圖識別視作短文本分類問題來解決，即根據(jù)預先定義的主題類別，按照某些特定的規(guī)則對不知類別的文本自動確定一個....

圖2-2意圖識別流程圖

哈爾濱理工大學工學碩士學位論文-8-圖2-2意圖識別流程圖Fig.2-2Intentrecognitionflowchart2.2文本預處理文本預處理處于整個意圖識別流程的開始部分，很多文本數(shù)據(jù)中的異常數(shù)據(jù)或數(shù)值會直接或間接對下游任務的結(jié)果造成影響，因此對于常規(guī)的異常數(shù)據(jù)或數(shù)值來....

圖3-2BERT模型結(jié)構(gòu)圖

哈爾濱理工大學工學碩士學位論文-14-圖3-1BERT_word2vec模型結(jié)構(gòu)圖Fig.3-1StructurediagramoftheBERT_word2vecmodel3.2.1BERT模型BERT(BidirectionalEncoderRepresentationsfr....

本文編號：3966014