服務(wù)機器人需要直接與人類溝通并為人類提供服務(wù),因此人機交互模塊在服務(wù)機器人中具有重要的地位。為了提升用戶滿意度,自然語言交互的方式是目前人機交互的主流研究方向。語義解析作為自然語言交互模塊中的一個任務(wù),旨在將自然語言語句直接轉(zhuǎn)化成語義完整的、計算機可執(zhí)行的意義表示。語義解析的研究已經(jīng)有較長的歷史,從早期基于手工規(guī)則和模板匹配的方法,到基于訓練數(shù)據(jù)的統(tǒng)計學習方法,再到深度學習模型方法,以及為了不標注數(shù)據(jù)而結(jié)合強化學習的弱監(jiān)督方法,這些方法都體現(xiàn)出了各自的優(yōu)勢和缺點。本文針對語義解析數(shù)據(jù)標注困難、數(shù)據(jù)集規(guī)模小、深度學習模型難以發(fā)揮潛力的問題,從不同的角度提出了兩個模型。第一個模型是結(jié)合句法知識的Tree2Tree模型,通過對句法分析得到的句法成分樹進行編碼,將句法視為先驗知識引入到模型中,從而提升模型對自然語言的編碼能力。另外,Tree2Tree模型采用樹解碼器進行層次解碼得到邏輯形式,可以保證邏輯形式的語法正確性。第二個模型是基于預訓練語言模型和知識蒸餾的語義解析模型,利用大規(guī)模預訓練模型中含有的通用語義知識來完成語義解析任務(wù)。雖然預訓練模型在語義解析任務(wù)上微調(diào)后可以得到較高的準確率,但... 

【文章來源】：中國科學技術(shù)大學安徽省 211工程院校 985工程院校

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

圖１．１可佳機器人自然語言處理模塊與任務(wù)規(guī)劃模塊??本文的研宄目標是為可佳機器人提供高準確率的自然語言語義解析系統(tǒng)

?第２章相關(guān)工作與背景知識???“管理員”進行評分獎勵。根據(jù)生成的邏輯形式或代碼在執(zhí)行器中執(zhí)行的結(jié)果進??行獎勵或懲罰，從而通過強化學習策略梯度方法來對“程序員”模塊進行訓練。??２．３基于ＬＳＴＭ網(wǎng)絡(luò)的語義解析模型??如２．２．３中提到的，基于ＬＳＴＭ網(wǎng)絡(luò)的語義解析模型是深度學習語義解析方??法中的一個經(jīng)典模型。并且作為本文提出的兩個語義解析模型的背景知識，本節(jié)??將詳細介紹基于ＬＳＴＭ網(wǎng)絡(luò)的語義解析模型。??２．３．１編碼器－解碼器框架??如圖２．１所亦，編碼器－解碼器（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）模型是指將輸入的源語句通??過循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ，?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）【４９］或長短期記憶網(wǎng)絡(luò)（ＬＳＴＭ，??Ｌｏｎｇ?Ｓｈｏｒｔ－ｔｅｒｍ?１＾１１１〇丨７）［５（）】進行編碼，得到一個包含語義的編碼向量Ｋ。編碼??向量Ｋ就可以看作是包含了輸入數(shù)據(jù)中的語義或其他信息�；诖司幋a向量Ｆ，??再由一個同樣的ＲＮＮ或ＬＳＴＭ網(wǎng)絡(luò)作為解碼器來解析出目標語句。解析過程??中，解碼器根據(jù)編碼向量和已解析出的符號，逐個的預測每一個單詞的概率，選??取概率最大的單詞作為當前解析出的符號。這樣，最后就得到了一個最高概率的??候選語句作為解析結(jié)果。由于在編碼和解碼過程中，源序列和目標序列的長度不??受到限制，因此，許多學者將編碼器－解碼器框架看作是一個萬能框架，可以應(yīng)??用到許多任務(wù)中。??ｆ?Ｎ??目標輸出??，?ｉ?＼?７??編碼器Ｅｎｃｏｄｅｒ??＞－?〇?〇?〇??＞?解碼器Ｄｅｃｏｄｅｒ??Ｖ．?／／??編碼向量Ｖ??輸入數(shù)據(jù)??Ｖ?／??圖２．１編碼器－解碼

Ａｄｄ＆Ｎｏｒｍ?｜?｜?Ａｄｄ＆Ｎｏｒｍ?＜－ｉ?］??ｉ?＋?；?！?Ａ?！??｜?Ｍｕｌｔｉ－ｈｅａｄ?？?；?Ｍａｓｋｅｄ￣￣?１??Ａ＋＋?．．?１?Ｍｕｌｔｉ－ｈｅａｄ?｜??ｉ?＾?Ａｔｔｅｎｔｉｏｎ＾?ｉ?１?Ａｔｔｅｎｔｉｏｎ?，??＇、、？個＋?＼ｙ??Ｐｏｓｉｔｉｏｎａｌ?〇?Ｐｏｓｉｔｉｏｎａｌ??Ｅｎｃｏｄｉｎｇ?Ｅｎｃｏｄｉｎｇ??Ｅｍｂｅｄｄｉｎｇ?Ｅｍｂｅｄｄｉｎｇ??Ｓｏｕｒｃｅｓ?Ｔａｒｇｅｔｓ??圖２．２?Ｔｒａｎｓｆｏｒｍｅｒ模型示意圖??差連接方法將前一層計算后的信息分為兩個流向，一個是直接傳遞到下一層末??尾，另一個是在下一層進行非線性變化。然后將兩部分進行線性疊加作為下一層??的輸出。這樣的殘差連接方法可以達到僅關(guān)注差異部分的目的，并且能夠緩解深??層神經(jīng)網(wǎng)絡(luò)訓練困難的問題。層歸一化方法是指計算該層的平均輸入值和輸入??方差，然后用同一個規(guī)范化操作來轉(zhuǎn)換各個維度的輸入，從而對層的激活值進行??歸一化。??在Ｔｒａｎｓｆｏｒｍｅｒ的解碼器中，每個Ｔｒａｎｓｆｏｒｍｅｒ塊會包括一個掩碼多頭自注意??力模塊（Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ?Ａｔｔｅｎｔｉｏｎ）以及一個普通的多頭自注意力模塊。掩碼??多頭自注意力模塊是為了保證在解碼過程中，通過對將來的詞進行掩碼（Ｍａｓｋ）??操作，使得當前的詞只能看到前面己經(jīng)解碼出的詞，而不能看到將來的詞。而??第二個多頭自注意力模塊的輸入除了來自前面的掩碼多頭自注意力模塊的輸出，??還包括了編碼器端的輸出，因此稱為編碼器－解碼器注意力層（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ??ａｔｔｅｎｔｉｏｎ?

【參考文獻】：
博士論文
[1]提高ASP效率的若干途徑及服務(wù)機器人上應(yīng)用[D]. 吉建民.中國科學技術(shù)大學 2010



本文編號：3209029