近年來,隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展,基于Seq2Seq的神經(jīng)網(wǎng)絡(luò)機器翻譯模型(NMT)的性能得到極大的提升,并且在很多語言對上的性能都超過了傳統(tǒng)的統(tǒng)計機器翻譯模型(SMT)。但不論是基于RNN的Seq2Seq還是基于self-attention的Transformer,它們通常會遇到錯誤偏置(exposure bias)的問題:在進行解碼時容易產(chǎn)生具有良好前綴但不良后綴的不平衡目標(biāo)。針對這個問題,本文對目標(biāo)端雙向解碼進行了研究,并提出了基于目標(biāo)端雙向解碼一致性的機器翻譯模型。課題研究的主要內(nèi)容包括以下幾部分:(1)目標(biāo)端雙向解碼的研究。傳統(tǒng)的神經(jīng)機器翻譯模型在進行解碼時是基于先前生成的token去預(yù)測下一個token。這樣早期生成過程中的錯誤會被保存并傳遞,影響后續(xù)的生成結(jié)果。因此,本文提出在解碼階段加入反向解碼,并將正向解碼和反向解碼的候選結(jié)果利用聯(lián)合模型進行重排序,進而實現(xiàn)目標(biāo)端的雙向解碼。實驗結(jié)果表明,目標(biāo)端雙向解碼有助于機器翻譯任務(wù)性能的提高。(2)機器翻譯雙向一致性解碼模型的研究。目標(biāo)端雙向解碼模型僅通過重排序從2k-best個候選者中找到最優(yōu)結(jié)果,針對候選者并沒有解決exp...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

圖1-2神經(jīng)機器翻譯編碼器-解碼器結(jié)構(gòu)

圖1-3帶注意力的編碼解碼框架

圖2-1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)的展開結(jié)構(gòu)圖

本文編號：3889757