近年來,借助深度學習的飛速發(fā)展,神經網絡機器翻譯的研究取得了非常顯著的進展。蒙漢機器翻譯的研究起步較晚,平行語料規(guī)模相對較小,存在嚴重的數據稀疏問題。本論文將從兩個方面展開研究:一、模型損失函數和譯文評價指標度量方式不一致,模型訓練階段依賴真實數據分布而預測階段依賴模型分布從而導致曝光偏差問題產生。本文引入強化學習的思想,利用不同獎勵機制解決損失函數和評價指標度量方式不一致問題,通過不同的解碼方式緩解曝光偏差問題;二、數據稀疏條件下模型訓練困難。本文提出了一種利用蒙古語子詞向量對翻譯模型參數初始化的方法,并提出了一種隨機添加噪聲數據的數據增強方法用于增強蒙漢雙語數據。具體方法如下:一、嘗試在蒙漢神經網絡機器翻譯任務中引入強化學習的思想。設置不同級別（詞語級、序列級）的獎勵函數,并以不同比例線性結合獎勵函數和交叉熵損失函數進行實驗。實驗在40%序列級獎勵+60%交叉熵損失函數的設置上得到最優(yōu)結果。本文還對束搜索、計劃采樣等解碼方法進行對比,實驗證明計劃采樣這一方法取得了更好的效果。二、提出了一種基于子詞粒度的蒙古語詞向量生成方法。該方法借助BPE切分算法,在大規(guī)模單語語料上生成與平行語料... 

【文章來源】：內蒙古大學內蒙古自治區(qū) 211工程院校

【文章頁數】：64 頁

【學位級別】：碩士

【部分圖文】：

詞嵌入降維表示Figure3-3Thereduceddimensionrepresentationofwordembedding如圖3-3所示，圖中紅色點為實驗采樣代詞的詞向量降維表示，黑點為其余詞的詞向量

基于強化學習的蒙漢神經網絡機器翻譯的研究36確詞語，從而使得誤差從序列的起始就產生累積，詞語級獎勵在訓練開始階段出現大量為0的情況。在沒有其他條件對模型進行指引的情況下，詞語級獎勵可能更加遲緩了模型的收斂，進而導致模型質量變差。上述實驗結果的BLEU值降低可能來自于訓練的起始階段，強化學習的獎勵函數無法指引模型更快地向最優(yōu)點附近收斂。為進一步研究設置獎勵是否真的不會為蒙漢機器翻譯模型帶來性能提升，第二部分的實驗嘗試緩解獎勵稀疏的問題，利用結合后的損失函數進行實驗。我們以=[0,0.2,0.4,0.6,0.8,1]的權重結合交叉熵損失函數和序列級獎勵函數，其中=0時，表示損失函數為完全使用獎勵函數，=1時，表示損失函數完全使用交叉熵，實驗結果如圖所示。圖4-1結合損失函數的實驗結果Figure4-1Theexperimentresultscombiningdifferentlossfunction實驗結果表明，當=0.4時，翻譯模型的預測結果可以得到最為優(yōu)秀的BLEU值，超過了完全使用交叉熵損失函數的基線模型(+0.27)。實驗結果證明強化學習獎勵函數的引入，確實為蒙漢機器翻譯帶來了性能的提升。完全使用獎勵函數訓練的模型會嚴重影響模型的收斂，而與交叉熵損失函數的結合可以在訓練的初始階段穩(wěn)定訓練過程，提升模型質量。4.4.3針對探索利用問題的實驗結果與分析除了損失函數對模型帶來的影響，模型的解碼過程實際上對于曝光偏差的影響更大。本小節(jié)對探索-利用問題的不同考慮進行了對比實驗，實驗在上一節(jié)最優(yōu)（使用最終獎勵，=0.4）的配置下進行，實驗結果如下表所示。

【參考文獻】：
期刊論文
[1]機器翻譯發(fā)展與現狀[J]. 黎亞飛,張瑞華.  中國輕工教育. 2019(05)
[2]神經機器翻譯綜述[J]. 高明虎,于志強.  云南民族大學學報(自然科學版). 2019(01)
[3]子字粒度切分在蒙漢神經機器翻譯中的應用[J]. 任眾,侯宏旭,吉亞圖,武子玉,白天罡,雷穎.  中文信息學報. 2019(01)
[4]神經機器翻譯綜述[J]. 李亞超,熊德意,張民.  計算機學報. 2018(12)
[5]基于數據增強技術的神經機器翻譯[J]. 蔡子龍,楊明明,熊德意.  中文信息學報. 2018(07)
[6]神經機器翻譯前沿進展[J]. 劉洋.  計算機研究與發(fā)展. 2017(06)
[7]語言保護與中國的少數民族語言[J]. 戴慶廈.  民俗典籍文字研究. 2016(02)
[8]機器翻譯技術現狀與展望[J]. 劉群.  集成技術. 2012(01)
[9]基于實例的漢蒙機器翻譯[J]. 侯宏旭,劉群,那順烏日圖.  中文信息學報. 2007(04)
[10]統(tǒng)計機器翻譯綜述[J]. 劉群.  中文信息學報. 2003(04)

博士論文
[1]多方法融合蒙漢機器翻譯與譯文重排序研究[D]. 武靜.內蒙古大學 2017

碩士論文
[1]融合先驗信息的蒙漢神經網絡機器翻譯模型[D]. 樊文婷.內蒙古大學 2018
[2]融合離散詞概率信息的蒙漢神經機器翻譯[D]. 李金廷.內蒙古大學 2018
[3]多粒度蒙古文漢文神經網絡機器翻譯研究[D]. 王洪彬.內蒙古大學 2018
[4]基于注意力神經網絡的蒙漢機器翻譯系統(tǒng)的研究[D]. 申志鵬.內蒙古大學 2017
[5]基于層次短語模型的蒙—漢統(tǒng)計機器翻譯研究[D]. 蘇傳捷.內蒙古大學 2014



本文編號：3599793