數(shù)據(jù)驅(qū)動(dòng)的機(jī)器翻譯技術(shù)的性能在很大程度上取決于訓(xùn)練和測(cè)試數(shù)據(jù)之間的領(lǐng)域匹配程度。由于不同領(lǐng)域訓(xùn)練數(shù)據(jù)差異大導(dǎo)致跨領(lǐng)域翻譯性能下降,研究者通常通過使翻譯系統(tǒng)適應(yīng)到目標(biāo)領(lǐng)域的方法來提高特定領(lǐng)域的翻譯性能。神經(jīng)機(jī)器翻譯(NMT)領(lǐng)域適應(yīng)研究的主要策略大致可以分為兩類:一類是將領(lǐng)域外的知識(shí)遷移和適應(yīng)到領(lǐng)域內(nèi)的翻譯中;另外一類是使用混合領(lǐng)域語料構(gòu)建翻譯模型來翻譯多領(lǐng)域文本。本文分別針對(duì)這兩類情景,開展了面向神經(jīng)機(jī)器翻譯的領(lǐng)域適應(yīng)方法研究。本文主要工作包括:(1)基于句子權(quán)重的神經(jīng)機(jī)器翻譯的領(lǐng)域適應(yīng)方法。在機(jī)器翻譯中,與目標(biāo)領(lǐng)域相關(guān)的那些領(lǐng)域外的實(shí)例對(duì)于模型的訓(xùn)練通常是有益的,而那些與目標(biāo)領(lǐng)域不相關(guān)的領(lǐng)域外數(shù)據(jù)可能會(huì)降低翻譯質(zhì)量。在本文中,我們提出一種基于句子權(quán)重的領(lǐng)域適應(yīng)方法,根據(jù)句子與目標(biāo)領(lǐng)域的相關(guān)程度來評(píng)估句子的權(quán)重,并將權(quán)重融入NMT影響參數(shù)更新。我們將該方法應(yīng)用在標(biāo)準(zhǔn)的領(lǐng)域適應(yīng)和低資源領(lǐng)域偽語料訓(xùn)練的兩個(gè)場(chǎng)景中,在中英IWSLT領(lǐng)域適應(yīng)任務(wù)和低資源的電商領(lǐng)域翻譯任務(wù)中,該方法均取得了特定領(lǐng)域翻譯性能的顯著提升。(2)基于自注意力機(jī)制的神經(jīng)機(jī)器翻譯的多領(lǐng)域適應(yīng)方法。在通用平行語料庫上訓(xùn)練的...

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１基于注意力的神經(jīng)機(jī)器翻譯流程框架圖??２－１，［３－４ｉ立經(jīng)礎(chǔ)??

面向神經(jīng)機(jī)器翻譯的領(lǐng)域適應(yīng)方法研宄?第二草相關(guān)知識(shí)介紹??第二章相關(guān)知識(shí)介紹??本章主要對(duì)本文研究涉及到的一些相關(guān)知識(shí)進(jìn)行介紹，分為五個(gè)部分：第－部分??介紹基于注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型；第二部分介紹基于自注意??（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）的神經(jīng)機(jī)器翻譯Ｔｒａ....

圖２－２基于自注意力（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）的神經(jīng)機(jī)器翻譯Ｔｒａｎｓｆｏｒｍｅｒ模型流程框架

ｄｅｒ??Ｆｅｅｄ?Ｆｏｒｗａｒｄ?Ａｔｔｅｎｔｉｏｎ?Ｍ??＾?？?＞?Ａ?ＷＸ??Ｅｎｃｏｄｅｒ??｜?＾?＾Ａ???Ｎｘ?Ａｄｄ＆Ｎｏｒｍ?Ａｄｄ＆Ｎｏｒｍ??１?Ｍａｓｋｅｄ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ??Ｖ?／....

圖１??Ｔｒａｎｓｆｏｒｍｅｒ１６】一－

Ｅｎｃｏｄｅｒ??｜?＾?＾Ａ???Ｎｘ?Ａｄｄ＆Ｎｏｒｍ?Ａｄｄ＆Ｎｏｒｍ??１?Ｍａｓｋｅｄ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ??Ｖ?／?ｖ?Ｊ??Ｉｎｐｕｔ?Ｏｕｔｐｕｔ??Ｅｍｂｅｄｄｎｇ?Ｅｍｂｅｄｄｉｎｇ??１?Ｉ....

圖３－１用ｔ－ＳＮＥ將領(lǐng)域內(nèi)和領(lǐng)域外句子表示可視化

第二章基于句子權(quán)重的神經(jīng)機(jī)器翻譯的領(lǐng)域適應(yīng)方法?面向神經(jīng)機(jī)器翻譯的領(lǐng)域適應(yīng)方法研究??３．４．６句子表示的可視化分析??本章提出的相似度測(cè)量方法的有效性可以由可視化論證。相似的句子具有相似的??向量表示在圖３－１中，每個(gè)點(diǎn)代表著一個(gè)句子向量表示的二維投射，句子向量是??由經(jīng)過ｓｏ....

本文編號(hào)：3987332