隨著深度學(xué)習(xí)的快速發(fā)展,以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)的神經(jīng)機器翻譯取得重大突破,在翻譯質(zhì)量上幾乎全面超越了傳統(tǒng)的統(tǒng)計機器翻譯。神經(jīng)機器翻譯主要基于“編碼器-解碼器”框架對翻譯過程進行建模,并采用注意機制建立互譯詞之間的對應(yīng)關(guān)系。在這一框架下,如何建立更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)以進一步促進源句子語義信息的提取和轉(zhuǎn)換受到眾多科研人員的追捧和青睞。本文主要針對神經(jīng)機器翻譯中的三大主要模塊（即:編碼器、注意機制和解碼器）提出相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)增強方法,在提升系統(tǒng)建模能力的同時增強系統(tǒng)的翻譯性能。本文的主要工作如下:1、提出一種上下文感知的循環(huán)編碼器模型。已有循環(huán)編碼器采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來建模源句子,并且簡單地將不同方向循環(huán)網(wǎng)絡(luò)的表示進行拼接作為源端詞的語義表示。這種建模方法隱式地假設(shè)了不同方向上上下文信息間的獨立性,不利于源句子語義信息的精準提取。本文提出一種上下文感知的循環(huán)編碼器模型,通過設(shè)計層次化的網(wǎng)絡(luò)結(jié)構(gòu)將不同方向上的上下文信息進行整合,融入到統(tǒng)一的句子表示之中。大規(guī)模NIST中文到英文和WMT英文到德文的實驗結(jié)果表明本文提出的方法可以顯著地改善翻譯系統(tǒng)的譯文質(zhì)量,并有效地加快了系統(tǒng)的解碼速度。2、提出一種基... 

【文章來源】：廈門大學(xué)福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－２融入注意機制的神經(jīng)機器翻譯系統(tǒng)??“”

合統(tǒng)計和深度學(xué)習(xí)的在線翻譯系統(tǒng)，以提供更優(yōu)質(zhì)的翻譯服務(wù)，相應(yīng)的產(chǎn)品如圖??１－３所示。２０１６年，谷歌科研人員研發(fā)了谷歌神經(jīng)機器翻譯系統(tǒng)（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上線，相應(yīng)的產(chǎn)品如圖１－４所示。２０１７年，臉??譜公司的科研工作者研發(fā)出基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機器翻譯系統(tǒng)??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）間；同年，谷歌首次提出利用純??粹注意機制進行機器翻譯的思想，在ＷＭＴ?１４英語到德語和英語到法語的翻譯??任務(wù)上取得了強勁的突破［２９］。在此基礎(chǔ)上，２０１８年，微軟研究院整合多項建模??技術(shù)，包括對偶學(xué)習(xí)（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），審議網(wǎng)絡(luò)（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻譯任務(wù)上，首次取得超越人類的結(jié)果［３Ｑ］�？梢哉f，神經(jīng)機器翻譯??技術(shù)己成為當(dāng)今機器翻譯領(lǐng)域絕對的主流技術(shù)，在產(chǎn)業(yè)界的大力支持下，其發(fā)展??勢頭必將持續(xù)。??百度翻譯?Ａ?：三??英語，?＾?中文

合統(tǒng)計和深度學(xué)習(xí)的在線翻譯系統(tǒng)，以提供更優(yōu)質(zhì)的翻譯服務(wù)，相應(yīng)的產(chǎn)品如圖??１－３所示。２０１６年，谷歌科研人員研發(fā)了谷歌神經(jīng)機器翻譯系統(tǒng)（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上線，相應(yīng)的產(chǎn)品如圖１－４所示。２０１７年，臉??譜公司的科研工作者研發(fā)出基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機器翻譯系統(tǒng)??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）間；同年，谷歌首次提出利用純??粹注意機制進行機器翻譯的思想，在ＷＭＴ?１４英語到德語和英語到法語的翻譯??任務(wù)上取得了強勁的突破［２９］。在此基礎(chǔ)上，２０１８年，微軟研究院整合多項建模??技術(shù)，包括對偶學(xué)習(xí)（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），審議網(wǎng)絡(luò)（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻譯任務(wù)上，首次取得超越人類的結(jié)果［３Ｑ］�？梢哉f，神經(jīng)機器翻譯??技術(shù)己成為當(dāng)今機器翻譯領(lǐng)域絕對的主流技術(shù)，在產(chǎn)業(yè)界的大力支持下，其發(fā)展??勢頭必將持續(xù)。??百度翻譯?Ａ?：三??英語，?＾?中文

【參考文獻】：
期刊論文
[1]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou.  International Journal of Automation and Computing. 2016(03)



本文編號：3580353