跨語言詞向量學(xué)習(xí)是指利用某一種資源豐富的源語言詞向量來輔助資源相對匱乏的目標(biāo)語言詞向量空間的學(xué)習(xí),該問題的研究對小語種的自然語言處理任務(wù)具有重要的意義。最近,生成對抗網(wǎng)絡(luò)（GANs）已被成功地運(yùn)用于無監(jiān)督的跨語言詞向量學(xué)習(xí)。基于GANs的跨語言詞向量模型將源語言和目標(biāo)語言的單語言詞向量看作兩個分布,并迫使源向量分布對齊于目標(biāo)向量分布。本文基于GANs模型開展無監(jiān)督的跨語言詞向量學(xué)習(xí)方法研究,主要工作如下:（1）跨語言詞向量空間在對齊過程中,需要大量目標(biāo)端信息作為可靠的對齊標(biāo)準(zhǔn),而已有的基于GANs的跨語言詞向量模型普遍忽視了這一點,不能有效地挖掘目標(biāo)端的信息,導(dǎo)致生成次優(yōu)的跨語言詞向量。針對這一問題,提出一種新穎的基于改進(jìn)WGAN和回譯的跨語言詞向量方法,通過對目標(biāo)端樣本的重復(fù)使用為對齊過程建立了可靠的參照標(biāo)準(zhǔn)。該方法首先使用一個基于改進(jìn)WGAN的跨語言詞向量模型學(xué)習(xí)初步的雙向映射,然后根據(jù)獲得的映射矩陣對目標(biāo)端的詞向量進(jìn)行回譯訓(xùn)練。三個語言對上的實驗結(jié)果證明了該算法的有效性。（2）跨語言詞向量學(xué)習(xí)中,相對高頻詞來說,低頻詞的語義信息相對較弱。因此,在跨語言詞向量學(xué)習(xí)過程中低頻詞易對向... 

【文章來源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁數(shù)】：52 頁

【學(xué)位級別】：碩士

【部分圖文】：

ABWAGAN算法框架

合肥工業(yè)大學(xué)學(xué)歷碩士研究生學(xué)位論文18圖3.2AWAGAN算法框架Fig.3.2TheFrameworkofAWGAN其中，`x=G(x)+(1)y，是一個服從均勻分布的隨機(jī)數(shù)，即U(0,1)栱,G(x)表示生成器G根據(jù)樣本x生成的樣本。因此，判斷器的損失函數(shù)由公式(3.2)給出：(())()DpenaltyL=DGxDy+L(3.2)其中，D()$定義為樣本的Wasserstein距離，為一個平衡系數(shù)。在我們的模型中，310=效果很好。我們初始化生成器的權(quán)值為一個映射矩陣ddGR，用于最小化判斷器度量的Wasserstein距離。我們還在生成器的基礎(chǔ)上堆疊了一個解碼器TG，用于從映射后的向量中重構(gòu)源語言向量輸入。因此，解碼器旨在最大化生成器的輸入x和解碼器的輸出x"之間的余弦距離。此外，我們引入了一個超參數(shù)用來在映射矩陣上施加一個弱正交約束。生成器和解碼器共同構(gòu)成一個自動編碼器。因此，自動編碼器的損失函數(shù)AEL由生成器的損失函數(shù)和重構(gòu)器的損失函數(shù)共同組成，如公式(3.3)所示：(()cos(,)TAEL=DGxxGGx(3.3)其中，cos(,)TxGGx表示重構(gòu)誤差，超參數(shù)反映了模型的正交程度。在初步的映射學(xué)習(xí)中，我們使用RMSprop[50]作為梯度更新算法，并設(shè)置學(xué)習(xí)率為310。3.2.2.3目標(biāo)端的回譯訓(xùn)練經(jīng)過初步的映射學(xué)習(xí)后，我們利用一個基于目標(biāo)端的回譯訓(xùn)練來進(jìn)一步優(yōu)化以得到更高質(zhì)量的跨語言映射�；刈g（Back-translation）指將一種語言的文本翻譯成另一種語言，然后再翻譯回原始的語言。這一概念最先被用來提高神經(jīng)機(jī)器翻譯模型的質(zhì)量[51]。在本章中，我們訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)對目標(biāo)端的詞向量進(jìn)行回譯操作，以此進(jìn)一步挖掘目標(biāo)端的分布信息。我們稱這個執(zhí)行回譯操作的神經(jīng)網(wǎng)絡(luò)為BTN（Back-translationnetwork），其算法的框架圖如圖3.3所示。BTN以目標(biāo)端的詞向量y為輸入，以初步映射矩陣"yx

第三章基于改進(jìn)WGAN和回譯的跨語言詞向量方法研究19交約束項，通過數(shù)據(jù)驅(qū)動來激勵網(wǎng)絡(luò)權(quán)值的弱正交性。最終，BTN的目標(biāo)函數(shù)如公式(3.4)所示：圖3.3BTN算法框架Fig.3.3TheFrameworkofBTNcos(,"")""BTxyyxxyyxFLyGGyGGI→→→→=+(3.4)其中，I是單位陣，超參數(shù)的作用是平衡回譯訓(xùn)練和正交約束。值越大，映射矩陣的正交性也越強(qiáng)。在目標(biāo)端的回譯訓(xùn)練中，我們同樣使用RMSprop作為梯度下降更新算法，并設(shè)置其學(xué)習(xí)率為4510。值得注意得是，我們在每一次迭代中同時更新"xyG→和"yxG→。在足夠次的迭代后，更新后的"xyG→就是最終的映射矩陣xyG→。3.3實驗與分析本小節(jié)主要介紹我們的實驗結(jié)果和相關(guān)的實驗分析。一方面，我們?yōu)榱俗C明ABWGAN的有效性，在三種語言對上比較了ABWGAN和幾個無監(jiān)督的跨語言詞向量模型。另一方面，我們設(shè)計了多個ABWGAN的變種模型，并通過實驗對這些變種模型進(jìn)行比較，以此來說明目標(biāo)端的回譯訓(xùn)練的合理性和必要性。3.3.1實驗數(shù)據(jù)集和評估任務(wù)我們的實驗執(zhí)行在一個由Zhang等人[17]提供的公開數(shù)據(jù)集上。該數(shù)據(jù)集包括三種語言對，分別是：中文-英語(<Zh,En>)、土耳其語-英語(<Tr-En>)和西班牙語-英語(Es-En)。數(shù)據(jù)集中的單語言詞向量是在維基百科可比語料庫訓(xùn)練word2vec得到的。表3.1給出了每種語言下詞向量的統(tǒng)計數(shù)據(jù)。此外，評估時使用的標(biāo)準(zhǔn)字典是由Lample等人[23]發(fā)布的1500個詞對。本章所使用的跨語言詞向量評估任務(wù)是雙語言字典生成任務(wù)。具體來說，我們首先利用CSLS[23]計算所有的目標(biāo)詞向量和映射后的源語言詞向量間的相似度評分，再根據(jù)這個相似度評分為每個源語言詞尋找其前k個最近鄰詞，從而構(gòu)成雙語言字典。最后，比較生成的字典和標(biāo)準(zhǔn)的字典獲得生成字典的準(zhǔn)確率P@k。我?

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)自編碼器的文本分類算法[J]. 許卓斌,鄭海山,潘竹虹.  計算機(jī)科學(xué). 2018(06)
[2]融合先驗信息的蒙漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型[J]. 樊文婷,侯宏旭,王洪彬,武靜,李金廷.  中文信息學(xué)報. 2018(06)
[3]基于詞向量模型的情感分析[J]. 魏廣順,吳開超.  計算機(jī)系統(tǒng)應(yīng)用. 2017(03)
[4]一種用于文章推薦系統(tǒng)中的用戶模型表示方法[J]. 趙鵬,蔡慶生,王清毅.  計算機(jī)技術(shù)與發(fā)展. 2007(01)



本文編號：3123978