發(fā)布時(shí)間：2021-08-13 13:55

　　文本分類(lèi)是自然語(yǔ)言處理中較為基礎(chǔ)常見(jiàn)的任務(wù),但由于詞向量空間的單一性,使得分類(lèi)系統(tǒng)不能在不同語(yǔ)言上通用。若分別對(duì)每種語(yǔ)言單獨(dú)訓(xùn)練分類(lèi)模型,則會(huì)導(dǎo)致大量的成本和時(shí)間問(wèn)題;并且分類(lèi)模型作為監(jiān)督學(xué)習(xí)方法,需要大量的訓(xùn)練樣本訓(xùn)練模型,而由于不同語(yǔ)言的資源分布不均,使得資源較少的語(yǔ)言無(wú)法構(gòu)建單語(yǔ)言分類(lèi)模型;另外,主流跨語(yǔ)言詞嵌入模型需要依賴(lài)成本昂貴的平行語(yǔ)料庫(kù),在不同語(yǔ)種間拓展性差。因此,針對(duì)以上問(wèn)題,本文對(duì)于分類(lèi)系統(tǒng),跨語(yǔ)言詞嵌入等進(jìn)行了深入的研究,提出引入注意力機(jī)制的單語(yǔ)言神經(jīng)網(wǎng)絡(luò)分類(lèi)方法,與兩種不基于平行語(yǔ)料庫(kù)的跨語(yǔ)言文本分類(lèi)方法,如下:（1）針對(duì)單語(yǔ)言分類(lèi),本文提出雙向的GRU神經(jīng)網(wǎng)絡(luò)模型,并將注意力機(jī)制引入到分類(lèi)模型中。通過(guò)與傳統(tǒng)機(jī)器學(xué)習(xí)方法,以及注意力機(jī)制的對(duì)比實(shí)驗(yàn),雙向GRU模型以及注意力機(jī)制均對(duì)于分類(lèi)模型有著不同程度的提升,由此,將該模型作為跨語(yǔ)言分類(lèi)模型的基礎(chǔ)。（2）針對(duì)不基于平行語(yǔ)料庫(kù)的跨語(yǔ)言分類(lèi),本文提出僅使用單語(yǔ)言文本語(yǔ)料來(lái)構(gòu)建雙語(yǔ)詞嵌入模型,而拋棄對(duì)平行語(yǔ)料庫(kù)的依賴(lài)。在目前對(duì)抗學(xué)習(xí)的研究基礎(chǔ)上,引入普魯克分析方法和跨域相似度局部縮放的方法,來(lái)對(duì)對(duì)抗學(xué)習(xí)得到的結(jié)果進(jìn)行微調(diào)... 

【文章來(lái)源】：云南大學(xué)云南省 211工程院校

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．３：降維展示空間內(nèi)同義詞與反義詞分布??（左圖為在英語(yǔ)單語(yǔ)空間內(nèi)的分布情況，右圖?

但大多數(shù)研宄都是在單一的特征分布上解決該問(wèn)題。然而在文獻(xiàn)［４４］中，作??者提出通過(guò)雙方鄰域（Ｑ，（奶ｃｓ／ｒ），，將給定字典的每個(gè)單詞連接到另??一種語(yǔ)言的Ｋ階最近鄰。在這個(gè)雙方鄰域圖中（如圖４．３），示的是??映射詞向量的Ｋ階向量域，且該向量域中的Ｋ個(gè)向量均為目標(biāo)語(yǔ)言詞向量。??同理，Ｑｓ〇Ｖ）指的是目標(biāo)語(yǔ)言詞向量的Ｋ階目標(biāo)語(yǔ)言詞向量域＾??３８??

因此源語(yǔ)言映射詞向量與其Ｋ階目標(biāo)詞向量的平均近似值為：??「ｒ（Ｄ＝?士?Ｚ?Ｃ０Ｓｄ，＞Ｖ）?（４．１八?＞Ｖｅｎ，ｄ＞??同理目標(biāo)語(yǔ)言詞向量與其Ｋ階詞向量的平均近似值為：??「“．？）＝士?Ｚ?ｃ〇ｓ（ｗ，：，）?（４－２最后，將公式整合起來(lái)，跨域距離計(jì)算公式為：??ＣＳＬＳ｛Ｗｘｓｒｃ，?ｙ，ｇｌ）?＝?２?ｏｏｓ｛Ｗｘｓｒｃ，?ｙｌｇｌ?）－ＶＴ｛?Ｗｘｓｒｃ）?－?Ｆｓ?ｉｙｌｇ，）?（４．３．３微調(diào)對(duì)抗模型??主，習(xí)習(xí)從語(yǔ)目語(yǔ)??

【參考文獻(xiàn)】：
期刊論文
[1]基于TF-IDF特征提取的短文本分類(lèi)方法[J]. 曹姍.  工業(yè)控制計(jì)算機(jī). 2018(04)
[2]基于LSTM-Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法[J]. 趙勤魯,蔡曉東,李波,呂璐.  現(xiàn)代電子技術(shù). 2018(08)
[3]結(jié)合注意力機(jī)制的長(zhǎng)文本分類(lèi)方法[J]. 盧玲,楊武,王遠(yuǎn)倫,雷子鑒,李瑩.  計(jì)算機(jī)應(yīng)用. 2018(05)
[4]稀疏正交普魯克回歸處理跨姿態(tài)人臉識(shí)別問(wèn)題[J]. 張娟.  計(jì)算機(jī)科學(xué). 2017(02)
[5]中文文本分類(lèi)中TF-IDF方法的改進(jìn)與應(yīng)用[J]. 宋章浩.  科技展望. 2014(22)
[6]跨語(yǔ)言文本分類(lèi)技術(shù)研究進(jìn)展[J]. 高影繁,王惠臨,徐紅姣.  情報(bào)理論與實(shí)踐. 2010(11)
[7]基于機(jī)器學(xué)習(xí)的文本分類(lèi)技術(shù)研究進(jìn)展[J]. 蘇金樹(shù),張博鋒,徐昕.  軟件學(xué)報(bào). 2006(09)

碩士論文
[1]基于詞向量和主題向量的文本分類(lèi)算法研究[D]. 郭宏運(yùn).華中科技大學(xué) 2016



本文編號(hào)：3340552