發(fā)布時間：2021-06-24 04:07

　　針對統(tǒng)計模型受限于標(biāo)注語料規(guī)模且不能捕獲標(biāo)注序列的上下文信息問題,提出一種融合深度學(xué)習(xí)和統(tǒng)計學(xué)習(xí)的印地語詞性標(biāo)注模型。該模型具有3層邏輯結(jié)構(gòu),首先在詞表示層采用深度神經(jīng)網(wǎng)絡(luò)框架訓(xùn)練出印地語單詞的形態(tài)特征,并利用word2vec方法對語料訓(xùn)練生成具有語義信息的低維度稠密實數(shù)詞向量,然后在序列表示層將形態(tài)特征和詞向量作為深度神經(jīng)網(wǎng)絡(luò)模型的輸入并進(jìn)行訓(xùn)練,得到輸入序列的信息特征,最后在CRF推理層利用深度神經(jīng)網(wǎng)絡(luò)模型的輸出狀態(tài)和當(dāng)前的轉(zhuǎn)移概率矩陣作為CRF模型的參數(shù),最終得到最優(yōu)的標(biāo)簽序列。對提出的方法與其他方法進(jìn)行了對比實驗,結(jié)果表明融合深度學(xué)習(xí)和統(tǒng)計模型的方法較其他幾種統(tǒng)計模型的性能有顯著的提升。 

【文章來源】：湖南工業(yè)大學(xué)學(xué)報. 2020,34(03)

【文章頁數(shù)】：6 頁

【部分圖文】：

LSTM模型的結(jié)構(gòu)

詞性標(biāo)注是自然語言處理領(lǐng)域的一種典型序列標(biāo)注任務(wù),其本質(zhì)就是對線性序列中每個元素根據(jù)上下文內(nèi)容進(jìn)行分類的問題。詞性標(biāo)注的過程,就是給定一個一維線性輸入序列X={x1, x2, x3, …, xn},通過利用規(guī)則、統(tǒng)計模型或深度學(xué)習(xí)模型,對該序列中的每個元素xi打上給定標(biāo)簽集合中的某個標(biāo)簽yi,從而得到輸入序列的相應(yīng)標(biāo)簽序列Y={y1, y2, y3, …, yn}。例如,給出一個印地語句子:????????? ?? ???? ????????? ?? ???? ????? ?????? ?????? |,通過詞性標(biāo)注方法進(jìn)行標(biāo)注后,可以得到如下的相應(yīng)標(biāo)注結(jié)果:?????????/NN ??/PRP ????/PRF ?????????/NN ??/PSP ????/VAUX ?????/RB ??????/JJ ??????/VM |/ PTT。在處理序列標(biāo)注任務(wù)時,目前學(xué)術(shù)界較為流行的做法,是將統(tǒng)計模型與深度學(xué)習(xí)模型相結(jié)合[17-18],這樣,一方面可以學(xué)習(xí)待標(biāo)注序列中的依賴約束關(guān)系,另一方面也可以考慮到長距離的上下文關(guān)系,從而很好地結(jié)合兩種模型的優(yōu)點。

由圖3所示的多個模型的詞性標(biāo)注結(jié)果可以看出,CRF是基于統(tǒng)計學(xué)習(xí)模型中效果最好的,與HMM方法相比,其性能約提高了22%。BiLSTM模型的效果較CRF和BiLSTM+LAN方法的差,而CNN+LSTM+CRF能夠得到更好的效果。整體上看,在深度學(xué)習(xí)模型基礎(chǔ)上加上CRF,其效果并未比深度學(xué)習(xí)模型有很大的提升,一個可能的原因是神經(jīng)網(wǎng)絡(luò)編碼器已有很強序列信息編碼能力,在此基礎(chǔ)上加上CRF并未引入更多有效信息。

【參考文獻(xiàn)】：
期刊論文
[1]一種新的朝鮮語詞性標(biāo)注方法[J]. 金國哲,崔榮一.  中文信息學(xué)報. 2018(10)
[2]融合形態(tài)特征的最大熵維吾爾語詞性標(biāo)注[J]. 帕力旦·吐爾遜,房鼎益.  西北大學(xué)學(xué)報(自然科學(xué)版). 2015(05)



本文編號：3246334