關(guān)系分類是自然語言處理領(lǐng)域的一個子任務(wù),它是很多其他自然語言處理任務(wù)的重要一環(huán),如信息抽取,問答系統(tǒng),知識庫構(gòu)建等。過去的方法大多將關(guān)系分類任務(wù)看做一個單純的多分類任務(wù),沒有考慮類別與類別之間相似的問題。對于同種語義關(guān)系不同實(shí)體方向的兩類關(guān)系來說,由于語義關(guān)系相同,他們的表達(dá)往往是相似的,因此這兩類關(guān)系很容易混淆。為了解決同種語義關(guān)系不同實(shí)體方向的關(guān)系類別容易混淆的問題,本文提出了一種融合區(qū)分度信息的神經(jīng)網(wǎng)絡(luò)用于關(guān)系分類,在模型中引入了區(qū)分度信息用來區(qū)分語義關(guān)系相同實(shí)體方向不同的關(guān)系類別。本文通過實(shí)體詞向量相減的方法將空間上的實(shí)體方向轉(zhuǎn)化為數(shù)學(xué)上的向量的方向,并把實(shí)體詞向量相減的結(jié)果作為區(qū)分度信息。該模型分為三個模塊:句子表示模塊,關(guān)系區(qū)分模塊和區(qū)分度融合模塊。在句子表示模塊本文用雙向長短時記憶神經(jīng)網(wǎng)絡(luò)(Bi-LSTM)作為編碼器編碼句子的語義信息,將詞嵌入與詞的位置特征嵌入的級聯(lián)作為Bi-LSTM的輸入特征,沒有使用任何額外的特征。在關(guān)系區(qū)分模塊,將實(shí)體詞向量相減的結(jié)果作為關(guān)系區(qū)分模塊的輸入,經(jīng)過非線性變換后得到區(qū)分度特征。區(qū)分度融合模塊將句子表示模塊的輸出與關(guān)系區(qū)分模塊的輸出相融合...

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１知識庫構(gòu)建簡圖??

?山東大學(xué)碩士學(xué)位論文???另外，關(guān)系分類對知識圖譜的構(gòu)建有重要作用。知識圖譜用符號描述現(xiàn)實(shí)世界??中的概念和概念之間的關(guān)系，知識圖譜本身是一種結(jié)構(gòu)化的語義知識庫。它以“實(shí)??體－關(guān)系－實(shí)體”這樣的三元組為基本組成單位，除三元組外，知識圖譜中還包含實(shí)??體的“屬性－值”對，實(shí)體之....

圖２－１神經(jīng)網(wǎng)絡(luò)語言模型??前面提到通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)語言模型得到詞向量的方法太過耗時，而Ｍｉｌｏｋｏｖ??等人［３９＿于２〇丨３年提出的ｗ〇ｒｄ２歡剛好解決了這個問題

將詞表示看做模型中需要訓(xùn)練的參數(shù)，利用詞語上下文信息直接得到預(yù)測詞的詞??表示。Ｂｅｎｇｉｏ等人于２００３年提出神經(jīng)網(wǎng)絡(luò)語言模型（Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅｌ，??ＮＮＬＭ）＾，同時得到了語言模型和詞向量，該模型如圖２－１所示，它的本質(zhì)仍是??Ｎ－ｇ....

圖２－２?ＣＢＯＷ模型結(jié)構(gòu)圖??

ＣＢＯＷ模型與神經(jīng)網(wǎng)絡(luò)語言模型結(jié)構(gòu)類似，分為三層，輸入層，映射層（隱??藏層），輸出層。只是在ＣＢＯＷ模型中，映射層（隱藏層）不是非線性函數(shù)而是采??用求和操作，這一改變大大加快了模型的訓(xùn)練速度。其模型結(jié)構(gòu)如圖２－２所示：??ｗ（ｔ－２）?ｗ（ｔ－ｌ）?ｗ?（ｔ＋１）?ｗ?（ｔ＋....

圖２－３?Ｓｋｉｐ－ｇｒａｍ模型結(jié)構(gòu)??２．?２．?２?Ｗｏｒｄ２ｖｅｃ的加速方法??

與ＣＢＯＷ模型相同，該模型也是分為三層，輸入層，映射層和輸出層，輸入??Ｍ輸入的是中心詞的ｏｎｅ－ｈｏｔ編碼，經(jīng)過映射層后送入到輸出層，在Ｓｋｉｐ－ｇｒａｍ??模型中，映射層沒有求平均操作，其模型結(jié)構(gòu)如圖２－３所示。Ｓｋｉｐ－ｇｒａｍ模型中輸??入層的向量為ｅｔ，經(jīng)過映射層的線性....

本文編號：3916542