為解決假負例和零損失問題,將Transformer網(wǎng)絡結構用于提取知識庫中的實體描述信息,用帶有約束性的自注意力機制尋找最能表達實體意義的表示子空間以增強實體的表示能力,引入對抗生成網(wǎng)絡思想生成負樣本,提升了知識表示能力。該方法在公共計算機課程知識圖譜的構建中,清楚描繪了課程知識點間的內在關系,對于指導課程設置與進度安排,引導學生學習具有十分重要的意義。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1 Encoder組件

Transformer是一種encoder-decoder結構，encoder結構負責抽取帶有描述信息的實體表示。一個transformer的encoder部分包含6個encoder組件，每個encoder組件由輸入層、multi-headattention層、全連接層構成，結....

圖2 TBTS模型架構圖

筆者設計了一種基于Transformer的文本監(jiān)督表示學習模型，將帶有實體描述和三元組結構的兩種實體表示相結合，形成實體的最終表示，而關系表示在這兩種情況下是共享的。TBTS模型結構如圖2所示。分別定義三元組結構信息的打分函數(shù)(采用TransE)和實體描述信息的打分函數(shù)。最終得....

圖3 對抗生成負樣本模型架構

在訓練過程中，傳統(tǒng)的負樣本生成策略采用伯努利采樣[6]，這種方法容易出現(xiàn)如下問題:1)負樣本實際上是一個真實存在于知識庫中的真樣本，這樣的負樣本會導致模型的訓練出現(xiàn)偏差，即假負例;2)負樣本與實際相差過大，模型可輕易分辨出該負樣本，導致模型訓練效率不佳，即零損失。因此筆者采用了對....

本文編號：4044376