發(fā)布時間：2021-01-08 00:56

　　近年來涌現(xiàn)了一批覆蓋領(lǐng)域范圍廣、數(shù)據(jù)規(guī)模大的公開知識庫,如YAGO、Freebase、DBpedia、Google Knowledge Graph等,也促使基于開放領(lǐng)域知識庫的問答研究成為了非�；馃岬囊粋�研究方向。其中,結(jié)合深度學習方法的知識庫問答技術(shù)研究日益流行,并且在性能表現(xiàn)上展現(xiàn)出了良好的前景。借鑒現(xiàn)有的主流方法將知識庫問答看作一個流水線上的多個任務(wù)模塊的思想,將其分為主語檢測,實體鏈接和關(guān)系檢測三個模塊并逐一解決。針對上游模型的錯誤傳播對下游模型的性能影響問題,將主語檢測任務(wù)看作專用序列標注模型,采用先進的語言模型方法,利用上下文字符串語言模型生成詞嵌入使得其具有語義語境化能力,增強上游模型性能。為提高主語實體的召回率,設(shè)計了兩種候選池策略,并從表面文本級和上下文語義級對候選主語實體集合進行修剪,改善了實體鏈接結(jié)果的質(zhì)量。為了彌補修剪步驟的不足,通過聯(lián)合關(guān)系檢測模型對候選主語實體集合進行再次篩選,進一步提升問答總體準確率。為了在關(guān)系檢測模型中捕獲上下文更深層的語義特征,設(shè)計了多層殘差思想雙向長短時記憶網(wǎng)絡(luò)編碼器,與多粒度關(guān)系進行四種模式的匹配,達到從局部信息和全局信息上進行更全... 

【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：54 頁

【學位級別】：碩士

【部分圖文】：

字符級語言模型建模示例圖

圖 2-2 主語檢測模型圖本文的主語檢測模型如圖 2-2 所示，我們利用預(yù)訓練的堆疊的上下文字符串與 GloVe 詞嵌入表示問題，然后輸入由 Huang 等人[44]提出的 BiLSTM-CRF進行訓練。 本章小結(jié)本章首先介紹了本文在知識庫自動問答的總體解決思路，接著描述了流水線的第一個任務(wù)模塊，主語檢測模塊，并將這個模塊視為特定的序列標注任務(wù)，每個問題被標注為主語提及和問題模式兩部分。本章詳細闡述了主語檢測型的思想與設(shè)計，本文注重于提升主語檢測的性能以緩解該模塊產(chǎn)生的對流游任務(wù)的錯誤傳播影響。為此，本文應(yīng)用新型的上下文字符串詞嵌入使得詞有更豐富的特征，通過捕獲上下文語義使得多義詞能夠根據(jù)語境來生成不同入，從字符級建模單詞可以更好地處理罕見和拼寫錯誤的單詞，也可以更好

25圖 4-1 Transformer 模型結(jié)構(gòu)圖Transformer 的總體模型結(jié)構(gòu)如圖 4-1 所示，模型可以分為左側(cè)的編碼器和右碼器兩個部分。編碼器是由多個相同的塊堆疊在一起，每一個內(nèi)又有兩個子第一個子層是 Multi-Head 的自注意力機制，第二個子層是一個全連接前饋從左側(cè)圖中還可以看到，每個子層外面還有一個殘差連接操作和層標準化操解碼器也是堆疊了相同的多個塊，每個塊與左側(cè)結(jié)構(gòu)類似，不過除了 Multi-H注意力層和全連接前饋網(wǎng)絡(luò)層以外，還添加了一個注意力層，這可以幫助解注于與輸入句子中對應(yīng)的那個單詞。Transformer 將單詞編碼為 512 維度的向量輸入到編碼器中，此外，Transfor只依靠自注意力機制，所以模型無法像 RNN 一樣自動捕獲序列的順序信息如果缺失這個信息，即便所有詞語都對了，卻無法組成有意義的語句。為了


本文編號：2963587