語言模型在很多人工智能領域都是一個基礎的研究主題。近年來,受量子理論啟發(fā),在信息檢索領域種提出了一種量子語言模型。量子語言模型通過量子理論中的密度矩陣建模句子中的詞項依賴,相比于傳統(tǒng)的n元語言模型,能夠在不增加模型參數的情況下表示出任意長度的依賴關系。然而在量子語言模型中,詞項的表示是由one-hot得到的,只能建模局部的依賴。量子語言模型中的密度矩陣的求解是通過迭代過程估計得到,表示和匹配過程是分開的,因此不能從整體上尋找最優(yōu)解,這限制了在其他相關任務上的應用。為了擴展量子語言模型的理論和應用基礎,本文提出了一種基于神經網絡的量子語言模型,并將其應用于問答任務中。將一個句子看作是一個量子系統(tǒng),在神經網絡中根據word embeddings構造句子的密度矩陣表示,然后得到問答對的聯合表示,利用卷積神經網絡從聯合表示中提取出來的特征,來判斷問句和答句的相似度。與原始的量子語言模型相比,這是一種端到端的模式,能更充分地利用大數據的優(yōu)勢,并且在效果上得到了很大的提升。在TREC-QA和WIKI-QA這兩個數據集實驗結果驗證了本文模型的有效性。

【文章頁數】：55 頁

【學位級別】：碩士

圖4-1單個句子的密度矩陣表示

圖4-2NNQLM-II如圖4-2所示，得到聯合表示的過程與第一個基于神經網絡的量子語言

本文編號：3888386