隨著我國信息化建設(shè)的逐漸完善,人們需要更智能和準(zhǔn)確的信息檢索和自動(dòng)問答等人工智能領(lǐng)域的服務(wù)。為了不斷提高算法的性能來提供更高效和舒適的服務(wù),大量研究者投入到了自然語言處理的研究中。文本匹配是自然語言處理領(lǐng)域的核心和基礎(chǔ)問題,經(jīng)歷了從早期的基于統(tǒng)計(jì)的傳統(tǒng)文本匹配方法到近年來的深度文本匹配方法。本文研究了當(dāng)前流行的幾類深度學(xué)習(xí)文本匹配方法,包括單語義表達(dá)的文本匹配、多語義表達(dá)的文本匹配和注意力機(jī)制的文本匹配。在當(dāng)前廣泛使用的算法的基礎(chǔ)上提出了多通道匹配金字塔模型、循環(huán)注意力機(jī)制的文本匹配模型和動(dòng)態(tài)參數(shù)的模型堆疊集成算法,本文的主要工作包括:首先,提出了多通道匹配金字塔模型（MCMP）,MCMP模型屬于多語義表達(dá)的文本匹配模型,針對(duì)現(xiàn)有的多數(shù)基于表達(dá)的文本匹配模型在匹配過程中存在的信息丟失等問題,MCMP模型融合了多個(gè)通道,分別獲取詞語的匹配分?jǐn)?shù)、詞語重要性、上下文相關(guān)信息和位置信息。實(shí)驗(yàn)結(jié)果表明,MCMP模型在兩組實(shí)驗(yàn)數(shù)據(jù)的各項(xiàng)指標(biāo)上均優(yōu)于其它基于表達(dá)的文本匹配模型,證明融合多通道的文本匹配方法是有效的。其次,提出了循環(huán)注意力機(jī)制的文本匹配模型（RAMM）,RAMM模型由多個(gè)結(jié)構(gòu)相同的匹配... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級(jí)別】：碩士

【圖文】：

NNLM語言模型[63]

第二章深度文本匹配的相關(guān)技術(shù)理論11圖2-2Cbow語言模型[64]通過嵌入層將詞語映射成詞向量的計(jì)算過程如前面所介紹的公式（2-1）所示，嵌入層的參數(shù)為vkC，其中v表示詞匯集合的大小，k表示詞向量的維度。模型在訓(xùn)練時(shí)會(huì)設(shè)置一個(gè)上下文滑動(dòng)窗口的大小，如圖2-2所示，滑動(dòng)窗口的大小以2為例。目標(biāo)詞tw前后均選擇2個(gè)詞語t1w，t2w，t1w+，t2w+，并通過詞向量映射函數(shù)得到滑動(dòng)窗口大小內(nèi)每個(gè)詞的詞向量t1x，t2x，t1x+，t2x+。然后，模型將這幾個(gè)詞向量直接相加，如公式（2-6）所示：t1t2t1t2xxxxx++=+++(2-6)求和得到的向量x作為隱藏層，并通過前饋神經(jīng)網(wǎng)絡(luò)得到概率向量y，如公式（2-7）所示，W和b為前饋神經(jīng)網(wǎng)絡(luò)的參數(shù)。y=b+Wx(2-7)為了保證每個(gè)詞語的概率和為1，輸出層會(huì)使用Softmax函數(shù)對(duì)概率向量進(jìn)行歸一化，然后計(jì)算交叉熵，如公式（2-8）和（2-9）所示。()11()1(|,...,)ywtttntvywiiepwwwe+==(2-8)111log((|,...,))ttnttLpwwwT+=(2-9)T表示所有訓(xùn)練的樣本，L表示模型的損失，訓(xùn)練時(shí)使用梯度下降算法優(yōu)化損失。訓(xùn)練好之后，參數(shù)C則是所需要的詞向量。可以看出，Cbow語言模型在擬合的過程中，上下文接近的詞語會(huì)學(xué)到比較相近的詞表征。和前面介紹的NNLM語言模型相比，采取了詞向量直接相加的方式，減少了計(jì)算量。NNLM語言模型的

電子科技大學(xué)碩士學(xué)位論文12隱藏層是將詞向量合并成長(zhǎng)向量，所以計(jì)算量和序列長(zhǎng)度成正比，在訓(xùn)練時(shí)所設(shè)置的序列長(zhǎng)度將會(huì)受到限制。Cbow語言模型雖然減小了計(jì)算量，但直接相加沒有考慮到詞語之間的順序。2.1.3Skip-gram語言模型Skip-gram語言模型的整體思想是通過中間詞語來預(yù)測(cè)前后詞語，模型的整體結(jié)構(gòu)如圖2-3所示，模型將中間的詞語映射到詞向量，直接將中間詞語的詞向量作為隱藏層，并接入多個(gè)前饋神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)前后多個(gè)詞語。圖2-3Skip-gram語言模型[64]通過嵌入層將詞語映射成詞向量的計(jì)算過程如前面所介紹的公式（2-1）所示，嵌入層的參數(shù)為vkC，其中v表示詞匯集合的大小，k表示詞向量的維度。模型在訓(xùn)練時(shí)會(huì)設(shè)置一個(gè)上下文滑動(dòng)窗口的大小，以圖2-2的情況為例，滑動(dòng)窗口的大小為2，則表示預(yù)測(cè)前后2個(gè)詞語。中間詞語tw映射后得到詞向量為tx作為隱藏層，后面接入4個(gè)前饋神經(jīng)網(wǎng)絡(luò)，得到4個(gè)概率向量t2y、t1y、t1y+和t2y+，分別表示前后兩個(gè)詞語的概率向量。計(jì)算過程如公式（2-10）到公式（2-13）所示。t2t2t2tybWx=+(2-10)t1t1t1tybWx=+(2-11)t1t1t1tybWx+++=+(2-12)t2t2t2tybWx+++=+(2-13)然后通過Softmax函數(shù)對(duì)概率向量進(jìn)行歸一化，并計(jì)算出損失。歸一化和損失


本文編號(hào)：2971980