在自然語言處理（NLP）中,因果關(guān)系抽取是信息提取和知識發(fā)現(xiàn)的重要任務(wù)。因果關(guān)系在問答、決策制定和知識發(fā)現(xiàn)等領(lǐng)域都有著廣泛的應(yīng)用,人們可以從多個(gè)數(shù)據(jù)源,如網(wǎng)頁、在線期刊、電子病歷中抽取因果關(guān)系,建立相對應(yīng)的因果鏈,為相關(guān)的研究提供參考。由于自然語言文本的模糊性和多樣性,因果關(guān)系抽取仍然是一個(gè)難以解決的NLP問題。傳統(tǒng)因果關(guān)系抽取方法是使用自然語言處理工具進(jìn)行特征提取后依賴機(jī)器學(xué)習(xí)相關(guān)的分類器進(jìn)行因果關(guān)系抽取。但是,這些方法嚴(yán)重依賴詞性標(biāo)注、句法解析等自然語言處理方法提供的分類特征,同時(shí)也嚴(yán)重依賴知識庫。而自然語言處理標(biāo)注工具往往存在大量錯(cuò)誤;知識庫的完備性也不能達(dá)到完美。這將導(dǎo)致某些錯(cuò)誤會在因果關(guān)系抽取系統(tǒng)中不斷傳遞和放大,最終影響因果關(guān)系抽取的效果。近些年來,深度學(xué)習(xí)在自然語言處理中得到了越來越廣泛的應(yīng)用,由于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)能夠很好地從句子中提取到全局和局部的特征,所以在關(guān)系抽取,機(jī)器翻譯,句子分類等基礎(chǔ)任務(wù)中取得了很好的效果。因此本文主要利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)版GRU（Gate Recurrent Unit）來進(jìn)行因果關(guān)系抽取。本文的主要內(nèi)容如下... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

Word2vec兩種模型結(jié)構(gòu)

吉林大學(xué)碩士學(xué)位論文8圖2.2基于分層softmax模型結(jié)構(gòu)對于目標(biāo)詞匯，記：1.表示由根節(jié)點(diǎn)通向目標(biāo)詞匯的一條完整路徑。2.表示目標(biāo)路徑上所有節(jié)點(diǎn)的個(gè)數(shù)。3.1，2，…，表示路徑中上對應(yīng)的每個(gè)節(jié)點(diǎn)。4.2，…,表示詞的哈夫曼編碼，它由1位哈夫曼編碼構(gòu)成，即為路徑上第個(gè)節(jié)點(diǎn)的哈夫曼編碼。5.1，…,1表示路徑上非葉子節(jié)點(diǎn)對應(yīng)的向量。基于以上標(biāo)記，記是由輸入層求和后的隱藏層向量。由sigmoid歸回函數(shù)可知，哈夫曼樹的正例樣本概率為：()=11+…………………………(2.2)

第2章相關(guān)技術(shù)方法11也可以指一個(gè)專有名詞：一個(gè)電腦品牌。而“一詞多義”的問題在word2vec模型中不能很好地解決，因?yàn)閃ord2vec模型所生成的詞向量是固定的，不能根據(jù)語境來進(jìn)行動態(tài)變化。而ELMO模型很好的解決了這個(gè)問題。下面簡單介紹以下該模型框架結(jié)構(gòu)。圖2.3基于ELMO的詞嵌入模型表示由圖2.3可知，ELMO模型是使用雙向的LSTM架構(gòu)，由一個(gè)前向模型和一個(gè)后項(xiàng)模型組成。對以一個(gè)給定的句子(1,2,…)來說，我們構(gòu)建的語言模型就是通過待預(yù)測詞的上下文去預(yù)測該詞的詞向量，所以記：正向LSTM結(jié)構(gòu)(基于前k-1個(gè)詞預(yù)測第k個(gè)詞)：(1,2,…)=∏(|1,…,1)=1……………(2.18)反向LSTM結(jié)構(gòu)（基于后n-k個(gè)詞預(yù)測第k個(gè)詞）：(1,2,…)=∏(|+1,…,)=1………………(2.19)所以基于極大似然估計(jì)的目標(biāo)函數(shù):Γ=∑|1,…,1;,,+=1|1,…,1;,,…………………….(2.20)其中兩個(gè)方向的LSTM的參數(shù)并不共享，是輸入的初始化詞向量，


本文編號：3335467