隨著循環(huán)神經(jīng)網(wǎng)絡(luò)的出現(xiàn),自然語言處理的任務(wù)命名實(shí)體識(shí)別、自動(dòng)問答、機(jī)器翻譯、文本蘊(yùn)含識(shí)別等都取得了不錯(cuò)的效果。文本蘊(yùn)含識(shí)別和閱讀理解屬于自然語言理解范疇,閱讀理解作為自然語言處理任務(wù)中最難的一個(gè)任務(wù)之一,可以應(yīng)用在自動(dòng)問答和智能搜索上。隨著閱讀理解語料SQuAD和TriviaQA web的出現(xiàn),使得閱讀理解在神經(jīng)網(wǎng)絡(luò)中的研究成為了可能。LSTM作為文本提取特征的首選模型,推動(dòng)了自然語言任務(wù)的發(fā)展。隨著注意力機(jī)制的出現(xiàn),LSTM結(jié)合注意力機(jī)制可以進(jìn)一步分析長文本之間的關(guān)系,注意力機(jī)制也是自然語言任務(wù)中很重要的方法。針對(duì)文本蘊(yùn)含識(shí)別任務(wù),重點(diǎn)關(guān)注的是每個(gè)文本中的子事件是否匹配。本文對(duì)逐詞匹配注意力模型和mLSTM模型進(jìn)行研究,指出兩種模型存在的不足。對(duì)當(dāng)前最優(yōu)的mLSTM模型進(jìn)行改進(jìn)提出一種基于GRU的相鄰詞信息和逐詞匹配模型mGRU。mGRU的主要思想是一個(gè)文本或句子設(shè)為前提,另一個(gè)文本或句子設(shè)為假設(shè),先對(duì)前提編碼,再對(duì)假設(shè)編碼,在對(duì)假設(shè)編碼的同時(shí)引入前提的所有單詞的注意力,受n-gram思想的啟發(fā)用假設(shè)的相鄰詞隱藏狀態(tài)信息和與前提逐詞匹配,在斯坦福文本蘊(yùn)含識(shí)別SNLI語料上取得了很好的... 

【文章來源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁數(shù)】：74 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

RNN流程圖

圖 2-3 RNN 模型結(jié)構(gòu)Figure2-3 RNN model structure解決 RNN 造成的梯度消失問題而產(chǎn)生的，與 RN變，引入三個(gè)門控增加隱藏結(jié)構(gòu)的復(fù)雜程度避免梯記錄新的更新和遺忘。LSTM 結(jié)構(gòu)如圖 2-4 所示：圖 2-4 LSTM 模型結(jié)構(gòu)Figure2-4 LSTM model structureRU要比 RNN 復(fù)雜的多，從圖 2-5 中可以看出在每個(gè)

圖 2-4 LSTM 模型結(jié)構(gòu)Figure2-4 LSTM model structureU比 RNN 復(fù)雜的多，從圖 2-5 中可以看出在每個(gè)和 RNN 一樣的隱藏狀態(tài) ，還多了另一個(gè)隱示。這個(gè)隱藏狀態(tài)一般稱為細(xì)胞狀態(tài)，記為 有三個(gè)門控結(jié)構(gòu)：遺忘門、輸入門、輸出門[25]。門控和細(xì)胞狀態(tài)。圖 2-5 細(xì)胞狀態(tài)圖Figure2-5 Cell status diagram( t)h( tC

【參考文獻(xiàn)】：
期刊論文
[1]基于PageRank算法的文本關(guān)鍵詞權(quán)重計(jì)算研究[J]. 王慶福.  網(wǎng)絡(luò)新媒體技術(shù). 2015(03)
[2]多特征文本蘊(yùn)涵識(shí)別研究[J]. 趙紅燕,劉鵬,李茹,王智強(qiáng).  中文信息學(xué)報(bào). 2014(02)
[3]改進(jìn)的TF-IDF模型在特征抽取中的應(yīng)用[J]. 李運(yùn)田,吳瓊,鄭獻(xiàn)衛(wèi).  工業(yè)控制計(jì)算機(jī). 2014(02)
[4]一種基于改進(jìn)TF-IDF函數(shù)的文本分類方法[J]. 盧中寧,張保威.  河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2012(06)
[5]針對(duì)特定主題的短文本向量化[J]. 田瑞,閆丹鳳.  軟件. 2012(11)
[6]文本蘊(yùn)涵的推理模型與識(shí)別模型[J]. 袁毓林,王明華.  中文信息學(xué)報(bào). 2010(02)
[7]文本線性分割方法的研究[J]. 劉娜,唐煥玲,魯明羽.  計(jì)算機(jī)工程與應(yīng)用. 2008(21)

碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的文本蘊(yùn)含識(shí)別及應(yīng)用研究[D]. 王寶鑫.哈爾濱工業(yè)大學(xué) 2016
[2]基于LSTM的英文文本蘊(yùn)含識(shí)別方法研究[D]. 劉陽.哈爾濱工業(yè)大學(xué) 2016



本文編號(hào)：3535493