事件時(shí)序關(guān)系識別是對具有時(shí)序關(guān)聯(lián)的事件對進(jìn)行識別,并對它們之間的時(shí)序關(guān)系進(jìn)行分類的一項(xiàng)任務(wù)。它對任何試圖深入理解自然語言的系統(tǒng)來說都至關(guān)重要,如自動問答、信息抽取、文本摘要等。早期的事件時(shí)序關(guān)系識別研究通常專注于提取各種語言學(xué)特征,這些研究工作嚴(yán)重依賴人工標(biāo)注的特征和外部知識庫,而對形式上更加靈活且更具泛化能力的神經(jīng)網(wǎng)絡(luò)的應(yīng)用卻相對較少。本文工作聚焦于神經(jīng)網(wǎng)絡(luò)方法在事件時(shí)序關(guān)系識別任務(wù)上的應(yīng)用,研究內(nèi)容如下:（1）基于深度雙向長短期記憶網(wǎng)絡(luò)的事件時(shí)序關(guān)系識別方法與傳統(tǒng)的基于特征工程的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法相比,神經(jīng)網(wǎng)絡(luò)方法在事件時(shí)序關(guān)系識別上顯現(xiàn)出明顯的優(yōu)勢。但是,現(xiàn)有的神經(jīng)網(wǎng)絡(luò)架構(gòu)往往較為淺顯（如單層循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)）,導(dǎo)致它們可能無法在不同的抽象層次上探索潛在的語義表示空間。針對這一問題,本文提出使用深度雙向長短期記憶網(wǎng)絡(luò)進(jìn)行事件時(shí)序關(guān)系識別。該方法將多層網(wǎng)絡(luò)中的所有前置層輸出進(jìn)行拼接作為后續(xù)層的輸入,從而使其中的信息充分流動。實(shí)驗(yàn)結(jié)果表明該方法能有效提升事件時(shí)序關(guān)系的識別性能。（2）結(jié)合自注意力和神經(jīng)網(wǎng)絡(luò)的事件時(shí)序關(guān)系識別方法對于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)而言,處理結(jié)構(gòu)... 

【文章來源】：蘇州大學(xué)江蘇省 211工程院校

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１事件研究的三個(gè)層次??

象表示：在自然語??言處理領(lǐng)域中，卷積神經(jīng)Ｎ絡(luò)模型最早應(yīng)用子文本分類任務(wù)上，取得了十分出色的效??果。在大量的自然文本中，有用的信息特征通常處于文本的局部位置，且一個(gè)信息實(shí)??體往往由連續(xù)的字（詞）組成，因此具備局部連續(xù)的特點(diǎn)。??基礎(chǔ)的卷枳神經(jīng)Ｎ絡(luò)迪常由卷積層（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）和池化Ｓ?（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）??兩部分組成。其中卷積層的作用是提取各種特征，池化層的作用是對原始的特征信號??進(jìn)行抽象，從而大幅度減少訓(xùn)練參數(shù)，并且還可以緩解模型的過擬合問題。圖２－５展??示了?？種簡單的卷積神經(jīng)Ｍ絡(luò)模型框架。??，???／＿？ｎ?、、門、??Ｉ?Ｉ?Ｉ?Ｉ?／?一一一?—??］／????／????：?／?—?——??？??ＣＬｚ??１?１?１?１?１?Ｌ＿??Ｉ?｜?ｉ?ｉ?ｉ?ｉ?ｉ?ｉ??向量表示?卷積層?池化層分類層??圖２－５?—個(gè)簡單的卷積神經(jīng)網(wǎng)絡(luò)模型框架??１５??

絡(luò)適用于對句法依存樹進(jìn)行編碼，從詞的層面去刻畫句子的語法信息，來產(chǎn)生??句子中單詞的潛在特征表示。??（３）注意力機(jī)制??注意力機(jī)制（Ａｔｔｅｎｔｉｏｎ）最近在各個(gè)領(lǐng)域被廣泛使用，無論是圖像處理、語音識??別還是自然語言處理各種不同類型的任務(wù)中。從本質(zhì)上講注意力機(jī)制借鑒了人類的選??擇性視覺注意力機(jī)制，其目的也是從眾多信息中選擇出對當(dāng)前任務(wù)更有用的信息。在??自然語言處理領(lǐng)域中，注意力函數(shù)的本質(zhì)可以被描述為一個(gè)查詢（ｑｕｅｒｙ）到一系列鍵??（ｋｅｙ）—值（ｖａｌｕｅ）對的映射，如圖２－６所不。??Ｋｅｙｌ?Ｋｅｙ２?Ｋ．ｅｙ３?Ｋｅｙ４?！??，?Ａｔｔｅｎｔｉｏｎ??Ｑｕｅｒｙ?－｛?＾?Ｖａｌｕｅ????｜??＾＾＾??｜????ｉｎｎｎｎｉ??Ｖａｌｕｅｌ?Ｖａｌｕｅ２?Ｖａｌｕｅ３?Ｖａｌｕｅ４?Ｉ??Ｓｏｕｒｃｅ??ｉ?１??圖２－６注意力函數(shù)計(jì)算??對注意力值（Ａｔｔｅｎｔｉｏｎ?Ｖａｌｕｅ）的計(jì)算主要分為三個(gè)步驟：首先將ｑｕｅｒｙ和每個(gè)??ｋｅｙ進(jìn)行相似度計(jì)算得到權(quán)重，常用的相似度計(jì)算函數(shù)有點(diǎn)積、拼接、感知機(jī)等；接??著使用Ｓｏｆｔｍａｘ函數(shù)對上一步得到的權(quán)重進(jìn)行歸一化；最后將權(quán)重和相應(yīng)的鍵值ｖａｌｕｅ??進(jìn)行加權(quán)求和（Ｗｅｉｇｈｔｅｄ?Ｓｕｍ）得到最后的注意力值。在自然語言處理任務(wù)中，ｋｅｙ與??ｖａｌｕｅ通常都是相同的。整個(gè)計(jì)算過程可以表示為：??１６??

【參考文獻(xiàn)】：
期刊論文
[1]事件因果與時(shí)序關(guān)系識別的聯(lián)合推理模型[J]. 黃一龍,李培峰,朱巧明.  計(jì)算機(jī)科學(xué). 2018(06)
[2]基于全局優(yōu)化的中文事件時(shí)序關(guān)系推理方法[J]. 鄭新,李培峰,朱巧明.  中文信息學(xué)報(bào). 2016(05)
[3]中文事件時(shí)序關(guān)系的標(biāo)注和分類方法[J]. 鄭新,李培峰,朱巧明.  計(jì)算機(jī)科學(xué). 2015(07)
[4]基于最大熵的句內(nèi)時(shí)間關(guān)系識別[J]. 王風(fēng)娥,譚紅葉,錢揖麗.  計(jì)算機(jī)工程. 2012(04)
[5]中文事件抽取技術(shù)研究[J]. 趙妍妍,秦兵,車萬翔,劉挺.  中文信息學(xué)報(bào). 2008(01)

博士論文
[1]面向事件的知識處理研究[D]. 付劍鋒.上海大學(xué) 2010



本文編號：3401431