機器閱讀理解是自然語言處理領(lǐng)域最為重要的一個方向,這也催生了一大批用于做機器閱讀理解任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。盡管如此,多數(shù)模型使用的仍是基于LSTM或是GRU的結(jié)構(gòu),此種結(jié)構(gòu)雖然效果不錯,但由于RNN的性質(zhì),導(dǎo)致這種結(jié)構(gòu)較為耗時,且多數(shù)模型在注意力機制的應(yīng)用上是一種粗粒度的,這對機器回答問題的結(jié)果會有一定的影響。因此,文中提出了一個新的細(xì)粒度的模型結(jié)構(gòu),該結(jié)構(gòu)采用了在速度上能夠與CNN媲美的SRU作為網(wǎng)絡(luò)的主要結(jié)構(gòu),并使用了細(xì)粒度的注意力機制對文章及問題的表示進行對齊操作,能夠較好的結(jié)合文章及問題的信息并對答案進行推斷。此外,文中還使用了一個新的網(wǎng)絡(luò)架構(gòu),稱之為doubled SRU,該結(jié)構(gòu)是一個兩層的SRU變種,其中第二層的SRU使用了上下文的表征計算當(dāng)前的隱狀態(tài)。在輸入層之后,文中的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計了多種對齊結(jié)構(gòu),包括文章問題對齊層、問題文章對齊層以及自對齊層等,這些對齊結(jié)構(gòu)都是根據(jù)注意力機制的思想設(shè)計而成。本文在斯坦福的問答數(shù)據(jù)集上進行了實驗,最終在SQuAD 1.1版本的數(shù)據(jù)集上,文中使用的模型結(jié)構(gòu)在交叉驗證集上取得了 85.1的F1分?jǐn)?shù),而在后期的升級版數(shù)據(jù)集SQuAD 2.0上,文... 

【文章頁數(shù)】：49 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 詞嵌入研究現(xiàn)狀
        1.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀
        1.2.3 Attention機制研究現(xiàn)狀
        1.2.4 機器閱讀理解研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)理論簡介
    2.1 詞向量及其表示
    2.2 Attention Mechanism
        2.2.1 Encoder-Decoder框架
        2.2.2 Attention機制
    2.3 Doubled Simple Recurrent Units
    2.4 Pointer Networks
    2.5 本章小結(jié)
第3章 機器閱讀理解的算法實現(xiàn)
    3.1 數(shù)據(jù)集介紹及其預(yù)處理
    3.2 模型架構(gòu)
    3.3 模型算法
        3.3.1 Question and Passage Encoding Layer
        3.3.2 Iterative Aligner Layer
        3.3.3 Output Layer
        3.3.4 Loss Function
        3.3.5 Optimizer
    3.4 本章小結(jié)
第4章 實驗與分析
    4.1 實驗環(huán)境
    4.2 實驗數(shù)據(jù)
    4.3 實驗指標(biāo)
    4.4 實驗結(jié)果及其分析
    4.5 本章小結(jié)
第5章 結(jié)論與展望
    5.1 結(jié)論
    5.2 進一步工作的方向
致謝
參考文獻(xiàn)



本文編號：3726319