隨著人工智能理論和技術(shù)的飛速發(fā)展,機(jī)器閱讀理解成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)之一。機(jī)器閱讀理解,是由計(jì)算機(jī)自動(dòng)根據(jù)給定的文本來(lái)回答用戶所提出的問(wèn)題。機(jī)器閱讀理解不僅能提升問(wèn)答系統(tǒng)的準(zhǔn)確度和豐富度,而且還可以作為衡量機(jī)器是否能理解人類語(yǔ)言的標(biāo)準(zhǔn)之一。機(jī)器在進(jìn)行閱讀理解時(shí)需要具備兩個(gè)方面的能力:1)盡可能回答有答案的問(wèn)題,2)盡可能識(shí)別無(wú)答案的問(wèn)題。盡管機(jī)器閱讀理解在近幾年取得了突破性的進(jìn)展,但是仍然存在一些不足,例如:1)當(dāng)前方法側(cè)重于提升通用預(yù)訓(xùn)練語(yǔ)言模型的表示能力,并沒(méi)有針對(duì)機(jī)器閱讀理解的特點(diǎn)進(jìn)行優(yōu)化,導(dǎo)致其回答問(wèn)題的能力有所欠缺;2)當(dāng)前方法假設(shè)給定文本中一定存在答案,無(wú)法有效地識(shí)別無(wú)答案的問(wèn)題。針對(duì)以上兩點(diǎn)不足,本文提出基于聯(lián)合注意力機(jī)制的機(jī)器閱讀理解模型來(lái)提升回答問(wèn)題的能力,以及基于推理和驗(yàn)證的機(jī)器閱讀理解模型來(lái)提升識(shí)別無(wú)答案問(wèn)題的能力。本文主要工作如下:（1）本文提出了一個(gè)基于聯(lián)合注意力機(jī)制的機(jī)器閱讀理解模型（JointAtt-MRC）,在預(yù)訓(xùn)練語(yǔ)言模型的網(wǎng)絡(luò)結(jié)構(gòu)后面添加信息交互層來(lái)加強(qiáng)模型對(duì)文本的表示能力,提高模型在機(jī)器閱讀理解上的表現(xiàn)。該模型不僅通過(guò)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)緩解預(yù)... 

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文的研究?jī)?nèi)容
        1.3.1 基于聯(lián)合注意力機(jī)制的機(jī)器閱讀理解模型
        1.3.2 基于推理和驗(yàn)證的機(jī)器閱讀理解模型
        1.3.3 開(kāi)放域中文機(jī)器閱讀理解系統(tǒng)
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)理論與技術(shù)
    2.1 機(jī)器閱讀理解簡(jiǎn)介
    2.2 常見(jiàn)文本表示方法
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.3 Transformer網(wǎng)絡(luò)
    2.3 預(yù)訓(xùn)練語(yǔ)言模型
        2.3.1 自回歸語(yǔ)言模型
        2.3.2 自編碼語(yǔ)言模型
    2.4 機(jī)器閱讀理解模型
        2.4.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器閱讀理解模型
        2.4.2 基于預(yù)訓(xùn)練語(yǔ)言模型的機(jī)器閱讀理解模型
    2.5 自然語(yǔ)言推理模型
        2.5.1 基于深度學(xué)習(xí)的自然語(yǔ)言推理模型
        2.5.2 緩解數(shù)據(jù)類別不均衡的損失函數(shù)
    2.6 本章小結(jié)
第三章 基于聯(lián)合注意力機(jī)制的機(jī)器閱讀理解模型
    3.1 引言
    3.2 問(wèn)題描述
    3.3 數(shù)據(jù)集構(gòu)建
        3.3.1 現(xiàn)有中文機(jī)器閱讀理解數(shù)據(jù)集分析
        3.3.2 英文數(shù)據(jù)集翻譯
        3.3.3 答案起始標(biāo)簽重對(duì)齊
        3.3.4 數(shù)據(jù)集標(biāo)注系統(tǒng)
    3.4 模型設(shè)計(jì)
        3.4.1 模型結(jié)構(gòu)
        3.4.2 基于聯(lián)合注意力機(jī)制的編碼器
        3.4.3 基于聯(lián)合概率的答案抽取器
        3.4.4 目標(biāo)函數(shù)
    3.5 實(shí)驗(yàn)環(huán)境
        3.5.1 數(shù)據(jù)準(zhǔn)備
        3.5.2 參數(shù)設(shè)置
        3.5.3 實(shí)驗(yàn)設(shè)置
    3.6 實(shí)驗(yàn)結(jié)果與分析
        3.6.1 最大序列長(zhǎng)度對(duì)實(shí)驗(yàn)結(jié)果的影響分析
        3.6.2 最大答案長(zhǎng)度對(duì)實(shí)驗(yàn)結(jié)果的影響分析
        3.6.3 多任務(wù)學(xué)習(xí)對(duì)實(shí)驗(yàn)結(jié)果的影響分析
        3.6.4 不同網(wǎng)絡(luò)層添加對(duì)實(shí)驗(yàn)結(jié)果的影響分析
        3.6.5 Chinese-SQuAD數(shù)據(jù)集的魯棒性實(shí)驗(yàn)分析
    3.7 本章小結(jié)
第四章 基于推理和驗(yàn)證的機(jī)器閱讀理解模型
    4.1 引言
    4.2 問(wèn)題描述
    4.3 模型設(shè)計(jì)
        4.3.1 模型結(jié)構(gòu)
        4.3.2 前置推理器
        4.3.3 后置驗(yàn)證器
        4.3.4 分類損失函數(shù)
        4.3.5 目標(biāo)函數(shù)
    4.4 實(shí)驗(yàn)環(huán)境
        4.4.1 數(shù)據(jù)準(zhǔn)備
        4.4.2 參數(shù)設(shè)置
        4.4.3 實(shí)驗(yàn)設(shè)置
    4.5 實(shí)驗(yàn)結(jié)果與分析
        4.5.1 前置推理器和后置驗(yàn)證器實(shí)驗(yàn)結(jié)果分析
        4.5.2 Focal Loss對(duì)后置驗(yàn)證器實(shí)驗(yàn)結(jié)果的影響分析
        4.5.3 前置推理器對(duì)機(jī)器閱讀理解實(shí)驗(yàn)結(jié)果的影響分析
        4.5.4 后置驗(yàn)證器對(duì)機(jī)器閱讀理解實(shí)驗(yàn)結(jié)果的影響分析
    4.6 本章小結(jié)
第五章 開(kāi)放域中文機(jī)器閱讀理解系統(tǒng)
    5.1 引言
    5.2 開(kāi)放域機(jī)器閱讀理解系統(tǒng)流程設(shè)計(jì)
    5.3 系統(tǒng)模塊設(shè)計(jì)與實(shí)現(xiàn)
        5.3.1 檢索模塊
        5.3.2 段落排序與抽取模塊
        5.3.3 答案抽取模塊
        5.3.4 后臺(tái)模塊
        5.3.5 前臺(tái)模塊
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
研究成果及參與的科研項(xiàng)目
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的機(jī)器閱讀理解綜述[J]. 李舟軍,王昌寶.  計(jì)算機(jī)科學(xué). 2019(07)
[2]基于自注意力機(jī)制的閱讀理解模型[J]. 張浩宇,張鵬飛,李真真,譚慶平.  中文信息學(xué)報(bào). 2018(12)

碩士論文
[1]基于多粒度和注意力機(jī)制的機(jī)器閱讀理解[D]. 何啟濤.廣東工業(yè)大學(xué) 2019
[2]基于改進(jìn)自注意力的機(jī)器閱讀理解系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 姚瀾.華中科技大學(xué) 2019
[3]基于深度學(xué)習(xí)的機(jī)器閱讀理解算法研究[D]. 葛學(xué)志.電子科技大學(xué) 2019
[4]機(jī)器閱讀理解模型中的關(guān)鍵問(wèn)題研究[D]. 李亞慧.哈爾濱工業(yè)大學(xué) 2018
[5]中文閱讀理解選擇題求解技術(shù)研究[D]. 陳夏飛.山西大學(xué) 2018
[6]基于文本蘊(yùn)含識(shí)別的答案驗(yàn)證技術(shù)研究[D]. 趙得志.哈爾濱工業(yè)大學(xué) 2018
[7]融合多重語(yǔ)義對(duì)齊表示的機(jī)器閱讀理解研究[D]. 季靜.南京師范大學(xué) 2018



本文編號(hào)：3682396