隨著人工智能的發(fā)展,人們愈發(fā)希望計算機能夠通過自然語言技術(shù)理解人類的語言,像人類一樣學(xué)習(xí)思考,最終代替人類去完成具有認(rèn)知能力的高難度任務(wù)。句子表征推理技術(shù)作為自然語言理解的關(guān)鍵技術(shù),目前的研究優(yōu)化內(nèi)容主要集中在句子表征方法和推理模型兩個方面,雖然性能也有提升,但是仍存在句子語義表達不全面、推理模型缺乏深度、推理過程缺乏可解釋性等問題。本文針對以上問題,對句子表征推理技術(shù)進行了研究,具體研究工作如下:(1)針對句子表征方法表達信息不全面的問題,設(shè)計了一種多層語義表征網(wǎng)絡(luò)應(yīng)用于句子表征,通過多頭注意力機制獲取句子不同層面的語義信息,同時還通過添加詞語間的相對位置掩碼,融入句子的語序信息,減少語序帶來的不確定性。最后在文本蘊含識別任務(wù)和情感分類任務(wù)上對該方法進行了驗證,實驗結(jié)果表明,多層語義表征網(wǎng)絡(luò)對于提升句子表征的準(zhǔn)確性和全面性有促進作用。(2)針對推理模型缺乏推理深度和可解釋性的問題,設(shè)計了一種深度融合匹配網(wǎng)絡(luò),主要包括編碼層、匹配層、依存卷積層、信息聚合層和推理預(yù)測層。在深度匹配網(wǎng)絡(luò)的基礎(chǔ)上對匹配層進行了改進,利用啟發(fā)式匹配算法替換雙向長短記憶神經(jīng)網(wǎng)絡(luò)簡化交互融合,在提升推理深度的同時...

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 句子表征推理研究現(xiàn)狀
        1.2.1 句子表征研究現(xiàn)狀
        1.2.2 語義推理研究現(xiàn)狀
    1.3 研究內(nèi)容與方法
    1.4 章節(jié)安排
第二章 基于多層語義網(wǎng)絡(luò)的句子表征方法
    2.1 句子表征方法概述
        2.1.1 自然語言語義的特點
        2.1.2 基于雙向長短記憶網(wǎng)絡(luò)的語義提取技術(shù)
        2.1.3 多頭注意力機制的優(yōu)勢
    2.2 基于多頭注意力的語義表征網(wǎng)絡(luò)設(shè)計
        2.2.1 自然語言句子向量化
        2.2.2 多層語義信息提取與強化
        2.2.3 句子嵌入表征生成
    2.3 實驗與分析
        2.3.1 實驗數(shù)據(jù)與實驗步驟
        2.3.2 評價指標(biāo)與參數(shù)設(shè)置
        2.3.3 結(jié)果概述與分析
        2.3.4 消融分析
    2.4 本章小結(jié)
第三章 基于深度融合匹配網(wǎng)絡(luò)的語義推理模型
    3.1 語義推理模型框架
    3.2 推理信息提取方法
        3.2.1 基于AF-DMN的匹配模型
        3.2.2 基于樹形卷積網(wǎng)絡(luò)的句法結(jié)構(gòu)提取
    3.3 基于深度融合匹配網(wǎng)絡(luò)的推理模型設(shè)計
        3.3.1 句子編碼化
        3.3.2 基于改進AF-DMN的局部推理建模
        3.3.3 基于d-TBCNN的句法結(jié)構(gòu)建模
        3.3.4 全局推理信息融合
        3.3.5 結(jié)果推理預(yù)測
    3.4 實驗與分析
        3.4.1 實驗數(shù)據(jù)與參數(shù)設(shè)置
        3.4.2 預(yù)測準(zhǔn)確率分析
        3.4.3 性能分析
        3.4.4 消融分析
    3.5 本章小結(jié)
第四章 多層語義與深度融合匹配網(wǎng)絡(luò)的聯(lián)合優(yōu)化
    4.1 基于多層語義和SCF-DMN的聯(lián)合優(yōu)化方法設(shè)計
        4.1.1 自然語言文本預(yù)處理模塊
        4.1.2 基于多層語義網(wǎng)絡(luò)的句子表征模塊
        4.1.3 基于SCF-DMN的關(guān)系推理模塊
        4.1.4 結(jié)果預(yù)測模塊
    4.2 實驗方案設(shè)計
        4.2.1 無模塊優(yōu)化
        4.2.2 單獨優(yōu)化
        4.2.3 組合優(yōu)化
        4.2.4 聯(lián)合優(yōu)化
    4.3 實驗與分析
        4.3.1 實驗數(shù)據(jù)與參數(shù)配置
        4.3.2 結(jié)果概述與分析
        4.3.3 優(yōu)化方式分析
        4.3.4 各模塊性能變化分析
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
致謝
參考文獻
攻讀碩士期間取得的成果



本文編號：3742763