語義分析是自然語言處理領域多年來研究的熱點和難點問題,也是當前機器翻譯、信息檢索、搜索引擎等應用系統(tǒng)面臨的主要技術瓶頸。漢語框架語義角色識別是面向漢語的框架語義分析中一個重要環(huán)節(jié)。目前,基于雙向長短期記憶的神經(jīng)網(wǎng)絡(BiLSTM)在語義角色識別與標注任務上使用較多,并且取得了很好的效果。但該類模型也存在著一些問題,如模型的預測結(jié)果并不穩(wěn)定,可復現(xiàn)性較差;在大的語料上訓練模型需要很大的計算開銷;模型的性能也和輸入端特征的設置緊密相關等。為此,本文研究基于BiLSTM模型進行漢語框架語義角色識別任務的建模方法,重點研究建模中的超參數(shù)調(diào)優(yōu)和模型輸入端特征的表示學習的改進方法。本文將當前詞、當前詞的詞性、目標詞和當前詞相對目標詞的位置信息4個輸入端特征,以及BiLSTM層次數(shù)目、模型頂層是否添加CRF分類器2個模型架構(gòu)的設計選項,統(tǒng)一做為模型的超參數(shù)。傳統(tǒng)的超參數(shù)調(diào)優(yōu)方法,一般都將完整語料按照所謂標準的8:1:1比例切分,采用超參數(shù)逐個加入模型的貪心策略來選到最優(yōu)的超參數(shù)組合,但該方法計算開銷大,結(jié)果依賴超參數(shù)進入模型的順序,穩(wěn)定性較差。為此,本文提出了一種基于穩(wěn)健設計的模型超參數(shù)調(diào)優(yōu)方法,該...

【文章頁數(shù)】：108 頁

【學位級別】：博士

【文章目錄】：
中文摘要
英文摘要
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 傳統(tǒng)的統(tǒng)計機器學習方法
        1.2.2 神經(jīng)網(wǎng)絡方法
    1.3 漢語框架語義分析架構(gòu)
        1.3.1 框架語義學
        1.3.2 Frame Net簡介
        1.3.3 漢語框架語義知識庫介紹
        1.3.4 漢語框架語義分析模型
    1.4 本文的主要研究問題、思路和組織結(jié)構(gòu)
第二章 基于Bi LSTM的語義角色識別模型
    2.1 漢語框架語義角色識別任務
    2.2 雙向長短期記憶網(wǎng)絡
    2.3 基于Bi LSTM的語義角色識別模型
    2.4 評價指標的3×2交叉驗證估計和模型比較的Bayes檢驗
        2.4.1 精確率(P)、召回率(R)和F₁值
        2.4.2 3×2交叉驗證
        2.4.3 3×2 交叉驗證下P、R和F₁值的分布函數(shù)及置信區(qū)間
    2.4.4 模型比較的Bayes假設檢驗
    2.5 實驗結(jié)果與分析
        2.5.1 實驗設置
        2.5.2 實驗結(jié)果
    2.6 本章小結(jié)
第三章 基于穩(wěn)健設計的Bi LSTM語義角色識別模型的超參數(shù)調(diào)優(yōu)方法
    3.1 問題描述
    3.2 基于穩(wěn)健設計的超參數(shù)調(diào)優(yōu)方法簡介
    3.3 模型的超參數(shù)
    3.4 穩(wěn)健設計
    3.5 實驗結(jié)果與分析
        3.5.1 實驗設置
        3.5.2 超參數(shù)的最優(yōu)配置組合
        3.5.3 超參數(shù)(因子)對性能指標F₁值影響的定量分析
    3.6 與 8:1:1 切分語料得到的實驗結(jié)果的比較
    3.7 本章小結(jié)
第四章Bi LSTM語義角色識別模型中特征的表示學習的改進方法
    4.1 一種校正的GloVe的詞表示學習方法
        4.1.1 詞表示學習簡介
        4.1.2 校正GloVe的理論基礎
        4.1.3 校正GloVe模型的具體方法51
        4.1.4 實驗結(jié)果與分析
    4.2 區(qū)分左右上下文信息的GloVe詞表示學習方法
        4.2.1 問題描述
        4.2.2 區(qū)分左右上下文信息的詞表示學習方法
        4.2.3 實驗結(jié)果與分析
    4.3 框架表示學習
        4.3.1 框架排歧介紹
        4.3.2 框架的表示學習方法
        4.3.3 框架排歧任務的實驗結(jié)果
        4.3.4 框架語義角色識別任務的實驗結(jié)果
    4.4 本章小結(jié)
第五章 結(jié)論及展望
    5.1 結(jié)論
    5.2 展望
參考文獻
攻讀博士學位期間取得的研究成果
致謝
個人簡況及聯(lián)系方式



本文編號：3958739