命名實體識別是自然語言處理領域的核心基礎性任務之一,其任務是從文本中提取特定類型的實體。在信息檢索、問答系統(tǒng)、信息抽取、文本挖掘、輿情分析等下游自然語言處理任務中具有重要的科學意義和廣泛的應用價值。從目前已有的研究成果來看,命名實體識別研究在專有領域（社交媒體、醫(yī)療領域）識別的結果,受困于高質量標注語料規(guī)模小的現(xiàn)狀,對比傳統(tǒng)領域性能更差。使得專有領域命名實體識別成為一個有挑戰(zhàn)性的研究領域。如何進行命名實體識別的領域適應性遷移,提高專有領域模型的性能是本課題的主要研究內容。本文主要研究內容包括:（1）綜述命名實體識別的研究背景及發(fā)展歷程,分析比較常見命名實體模型的性能優(yōu)劣,并闡述了遷移學習在命名實體識別領域適應性研究的可行性。（2）對基于深度學習的命名實體識別模型算法Bi LSTM-CRF模型進行歸納并改進,通過Glove語言模型將字符文本轉化為低維稠密向量,同時利用雙向長短期記憶網絡提取字符級別的特征,將字詞結合的向量表示利用CRF層計算并輸出最優(yōu)標記序列。構建端到端的實體識別模型。（3）設計并實現(xiàn)了ERNIE-Bi GRU-CRF模型。針對深度學習方法處理命名實體識別任務時,經典的詞... 

【文章來源】：山東理工大學山東省

【文章頁數】：62 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
        1.1.1 課題來源及意義
        1.1.2 國內外研究現(xiàn)狀
    1.2 主要研究內容
    1.3 論文組織結構
    1.4 本章小結
第二章 問題描述及相關技術
    2.1 命名實體識別
        2.1.1 形式化定義
        2.1.2 命名實體標簽集合
        2.1.3 評估指標
    2.2 神經網絡
        2.2.1 神經網絡概述
        2.2.2 循環(huán)神經網絡
    2.3 文本表示
        2.3.1 語言模型
        2.3.2 word2vec
        2.3.3 Glove語言模型
    2.4 遷移學習
        2.4.1 遷移學習基本概念
        2.4.2 遷移學習方法
    2.5 條件隨機場
    2.6 本章小結
第三章 結合預訓練和深度學習的命名實體識別模型
    3.1 RNN-CRF命名實體識別框架
        3.1.1 框架結構
        3.1.2 性能測試
    3.2 基于ERNIE-BIGRU-CRF的中文命名實體識別模型
        3.2.1 ERNIE-BiGRU-CRF模型
        3.2.2 ERNIE預訓練語言模型
        3.2.3 門控循環(huán)單元網絡
        3.2.4 CRF層
    3.3 模型訓練及參數配置
        3.3.1 實驗環(huán)境
        3.3.2 模型優(yōu)化算法及參數配置
    3.4 實驗結果與分析
        3.4.1 實驗數據集
        3.4.2 不同模型的對比實驗
    3.5 本章小結
第四章 TL-BILSTM-CRF遷移學習模型命名實體識別框架
    4.1 TL-BILSTM-CRF遷移學習模型
        4.1.1 字詞結合的表示層
        4.1.2 詞適應層
        4.1.3 CRF層
    4.2 模型訓練與實驗環(huán)境配置
        4.2.1 參數初始化
        4.2.2 實驗環(huán)境配置
    4.3 結果分析
        4.3.1 實驗數據集
        4.3.2 模型性能分析
        4.3.3 對比實驗
    4.4 本章小結
第五章 總結與展望
    5.1 本文工作總結
    5.2 展望未來
參考文獻
在讀期間公開發(fā)表的論文
致謝



本文編號：3158697