實體和關(guān)系的抽取作為自然語言處理中知識抽取的主要環(huán)節(jié),是一大研究熱點。然而傳統(tǒng)的基于流水線的實體關(guān)系抽取方法并不能達到良好的效果,現(xiàn)有的聯(lián)合抽取方法通常需要復(fù)雜的特征工程。本文研究基于深度強化學(xué)習(xí)的文本實體關(guān)系聯(lián)合抽取,提出基于參數(shù)遷移學(xué)習(xí)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法和基于深度策略梯度的實體關(guān)系聯(lián)合抽取模型。論文的主要研究工作和創(chuàng)新內(nèi)容如下:1)基于參數(shù)遷移學(xué)習(xí)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法研究本文首先采用基于共享參數(shù)的遷移學(xué)習(xí)算法實現(xiàn)對實體關(guān)系聯(lián)合抽取的預(yù)訓(xùn)練,采用兩種共享參數(shù)預(yù)訓(xùn)練技術(shù)-共享詞向量參數(shù)和共享LSTM聯(lián)合抽取器參數(shù)。該方法提出最新的結(jié)合實體位置信息的ALBERT詞向量嵌入以構(gòu)建共享詞向量參數(shù);抽取部分數(shù)據(jù)構(gòu)建LSTM模型,將預(yù)訓(xùn)練的權(quán)重矩陣共享到參數(shù)相同的LSTM聯(lián)合抽取器中。融合這兩種共享參數(shù)技術(shù)用于后續(xù)的實體關(guān)系聯(lián)合抽取。2)基于深度策略梯度的實體關(guān)系聯(lián)合抽取模型研究本文在基于參數(shù)遷移學(xué)習(xí)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法的基礎(chǔ)上,提出基于深度策略梯度的實體關(guān)系聯(lián)合抽取模型研究。本文首先將經(jīng)過預(yù)訓(xùn)練方法的LSTM聯(lián)合抽取器得到的輸出值作為本模型的動作值。其次初始化強化學(xué)習(xí)... 

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 基于遷移學(xué)習(xí)的實體關(guān)系抽取研究現(xiàn)狀
        1.2.2 基于流水線方法的實體關(guān)系抽取研究現(xiàn)狀
        1.2.3 基于聯(lián)合抽取方法的實體關(guān)系抽取研究現(xiàn)狀
        1.2.4 國內(nèi)外研究現(xiàn)狀解析
    1.3 本文主要研究內(nèi)容及創(chuàng)新點
    1.4 組織結(jié)構(gòu)與安排
第2章 相關(guān)理論技術(shù)和研究
    2.1 實體關(guān)系抽取的聯(lián)合抽取標注策略
    2.2 實體關(guān)系抽取的深度學(xué)習(xí)方法理論和技術(shù)
        2.2.1 詞嵌入技術(shù)
        2.2.2 遷移學(xué)習(xí)
        2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 實體關(guān)系抽取的強化學(xué)習(xí)方法理論和技術(shù)
        2.3.1 強化學(xué)習(xí)
        2.3.2 深度Q學(xué)習(xí)網(wǎng)絡(luò)
        2.3.3 策略梯度算法
    2.4 評價指標
    2.5 本章小結(jié)
第3章 基于參數(shù)遷移學(xué)習(xí)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法研究
    3.1 基于共享詞向量參數(shù)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練
        3.1.1 基于ALBERT的詞向量表示
        3.1.2 融合實體位置信息的詞向量嵌入
    3.2 基于共享LSTM聯(lián)合抽取器參數(shù)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練
    3.3 基于參數(shù)遷移學(xué)習(xí)的實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法實現(xiàn)
        3.3.1 實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法原理
        3.3.2 實體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法描述
    3.4 基于公共數(shù)據(jù)集ACE2005的實驗驗證
        3.4.1 實驗數(shù)據(jù)與實驗環(huán)境
        3.4.2 實驗結(jié)果與分析
    3.5 基于自建醫(yī)療文本數(shù)據(jù)集的實驗驗證
        3.5.1 醫(yī)療文本實體關(guān)系抽取
        3.5.2 醫(yī)療文本數(shù)據(jù)集
        3.5.3 實驗結(jié)果與分析
    3.6 本章小結(jié)
第4章 基于深度策略梯度的實體關(guān)系聯(lián)合抽取模型研究
    4.1 基于深度策略梯度的實體關(guān)系訓(xùn)練器
    4.2 基于深度策略梯度的實體關(guān)系聯(lián)合抽取模型實現(xiàn)
        4.2.1 實體關(guān)系聯(lián)合抽取算法原理
        4.2.2 實體關(guān)系聯(lián)合抽取算法描述
    4.3 基于公共數(shù)據(jù)集ACE2005的實驗驗證
        4.3.1 實驗設(shè)置
        4.3.2 實驗結(jié)果與分析
    4.4 基于公共數(shù)據(jù)集NYT的實驗驗證
    4.5 基于自建醫(yī)療文本數(shù)據(jù)集的實驗驗證
    4.6 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 未來展望
參考文獻
致謝
個人簡歷、在校期間發(fā)表學(xué)術(shù)論文和研究成果


【參考文獻】：
期刊論文
[1]基于改進的深度殘差網(wǎng)絡(luò)的圖像識別[J]. 湯凱,何慶,趙群,王旭.  南京師大學(xué)報(自然科學(xué)版). 2019(03)
[2]Trans-NER:一種遷移學(xué)習(xí)支持下的中文命名實體識別模型[J]. 王銀瑞,彭敦陸,陳章,劉叢.  小型微型計算機系統(tǒng). 2019(08)
[3]基于遷移學(xué)習(xí)和BiLSTM-CRF的中文命名實體識別[J]. 武惠,呂立,于碧輝.  小型微型計算機系統(tǒng). 2019(06)
[4]反饋式K近鄰語義遷移學(xué)習(xí)的領(lǐng)域命名實體識別[J]. 朱艷輝,李飛,冀相冰,曾志高,徐嘯.  智能系統(tǒng)學(xué)報. 2019(04)
[5]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理.  計算機應(yīng)用. 2018(S2)
[6]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實體識別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗.  中文信息學(xué)報. 2017(04)
[7]融合遷移學(xué)習(xí)的中文命名實體識別[J]. 王紅斌,沈強,線巖團.  小型微型計算機系統(tǒng). 2017(02)
[8]深度強化學(xué)習(xí)綜述[J]. 劉全,翟建偉,章宗長,鐘珊,周倩,章鵬,徐進.  計算機學(xué)報. 2018(01)
[9]遷移學(xué)習(xí)研究進展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報. 2015(01)

碩士論文
[1]基于高級語義的通用型文本生成遷移學(xué)習(xí)[D]. 李昊.浙江大學(xué) 2019
[2]基于遷移學(xué)習(xí)的中文短文本情緒分析[D]. 雍若蘭.華東師范大學(xué) 2018
[3]基于多組分異構(gòu)遷移學(xué)習(xí)的圖片分類方法[D]. 蔣慧強.華南理工大學(xué) 2018



本文編號：3675450