發(fā)布時間：2021-12-16 16:01

　　命名實體識別是信息抽取、機器翻譯、知識圖譜等應(yīng)用領(lǐng)域的重要基礎(chǔ)工具,在自然語言處理技術(shù)走向?qū)嵱没^程中有著重要地位。在中文命名實體識別研究落后于英文命名實體識別研究以及深度學(xué)習興起的背景下,本文面向企業(yè)圖譜的構(gòu)建這一目標,基于深度神經(jīng)網(wǎng)絡(luò)模型,深入研究了圖譜構(gòu)建過程中涉及的中文命名實體識別技術(shù)。論文的主要工作如下:在經(jīng)典的BiLSTM-CRF命名實體識別模型的基礎(chǔ)上融入Self-Attention,提出了SA-BiLSTM-CRF模型。實驗證明該模型能夠有效提取遠距離依賴信息,有著更好的識別效果。并且發(fā)現(xiàn)BiLSTM與Self-Attention結(jié)合時使用雙向結(jié)合的方式比單一結(jié)合的方式效果更好。驗證了SA-BiLSTM-CRF模型中能夠較好地通過LSTM學(xué)習到單詞位置信息而不需要Positin Embedding。發(fā)現(xiàn)Multi-Head機制則能夠提升模型效果,但是抽頭過多容易過擬合。為了將SA-BiLSTM-CRF模型應(yīng)用于標注語料較少的企業(yè)領(lǐng)域,針對標注語料少、深度網(wǎng)絡(luò)模型難以訓(xùn)練的問題,分別基于遷移學(xué)習、自學(xué)習、主動學(xué)習、自學(xué)習與主動學(xué)習相結(jié)合四種思路提出了四種優(yōu)化策略。實驗驗證... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

企業(yè)圖譜展示

【參考文獻】：
期刊論文
[1]知識圖譜構(gòu)建技術(shù)綜述[J]. 劉嶠,李楊,段宏,劉瑤,秦志光.  計算機研究與發(fā)展. 2016(03)
[2]遷移學(xué)習研究進展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報. 2015(01)
[3]命名實體識別研究進展綜述[J]. 孫鎮(zhèn),王惠臨.  現(xiàn)代圖書情報技術(shù). 2010(06)
[4]主動學(xué)習研究綜述[J]. 龍軍,殷建平,祝恩,趙文濤.  計算機研究與發(fā)展. 2008(S1)



本文編號：3538424