自然語(yǔ)言處理是人工智能一個(gè)重要的子領(lǐng)域,對(duì)人類生活的影響重要且深遠(yuǎn)。目前如何從海量、冗余的信息中提取用戶感興趣且有意義的內(nèi)容是亟待解決的問(wèn)題。信息抽取的兩項(xiàng)核心性任務(wù)是命名實(shí)體識(shí)別和關(guān)系抽取,近年來(lái)深度學(xué)習(xí)技術(shù)在兩任務(wù)中得到了廣泛應(yīng)用,在效果上取得了很大的進(jìn)步。關(guān)系抽取任務(wù)建立在實(shí)體識(shí)別任務(wù)之上,目的是對(duì)識(shí)別出有意義的實(shí)體進(jìn)行關(guān)系提取。本文采用管道方式,研究了以詞向量預(yù)訓(xùn)練模型為基礎(chǔ)的命名實(shí)體識(shí)別模型,進(jìn)而利用識(shí)別出的實(shí)體與神經(jīng)網(wǎng)絡(luò)結(jié)合完成關(guān)系抽取任務(wù)。下面對(duì)本文工作和創(chuàng)新點(diǎn)進(jìn)行介紹:1.完成了基于BERT-BiLSTM-CRF模型的命名實(shí)體識(shí)別工作。通過(guò)BERT預(yù)訓(xùn)練模型獲得詞的向量表示,該方法有效縮短了訓(xùn)練時(shí)間,對(duì)一詞多義問(wèn)題處理效果顯著。接著將向量表示序列輸入BiLSTM網(wǎng)絡(luò)層獲取文本上下文特征,最后通過(guò)CRF層對(duì)序列特征進(jìn)行標(biāo)注得到最終實(shí)體識(shí)別結(jié)果。2.提出了一種分段卷積神經(jīng)網(wǎng)絡(luò)完成關(guān)系抽取任務(wù)。模型的輸入內(nèi)容為一個(gè)句子與其實(shí)體,將輸入內(nèi)容轉(zhuǎn)換成表示向量后送入卷積層。在卷積層把向量分成兩段并分別采用不同卷積操作,融合了句子和實(shí)體信息的模型能更好地提取文本特征。兩段卷積結(jié)果拼接后...

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1Word2vec模型圖

第2章相關(guān)技術(shù)介紹10距離兩種方法計(jì)算向量距離。假設(shè)兩個(gè)文本的向量分別表示為：=12(,,...,)nXxxx和=12(,,...,)nYyyy。歐式距離衡量的是多維空間中兩個(gè)點(diǎn)之間的絕對(duì)距離。歐式距離越小表示兩個(gè)文本相似度越高，計(jì)算方法如公式(2.1)所示。==21dist(,....

圖2.2ELMo模型結(jié)構(gòu)圖

第2章相關(guān)技術(shù)介紹12圖2.2ELMo模型結(jié)構(gòu)圖3.GPTGPT模型由OpenAI團(tuán)隊(duì)提出，它的目標(biāo)是追求應(yīng)用在大量任務(wù)上，學(xué)習(xí)一個(gè)通用表示。GPT的網(wǎng)絡(luò)結(jié)構(gòu)較ELMo更深更廣，為了更好捕捉句子中的長(zhǎng)距離語(yǔ)義依賴關(guān)系。研究團(tuán)隊(duì)用Transformer[35]代替了ELMo中的多層....

圖2.3BERT模型圖

第2章相關(guān)技術(shù)介紹12圖2.2ELMo模型結(jié)構(gòu)圖3.GPTGPT模型由OpenAI團(tuán)隊(duì)提出，它的目標(biāo)是追求應(yīng)用在大量任務(wù)上，學(xué)習(xí)一個(gè)通用表示。GPT的網(wǎng)絡(luò)結(jié)構(gòu)較ELMo更深更廣，為了更好捕捉句子中的長(zhǎng)距離語(yǔ)義依賴關(guān)系。研究團(tuán)隊(duì)用Transformer[35]代替了ELMo中的多層....

圖2.4經(jīng)典RNN基本結(jié)構(gòu)圖

第2章相關(guān)技術(shù)介紹13向結(jié)構(gòu)，雙向結(jié)構(gòu)使BERT更好融合上下文信息。BERT訓(xùn)練過(guò)程類似完形填空問(wèn)題，首先在訓(xùn)練時(shí)遮蓋住15%左右的詞，這些詞用人工遮蓋符號(hào)[MASK]代替，語(yǔ)言模型通過(guò)預(yù)測(cè)這些詞，不斷對(duì)比評(píng)估上下文來(lái)讓網(wǎng)絡(luò)學(xué)習(xí)通用的語(yǔ)義、詞法信息。BERT成功在11項(xiàng)NLP任務(wù)....

本文編號(hào)：3962389