基于深度學習的依存句法分析研究模型
發(fā)布時間:2021-05-31 23:02
隨著互聯(lián)網(wǎng)技術的高速發(fā)展和全球化普及,大量語料呈爆炸式的涌現(xiàn)在網(wǎng)絡上,從語料中提取出有價值的信息并進行相應的處理已成為當前計算機領域中的一項重要研究內(nèi)容,由此自然語言處理技術應運而生。句法分析是自然語言處理領域中的一項關鍵技術,而依存句法因其簡潔明了的表現(xiàn)形式以及對詞語之間修飾關系的展現(xiàn)而使得該方法在多個領域都取得了廣泛的應用。隨著近年來深度學習在計算機各個領域所取得的突破性進展,基于深度學習的依存句法分析模型也為處理句法分析中出現(xiàn)的問題帶來了新的解決思路。針對當前依存句法的發(fā)展趨勢,本文提出設計并實現(xiàn)一種基于深度學習的依存句法聯(lián)合分析模型。首先,使用基于雙向長短期記憶網(wǎng)絡對句法結(jié)構(gòu)及序列標注進行統(tǒng)一建模;然后,通過詞性標注和深度圖相結(jié)合來處理依存句法分析問題,可以在較大程度上減少在提取特征時因為詞性標注所帶來的錯誤蔓延并解決多層次特征無法獲取的問題;最后,使用多個多層感知機分別預測依存弧和依存標簽。本文在依存句法分析模型基礎上設計的句法分析系統(tǒng)利用React、ES6和SVG等技術實現(xiàn)前端用戶界面的顯示及用戶登錄、文本訓練、文本預測、依存圖的展示等功能,并實現(xiàn)服務器端與客戶端數(shù)據(jù)的交互...
【文章來源】:沈陽工業(yè)大學遼寧省
【文章頁數(shù)】:60 頁
【學位級別】:碩士
【部分圖文】:
依存圖
語、句子之中是普遍存在的,這就說明了依存句法的關系存在于各種語言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語言知識,它所表現(xiàn)的是句子中詞語之間的修飾關系,由此就句子中每個詞語的距離搭配信息。 依存句法分析方法1 基于移進-規(guī)約的依存分析方法依存分析就是通過語言模型來自動分析出給定的句子結(jié)構(gòu),并將分析好的句對應的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動的依析方法上,即在訓練數(shù)據(jù)集上進行迭代學習,從而得到依存句法分析器,但不針對依存句法相關理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動態(tài)規(guī)劃的方法。一階分解模型表示簡單,但只能針對依存邊進行特征的選取,這就導致了評分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎上,研究究出了二階、三階分解模型[27],分別對應在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個依存邊是相互獨立的這一特點,二階分解模型中同一兄弟結(jié)點存在著某種特定關聯(lián),失去了依存邊的部分獨立性,三階分解模型的關聯(lián)較二階模型更近一步,但在更好的進行特征選取與處理遠距離依存關,也會以犧牲算法的時空復雜度為代價。所以在實際應用過程當中,要具體情析,在模型的精確度與復雜度之間取得一個平衡。
【參考文獻】:
期刊論文
[1]基于Word2Vec技術隱性特征挖掘及潛在升級投訴用戶識別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術. 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計算機應用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁主題相關度計算[J]. 王鋒,白宇,蔡東風,王鐵錚. 計算機應用與軟件. 2018(07)
[4]基于注意力長短時記憶網(wǎng)絡的中文詞性標注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學. 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學學報(自然科學版). 2018(01)
[7]基于深度學習的圖解碼依存分析研究進展[J]. 常寶寶. 山西大學學報(自然科學版). 2017(03)
[8]基于語言學的依存分析結(jié)果動賓關系補全研究[J]. 張丹,周俏麗,張桂平. 計算機應用研究. 2018(04)
[9]基于依存句法分析的病理報告結(jié)構(gòu)化處理方法[J]. 田馳遠,陳德華,王梅,樂嘉錦. 計算機研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語義增強的深度學習模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計算機學報. 2017(04)
博士論文
[1]中文詞法句法語義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術語關系抽取方法研究[D]. 周雯.北京交通大學 2017
[2]高性能漢語依存句法分析方法的研究[D]. 羅特.北京交通大學 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡的依存句法分析模型研究[D]. 張俊馳.湖北大學 2016
[4]漢語依存句法分析技術研究[D]. 郭振.北京交通大學 2015
本文編號:3209143
【文章來源】:沈陽工業(yè)大學遼寧省
【文章頁數(shù)】:60 頁
【學位級別】:碩士
【部分圖文】:
依存圖
語、句子之中是普遍存在的,這就說明了依存句法的關系存在于各種語言系依存句法舍棄了喬姆斯基[18](Chomsky)所提出的形式化重寫規(guī)則,在詞典中出近乎所有的語言知識,它所表現(xiàn)的是句子中詞語之間的修飾關系,由此就句子中每個詞語的距離搭配信息。 依存句法分析方法1 基于移進-規(guī)約的依存分析方法依存分析就是通過語言模型來自動分析出給定的句子結(jié)構(gòu),并將分析好的句對應的依存樹的過程[19]。目前主流的依存句法研究主要集中在數(shù)據(jù)驅(qū)動的依析方法上,即在訓練數(shù)據(jù)集上進行迭代學習,從而得到依存句法分析器,但不針對依存句法相關理論的研究[20],該方法的分析過程如下圖 2.2 所示。McDoiver[22]所建立的基于數(shù)據(jù)驅(qū)動的依存分析方法中主要包括以下兩種:基于移依存分析方法[23](Transition-based Dependency Parsing)和基于圖的依存分析Graph-based Dependency Parsing)。
第 2 章 依存句法分析概述, ,( , ) ( , , )h mh mw w lb yScore x y Score w w lb (在上面的式子中,hw 為核心詞,mw 為修飾詞, lb 為前兩者之間有指向的依式就表示上述三者所構(gòu)成的依存關系。一階分解模型也被稱為邊分解模型[26]ored model),在一般情況下想獲得最優(yōu)依存樹通常采用動態(tài)規(guī)劃的方法。一階分解模型表示簡單,但只能針對依存邊進行特征的選取,這就導致了評分取與分析過程中有所限制。為解決這一問題,在一階分解模型的基礎上,研究究出了二階、三階分解模型[27],分別對應在圖 2.3 的(a)、(b)、(c)。于一階分解模型中各個依存邊是相互獨立的這一特點,二階分解模型中同一兄弟結(jié)點存在著某種特定關聯(lián),失去了依存邊的部分獨立性,三階分解模型的關聯(lián)較二階模型更近一步,但在更好的進行特征選取與處理遠距離依存關,也會以犧牲算法的時空復雜度為代價。所以在實際應用過程當中,要具體情析,在模型的精確度與復雜度之間取得一個平衡。
【參考文獻】:
期刊論文
[1]基于Word2Vec技術隱性特征挖掘及潛在升級投訴用戶識別研究[J]. 蘇良良,雷蕾,李景文,黃敏杰. 電信技術. 2018(12)
[2]循環(huán)神經(jīng)網(wǎng)絡研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計算機應用. 2018(S2)
[3]基于Bi-LSTM和分布式表示的網(wǎng)頁主題相關度計算[J]. 王鋒,白宇,蔡東風,王鐵錚. 計算機應用與軟件. 2018(07)
[4]基于注意力長短時記憶網(wǎng)絡的中文詞性標注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學. 2018(04)
[5]Syntactic word embedding based on dependency syntax and polysemous analysis[J]. Zhong-lin YE,Hai-xing ZHAO. Frontiers of Information Technology & Electronic Engineering. 2018(04)
[6]基于雙向LSTM的圖結(jié)構(gòu)依存句法分析[J]. 諶志群,王冰,王榮波,黃孝喜. 杭州電子科技大學學報(自然科學版). 2018(01)
[7]基于深度學習的圖解碼依存分析研究進展[J]. 常寶寶. 山西大學學報(自然科學版). 2017(03)
[8]基于語言學的依存分析結(jié)果動賓關系補全研究[J]. 張丹,周俏麗,張桂平. 計算機應用研究. 2018(04)
[9]基于依存句法分析的病理報告結(jié)構(gòu)化處理方法[J]. 田馳遠,陳德華,王梅,樂嘉錦. 計算機研究與發(fā)展. 2016(12)
[10]用于微博情感分析的一種情感語義增強的深度學習模型[J]. 何炎祥,孫松濤,牛菲菲,李飛. 計算機學報. 2017(04)
博士論文
[1]中文詞法句法語義聯(lián)合分析模型研究[D]. 張梅山.哈爾濱工業(yè)大學 2014
碩士論文
[1]基于句法結(jié)構(gòu)的術語關系抽取方法研究[D]. 周雯.北京交通大學 2017
[2]高性能漢語依存句法分析方法的研究[D]. 羅特.北京交通大學 2017
[3]基于循環(huán)神經(jīng)網(wǎng)絡的依存句法分析模型研究[D]. 張俊馳.湖北大學 2016
[4]漢語依存句法分析技術研究[D]. 郭振.北京交通大學 2015
本文編號:3209143
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3209143.html
最近更新
教材專著