本文關(guān)鍵詞：基于免疫學原理的詞表示及其應用研究

  更多相關(guān)文章： 詞表示 詞主體 詞相似度 關(guān)系相似度 命名實體識別 適應性免疫學原理 基于主體建模

【摘要】：自然語言處理研究主要應用機器學習方法,需要對詞進行數(shù)學表示。詞表示就是采用數(shù)學形式用詞的屬性對詞進行的表示,在現(xiàn)有研究中,詞一般表示成向量,向量的每一維對應詞的屬性。詞表示的學習可以事先獨立于具體任務和模型,一旦詞表示學習完畢,學習到的詞表示可以共享給其他研究人員并整合到現(xiàn)有的自然語言處理研究中。詞表示對自然語言處理研究至關(guān)重要,已廣泛應用于詞相似度計算、關(guān)系相似度計算、詞性標注、句法分析、命名實體識別、情感分析等自然語言處理任務。詞表示方法的理論根源是分布式語義假設,即出現(xiàn)在相同上下文的詞傾向于表達相似的意義。所以現(xiàn)有詞表示研究大多基于大規(guī)模語料,應用統(tǒng)計機器學習方法從詞的上下文中學習詞的向量表示。由于大多數(shù)統(tǒng)計機器學習方法缺乏持續(xù)學習能力,詞表示只能是在給定規(guī)模的語料上一次性學習完成。所以現(xiàn)有詞表示方法最大的問題就是缺乏持續(xù)學習能力,適應性較差,制約了詞表示的進一步應用。本文借鑒人體適應性免疫學原理,構(gòu)建多詞主體自治學習模型從語料中學習詞表示,試圖解決這一問題。首先,本文系統(tǒng)地分析了語言和免疫系統(tǒng)的一致性,奠定本文研究的理論基礎(chǔ);然后,基于一致性,把詞模擬成免疫細胞,引入克隆選擇原理和免疫網(wǎng)絡理論構(gòu)建多詞主體自治學習模型學習詞表示;其次,在詞相似度計算和關(guān)系相似度計算這兩個任務上對本文提出的詞表示方法進行了評價,這兩個任務同時也是詞表示的直接應用;最后把詞表示應用到中文電子病歷命名實體識別這一代表性的信息抽取任務中。主要研究內(nèi)容包括以下五個方面:1.系統(tǒng)地比較了語言和免疫系統(tǒng)的一致性,深入分析了語言和免疫系統(tǒng)的一致性對詞表示研究的重要啟發(fā)。語言和免疫系統(tǒng)的一致性是本課題的理論基礎(chǔ),一致性對比分析從三個方面展開,首先是學習特點的一致性,都具有持續(xù)學習特性;其次是作為語言的最小單位詞和免疫系統(tǒng)的重要細胞B細胞存在深刻的一致性;最后是由詞組成的語言網(wǎng)絡和由B細胞組成的額免疫網(wǎng)絡都具有復雜網(wǎng)絡特性。這三方面的一致性對模型的設計提供了重要啟發(fā),指導詞表示學習模型的構(gòu)建。2.提出基于免疫學原理的詞表示方法和多詞主體自治學習模型學習詞的表示。在面向自治計算框架下采用主體建模方法,引入適應性免疫學原理(克隆選擇原理和免疫網(wǎng)絡理論),構(gòu)建多詞主體自治學習模型,該模型是一種在線學習模型。模型將詞模擬成B細胞,將詞的屬性表示支配屬性向量和依賴屬性向量,并模擬成B細胞受體,詞之間的依存關(guān)系模擬成B細胞之間的識別關(guān)系,識別方式是一個詞的支配屬性向量和另一個詞的依賴屬性向量進行匹配。在免疫學原理的作用下,模型調(diào)節(jié)詞之間的結(jié)合強度,進而學習詞的表示。3.基于本文的詞表示方法提出一種詞相似度計算方法,并通過實驗驗證詞表示方法和詞相似度計算方法的有效性。本文的詞表示方法把詞表示成兩個向量,一個代表詞的支配屬性向量,另一個代表依賴屬性向量;本文擴展分布式語義假設為“具有相似的支配上下文和相似的依賴上下文的兩個詞是相似的”,因此詞相似度值需要考慮兩個詞在支配屬性向量上的相似度和依賴屬性上的相似度。該方法在評價數(shù)據(jù)上取得了有效的評價結(jié)果。4.基于本文的詞表示方法提出一種詞關(guān)系表示方法和詞關(guān)系相似度計算方法,并通過實驗驗證詞表示方法和詞關(guān)系相似度計算方法的有效性。本文把詞的結(jié)合關(guān)系泛化成語義關(guān)系,因而把一個詞的支配屬性向量和另一個詞的依賴屬性向量匹配后得到的向量作為關(guān)系的表示。詞之間的關(guān)系存在方向性,因此本研究把詞的關(guān)系表示成兩個向量,一個代表詞之間的正向關(guān)系,一個代表詞之間的反向關(guān)系,分別對應于詞之間的兩種結(jié)合方式;基于這樣的關(guān)系表示,本文認為只有在正向關(guān)系上和反向關(guān)系上同時相似的兩個關(guān)系對才相似,因此關(guān)系相似度值需要考慮兩個關(guān)系對在正向關(guān)系向量上的相似度和反向關(guān)系向量上的相似度。該方法在評價數(shù)據(jù)上取得了有效的評價結(jié)果。5.基于本文的詞表示方法,引入詞表示到命名實體識別模型中,提升中文電子病歷命名實體識別的性能。本文首先抽取電子病歷中的詞,然后從新聞語料上學習到的詞表示集中取得詞的向量表示,對病歷中的詞進行聚類,然后把詞的聚類作為命名實體識別模型的特征,實現(xiàn)了領(lǐng)域間知識的遷移。對比實驗表明本文的詞表示能有效提升中文電子病歷命名實體識別的性能。綜上所述,針對現(xiàn)有詞表示方法缺乏持續(xù)學習能力這一不足,本文受語言和免疫系統(tǒng)的一致性啟發(fā),把詞模擬成免疫細胞,基于適應性免疫學原理構(gòu)建多詞主體自治學習模型學習詞的表示,并在詞相似度計算、詞關(guān)系相似度計算驗證有效,而且成功應用于中文電子病歷命名實體識別,取得了一些初步的研究成果。我們期待這些研究成果能夠進一步推動自然語言處理領(lǐng)域持續(xù)學習研究的發(fā)展。
【關(guān)鍵詞】：詞表示 詞主體 詞相似度 關(guān)系相似度 命名實體識別 適應性免疫學原理 基于主體建模
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP391.1
【目錄】：

• 摘要4-6
• ABSTRACT6-15
• 第1章 緒論15-36
• 1.1 課題背景與意義15-17
• 1.1.1 課題的背景15-17
• 1.1.2 課題的意義17
• 1.2 研究現(xiàn)狀及分析17-33
• 1.2.1 詞表示與應用研究18-27
• 1.2.2 人工免疫系統(tǒng)研究27-33
• 1.3 本文的研究內(nèi)容33-35
• 1.4 本文的章節(jié)安排35-36
• 第2章 語言和免疫系統(tǒng)的一致性研究36-48
• 2.1 引言36-37
• 2.2 語言和免疫系統(tǒng)的一致性對比37-42
• 2.2.1 學習特點的一致性37
• 2.2.2 詞和免疫細胞的一致性37-39
• 2.2.3 語言和免疫系統(tǒng)宏觀特性的一致性39-42
• 2.3 語言和免疫系統(tǒng)的一致性對本研究的啟發(fā)42-46
• 2.3.1 模型的在線學習框架42
• 2.3.2 詞模擬成B細胞42-43
• 2.3.3 詞之間的依存關(guān)系模擬成B細胞之間的識別關(guān)系43-44
• 2.3.4 語言網(wǎng)絡模擬成免疫網(wǎng)絡44-45
• 2.3.5 采用多主體建模方法45-46
• 2.4 本章小結(jié)46-48
• 第3章 基于免疫學原理的詞表示及其自治學習模型48-64
• 3.1 引言48-49
• 3.2 基于免疫學原理的詞表示方法49-50
• 3.3 多詞主體自治學習模型50-57
• 3.3.1 模型定義51
• 3.3.2 環(huán)境51-52
• 3.3.3 詞主體52-55
• 3.3.4 系統(tǒng)目標函數(shù)55-56
• 3.3.5 模型概要與參數(shù)56-57
• 3.4 實驗結(jié)果與分析57-63
• 3.4.1 實驗數(shù)據(jù)和實驗設計57-58
• 3.4.2 實驗結(jié)果58-62
• 3.4.3 分析62-63
• 3.5 本章小結(jié)63-64
• 第4章 基于B細胞詞表示的詞相似度計算64-74
• 4.1 引言64
• 4.2 相關(guān)工作64-66
• 4.3 基于B細胞詞表示的詞相似度計算66-67
• 4.4 實驗結(jié)果與分析67-73
• 4.4.1 初步實驗結(jié)果67-69
• 4.4.2 在Sem Eval-2012 Task 4 數(shù)據(jù)上的實驗結(jié)果69-73
• 4.4.3 分析73
• 4.5 本章小結(jié)73-74
• 第5章 基于B細胞詞表示的關(guān)系相似度計算74-90
• 5.1 引言74-75
• 5.2 相關(guān)工作75-77
• 5.3 基于B細胞詞表示的關(guān)系相似度計算77-80
• 5.3.1 關(guān)系的表示78-79
• 5.3.2 關(guān)系相似度計算79-80
• 5.4 實驗結(jié)果與分析80-89
• 5.4.1 在Sem Eval-2012 Task 2 數(shù)據(jù)上的實驗結(jié)果80-88
• 5.4.2 分析88-89
• 5.5 本章小結(jié)89-90
• 第6章 引入B細胞詞表示的中文電子病歷命名實體識別90-102
• 6.1 引言90-92
• 6.2 相關(guān)工作92-94
• 6.3 中文電子病歷命名實體識別94-97
• 6.3.1 中文電子病歷命名實體分類體系94-95
• 6.3.2 中文電子病歷文本中詞的聚類方法95-97
• 6.3.3 基于詞聚類的中文電子病歷命名實體識別97
• 6.4 實驗結(jié)果與分析97-101
• 6.4.1 實驗數(shù)據(jù)和評價指標97-98
• 6.4.2 實驗結(jié)果98-100
• 6.4.3 分析100-101
• 6.5 本章小結(jié)101-102
• 結(jié)論102-104
• 參考文獻104-121
• 攻讀博士學位期間發(fā)表的論文及其它成果121-124
• 致謝124-126
• 個人簡歷126

，

本文編號：776408