網(wǎng)絡信息爆炸式的增長方式促使了計算機文本自動處理技術的發(fā)展,如何高效、準確地獲取文本語義信息是目前迫切需要解決的問題�？紤]到人類理解句子的過程可以描述為對先驗信息的檢索及語義概念的整合,因此本文主要通過研究相關計算模型,獲取更多的先驗知識以及較為關鍵的信息,從而更加準確地消除詞語的歧義并且提取更為豐富的語義信息,主要工作及研究內容如下:（1）研究融合統(tǒng)計特征與事件Attention機制的特征提取方法。針對現(xiàn)有基于Attention機制的雙向長短時記憶網(wǎng)絡在解決文本分類相關問題時存在增大模型計算量以及損失部分文本語義信息的問題,提出在結構化的事件級別上計算Attention權值的方法。同時,考慮到深度學習模型無法學習文本統(tǒng)計特征的問題,本文在事件Attention權值計算的基礎上融入統(tǒng)計特征。實驗表明,與現(xiàn)有的模型相比,文本統(tǒng)計特征以及事件結構固有的語義信息提高了文本表示的質量,降低了模型計算復雜度,提升了文本分類的準確率。（2）研究基于雙通道LDA主題模型的詞義消歧方法。現(xiàn)有的基于LDA主題模型的詞義消歧方法多將訓練獲取的文檔主題作為消歧的主要依據(jù),雖然利用了整個文檔作為訓練語料,但弱... 

【文章來源】：武漢理工大學湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【部分圖文】：

章節(jié)

13的索引，ju為輸出矩陣U中第j行。|V||V|11exp()exp()(|())exp()exp()ttTiittTjjjjzuvPwcontextwzuv====（2-3）隨后利用最大化條件概率的對數(shù)似然函數(shù)構建模型損失函數(shù)J，通過隨機梯度下降法使損失函數(shù)最小化，之后迭代優(yōu)化參數(shù)矩陣W和U。（2）Skip-gram模型對于Skip-gram模型，已知當前輸入詞tw，需要預測其上下文()tcontextw，與CBOW網(wǎng)絡結構類似，其模型結構如圖2-2所示，通過輸入詞tw的one-hot編碼向量tx來計算(()|)ttPcontextww。W(t-2)W(t-1)W(t+1)W(t+2)OutputW(t-2)W(t-2)ProjectionInput圖2-2Skip-gram模型結構示意圖本章實驗使用CBOW模型訓練詞向量，設置的詞向量維度為100，使用Word2vec訓練得到的部分詞向量如圖2-3所示。圖2-3使用Word2vec訓練生成的部分詞向量

展開的

【參考文獻】：
期刊論文
[1]神經機器翻譯綜述[J]. 李亞超,熊德意,張民.  計算機學報. 2018(12)
[2]引入詞性標記的基于語境相似度的詞義消歧[J]. 孟禹光,周俏麗,張桂平,蔡東風.  中文信息學報. 2018(08)
[3]基于短語注意機制的文本分類[J]. 江偉,金忠.  中文信息學報. 2018(02)
[4]特征驅動的關鍵詞提取算法綜述[J]. 常耀成,張宇翔,王紅,萬懷宇,肖春景.  軟件學報. 2018(07)
[5]漢語復句中基于依存關系與最大熵模型的詞義消歧方法研究[J]. 李源,翟宏森,劉鳳嬌,黃文燦,楊夢川.  計算機與數(shù)字工程. 2018(01)
[6]融合詞向量和主題模型的領域實體消歧[J]. 馬曉軍,郭劍毅,王紅斌,張志坤,線巖團,余正濤.  模式識別與人工智能. 2017(12)
[7]用于文本分類的局部化雙向長短時記憶[J]. 萬圣賢,蘭艷艷,郭嘉豐,徐君,龐亮,程學旗.  中文信息學報. 2017(03)
[8]基于上下文翻譯的有監(jiān)督詞義消歧研究[J]. 楊陟卓.  計算機科學. 2017(04)
[9]卷積神經網(wǎng)絡研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學報. 2017(06)
[10]統(tǒng)計機器翻譯中大規(guī)模特征的深度融合[J]. 劉宇鵬,喬秀明,趙石磊,馬春光.  浙江大學學報(工學版). 2017(01)

碩士論文
[1]基于深度學習的知乎標題的多標簽文本分類[D]. 張闖.北京交通大學 2018
[2]基于LSTM的語義關系分類研究[D]. 胡新辰.哈爾濱工業(yè)大學 2015
[3]基于短語的統(tǒng)計機器翻譯解碼優(yōu)化技術研究[D]. 曲宇濤.東北大學 2015



本文編號：3320345