詞向量是詞語的一種分布式表示方法,它將詞語映射為一個定長的連續(xù)的稠密向量,這種表示方法能夠有效和靈活的保有先驗知識信息,通過將其集成到具體任務中可以在自然語言處理的多個研究領域取得較好效果。語義相似度可以定量的衡量兩個詞語或概念之間的相似性,是自然語言理解的基礎,并被廣泛的應用于自然語言處理相關的任務中。本文從詞向量的角度分析語義相似度相關問題,并提出一種多語義詞向量訓練模型,以改進詞語與詞語,句子與句子之間的語義相似度效果。傳統(tǒng)的詞向量訓練模型由于沒有區(qū)分詞語的不同語義,使得一個詞語只能使用一個向量來表示,并不能解決一詞多義的問題。多語義詞向量通過將詞語的不同語義分別映射為不同的詞向量來解決多義詞詞向量表示的語義混淆問題。本文通過使用詞義消岐相關技術對維基百科數據集進行預處理獲得可以區(qū)分多義詞不同語義的標注語料庫,然后利用改進的詞向量模型訓練多語義詞向量表示,并將其應用于句子相似度的計算中,具體研究內容包括:(1)基于循環(huán)神經網絡詞義消岐模型。為了能夠區(qū)分詞語在句子中的不同詞義,本文提出了一種基于循環(huán)環(huán)神經網絡的詞義消岐模型,通過利用雙向LSTM捕捉多義詞上下文語序特征改進傳統(tǒng)詞義消岐...

【文章頁數】：85 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 詞向量現(xiàn)狀
        1.2.2 語義相似度現(xiàn)狀
    1.3 研究內容和創(chuàng)新點
        1.3.1 研究內容
        1.3.2 研究創(chuàng)新點
    1.4 論文結構
第2章 相關技術
    2.1 詞向量訓練模型
        2.1.1 Word2vec
        2.1.2 GloVe
        2.1.3 ELMo
    2.2 深度學習模型
        2.2.1 前饋神經網絡
        2.2.2 循環(huán)神經網絡
    2.3 注意力機制
    2.4 相似度計算
        2.4.1 歐幾里得距離
        2.4.2 余弦相似度
        2.4.3 Jaccard系數
        2.4.4 皮爾遜系數
    2.5 本章小結
第3章 基于循環(huán)神經網絡的詞義消岐
    3.1 問題描述
    3.2 相關工作
        3.2.1 基于詞典方法
        3.2.2 無監(jiān)督方法
        3.2.3 有監(jiān)督方法
    3.3 基于雙向LSTM的詞義消岐模型
        3.3.1 標注模型
        3.3.2 分類模型
    3.4 實驗及分析
        3.4.1 實驗設置
        3.4.2 實驗結果
        3.4.3 注意力疊加中的N值
    3.5 本章小結
第4章 基于GLOVE的多語義詞向量表示及相似度計算
    4.1 問題描述
    4.2 相關工作
        4.2.1 利用無監(jiān)督聚類算法
        4.2.2 利用額外語義知識庫
    4.3 基于GLOVE的多語義詞向量模型
        4.3.1 語料庫標注方法
        4.3.2 共現(xiàn)矩陣生成方法
        4.3.3 多語義詞向量訓練模型
    4.4 多語義詞向量相似度度量
    4.5 實驗及分析
        4.5.1 實驗設置
        4.5.2 鄰近詞實驗
        4.5.3 詞語相關性實驗
    4.6 本章小結
第5章 基于多語義詞向量的句子相似度
    5.1 問題描述
    5.2 相關工作
        5.2.1 傳統(tǒng)方法
        5.2.2 深度學習方法
    5.3 多語義LSTM模型
        5.3.1 簡單語義平均模型
        5.3.2 基于注意力機制模型
    5.4 實驗及分析
        5.4.1 實驗設置
        5.4.2 實驗結果
    5.5 本章小結
結論
參考文獻
攻讀碩士學位期間發(fā)表的學術成果
致謝



本文編號：4038881