隨著信息技術的快速發(fā)展和移動互聯(lián)網(wǎng)的普及,人們的生活方式和溝通交流方式發(fā)生了翻天覆地的變化,越來越多的人通過自己的社交網(wǎng)絡賬號以文本、圖片等方式來表達自己的觀點和情感,使得互聯(lián)網(wǎng)成為涉及廣泛主題的意見和情感的資源庫。針對社交媒體數(shù)據(jù)的用戶情感分析是理解用戶個體行為的關鍵,其研究能夠為政治選舉、股票市場分析、影片票房預測、心理醫(yī)療健康和網(wǎng)絡口碑營銷等領域提供有效的參考,具有重要的現(xiàn)實應用價值。相比較文本或者圖片等單模態(tài)數(shù)據(jù)而言,綜合考慮這些多模態(tài)數(shù)據(jù)能為用戶的情感分析提供多維度的信息補充,能更加準確的反映用戶的情感傾向。傳統(tǒng)的情感分析工作主要針對圖片或者文本等單模態(tài)數(shù)據(jù),近年來逐漸有研究者開始考慮圖片文本聯(lián)合情感分析,但這類工作僅僅考慮簡單的特征融合技術或者決策融合技術,在復雜多變的多模態(tài)社交媒體數(shù)據(jù)中效果有限,難以實現(xiàn)精確的情感分類。綜合考慮圖片文本對中存在的語義對齊關系,以及其對于聯(lián)合情感分析的貢獻不一致等特性,對于提高用戶的情感分析性能具有重要的作用。針對已有研究的不足,本文將從社交網(wǎng)絡中用戶發(fā)布的圖片文本對數(shù)據(jù)普遍存在的特性出發(fā),基于深度神經(jīng)網(wǎng)絡技術和注意力機制,分別設計兩個不同...

【文章頁數(shù)】：84 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
        1.2.1 視覺情感分析
        1.2.2 注意力機制
        1.2.3 多模態(tài)分析
        1.2.4 圖片文本聯(lián)合情感分析
        1.2.5 研究現(xiàn)狀總結
    1.3 本文主要工作
        1.3.1 研究目標
        1.3.2 研究內容
    1.4 本文的組織結構
第二章 相關背景知識概述
    2.1 深度神經(jīng)網(wǎng)絡相關技術
        2.1.1 卷積神經(jīng)網(wǎng)絡
        2.1.2 循環(huán)神經(jīng)網(wǎng)絡
    2.2 注意力機制相關技術
        2.2.1 層次注意力機制
        2.2.2 雙線性注意力機制
    2.3 遷移學習相關技術
    2.4 本章小結
第三章 數(shù)據(jù)獲取與處理分析
    3.1 數(shù)據(jù)獲取
    3.2 數(shù)據(jù)預處理
        3.2.1 文本內容預處理
        3.2.2 圖片內容預處理
    3.3 數(shù)據(jù)分析
    3.4 本章小結
第四章 基于注意力機制的圖片文本聯(lián)合情感分析
    4.1 基于跨模態(tài)注意力機制的圖片文本聯(lián)合情感分析
        4.1.1 基于雙向循環(huán)神經(jīng)網(wǎng)絡的跨模態(tài)語義嵌入學習
        4.1.2 基于情感上下文的跨模態(tài)注意力機制
    4.2 基于多粒度注意力機制的圖片文本聯(lián)合情感分析
        4.2.1 引言
        4.2.2 單詞層面的圖片文本聯(lián)合特征表示
        4.2.3 短語層面的圖片文本聯(lián)合特征表示
        4.2.4 句子層面的圖片文本聯(lián)合特征表示
        4.2.5 匹配卷積神經(jīng)網(wǎng)絡
        4.2.6 多模態(tài)卷積神經(jīng)網(wǎng)絡
        4.2.7 注意力遷移學習機制
    4.3 本章小結
第五章 實驗設計及結果分析
    5.1 實驗目的與實驗環(huán)境
        5.1.1 實驗目的
        5.1.2 實驗環(huán)境
    5.2 實驗設計
        5.2.1 評價指標
        5.2.2 對比算法
        5.2.3 參數(shù)設置與訓練細節(jié)
    5.3 實驗結果及分析
        5.3.1 Getty測試數(shù)據(jù)集結果分析
        5.3.2 VST-VO測試數(shù)據(jù)集結果分析
        5.3.3 情感不一致測試數(shù)據(jù)集結果分析
        5.3.4 注意力權重可視化分析
    5.4 本章小結
第六章 原型系統(tǒng)與實現(xiàn)
    6.1 原型系統(tǒng)設計
    6.2 原型系統(tǒng)實現(xiàn)
        6.2.1 支撐技術
        6.2.2 模塊劃分與實現(xiàn)細節(jié)
        6.2.3 系統(tǒng)展示
    6.3 本章小結
第七章 總結與展望
    7.1 工作總結
    7.2 研究展望
致謝
參考文獻
作者簡介



本文編號：3826364