發(fā)布時間：2021-10-17 07:03

　　隨著互聯(lián)網(wǎng)帶寬的大幅增加和各種移動設備的激增,Web2.0技術下圖像數(shù)據(jù)已經(jīng)出現(xiàn)爆炸性的生成,發(fā)布和傳播,成為當今大數(shù)據(jù)不可或缺的一部分。然而互聯(lián)網(wǎng)上的部分圖像是無標記的,為了更有效地存儲、管理、檢索和利用這些數(shù)據(jù),近年來,研究人員致力于用完整的自然語句自動描述圖像的內(nèi)容,即為圖像字幕生成。然而,圖像字幕生成是一個非常具有挑戰(zhàn)性的任務,它不僅需要利用模型去捕獲圖像中呈現(xiàn)的對象或者場景,表達圖像中對象和場景的相關性,而且還要用恰當?shù)淖匀徽Z言來描述它們。針對上述問題,本文利用深度學習方法對圖像字幕生成進行了較為系統(tǒng)深入的研究,主要的研究成果如下:（1）提出了一種基于長短時記憶網(wǎng)絡（Long Short Term Memory,LSTM）的從多特征序列到語句序列的圖像字幕生成框架。為了更全面的描述圖像特征,此方法提出分別使用基于ImageNet ILSVRC圖像分類數(shù)據(jù)集訓練的ResNet152提取圖像中目標特征,使用基于Places365場景數(shù)據(jù)庫訓練的ResNet152提取圖像中的場景上下文特征,利用二者的互補性全面描述目標和場景上下文特征。為了充分利用圖像字幕描述時的常規(guī)語義信息,本文... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
    1.1 研究背景與意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 圖像字幕生成方法的現(xiàn)狀
    1.3 論文內(nèi)容及章節(jié)安排
第二章 基于視覺目標及語義上下文特征的圖像字幕生成
    2.1 引言
    2.2 基于深度學習的多特征提取
        2.2.1 卷積神經(jīng)網(wǎng)絡簡介
        2.2.2 圖像目標特征提取
        2.2.3 圖像場景特征提取
        2.2.4 圖像視覺語義提取
    2.3 基于LSTM的從多特征序列到語句序列的圖像字幕生成
        2.3.1 長短時記憶網(wǎng)絡的簡介
        2.3.2 從多特征序列到語句序列的圖像字幕生成
    2.4 實驗結果與分析
        2.4.1 實驗數(shù)據(jù)集的介紹
        2.4.2 圖像字幕生成模型訓練
        2.4.3 圖像字幕生成的評價準則
        2.4.4 實驗結果與分析
    2.5 本章小結
第三章 基于特定語義監(jiān)督的測試圖像語句生成
    3.1 引言
    3.2 基于視覺語義嵌入空間的相似語句檢索
    3.3 協(xié)同常規(guī)和特定語義的語義屬性特征提取
    3.4 基于“特定語義監(jiān)督器”的字幕生成
    3.5 實驗結果與分析
        3.5.1 協(xié)同常規(guī)和特定語義的語義屬性的評價
        3.5.2 “特定語義監(jiān)督器”的影響
        3.5.3 與其他方法比較
    3.6 本章小結
第四章 總結與展望
    4.1 總結
    4.2 展望
參考文獻
致謝
作者簡介



本文編號：3441339