用自然語言描述視頻的任務被稱為視頻描述,其研究結(jié)合了自然語言處理與計算機視覺領(lǐng)域的關(guān)鍵技術(shù),研究成果推動了跨模態(tài)分析技術(shù)的發(fā)展。近年來,越來越多的研究者從事視頻描述方向的研究。但是視頻描述是一個復雜的任務,它不僅要識別視頻中的不同目標以及它們之間的交互,還要用自然語言描述視頻內(nèi)容。當前研究的熱點是基于序列學習的視頻描述方法,這類方法首先利用卷積神經(jīng)網(wǎng)絡(luò)提取視頻的特征,然后再用循環(huán)神經(jīng)網(wǎng)絡(luò)從視覺特征生成句子描述。本文在基于序列學習的視頻描述方法的基礎(chǔ)上,進行了以下研究:（1）提出了基于深度視覺特征與語義屬性指導的視頻描述方法。大多數(shù)已有的視頻描述方法只使用了視頻的視覺信息,而忽視了對于視頻描述非常重要的語義信息,因此,該方法在進行視頻描述時不僅利用了視頻的視覺信息,還利用了視頻的語義信息作為指導。首先,該方法使用兩種卷積網(wǎng)絡(luò)分別提取視頻單幀和連續(xù)幀的特征,并將這些特征求平均得到視頻的視覺目標特征和動作特征。然后,從訓練集的句子描述中獲得三種類型的語義屬性,并對每種類型的語義屬性分別訓練各自單獨的語義屬性預測器。最后,提出基于語義屬性指導的長短時記憶網(wǎng)絡(luò),用語義屬性指導視頻描述生成。本文在... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
    1.1 研究背景與意義
    1.2 視頻描述方法的研究現(xiàn)狀
    1.3 論文內(nèi)容及章節(jié)安排
第二章 基于深度視覺特征與語義屬性指導的視頻描述
    2.1 引言
    2.2 基于深度學習的視頻視覺特征表示
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)簡介
        2.2.2 基于殘差網(wǎng)絡(luò)的視覺目標特征提取
        2.2.3 基于三維殘差卷積神經(jīng)網(wǎng)絡(luò)的視覺動作特征提取
    2.3 視頻語義屬性表示
        2.3.1 視頻語義屬性提取
        2.3.2 視頻語義屬性預測
    2.4 基于深度視覺特征與語義屬性指導的視頻描述
        2.4.1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
        2.4.2 基于語義屬性指導的長短時記憶網(wǎng)絡(luò)的視頻描述生成
    2.5 實驗結(jié)果與分析
        2.5.1 實驗數(shù)據(jù)集的介紹
        2.5.2 實驗設(shè)置
        2.5.3 視頻描述的評價指標
        2.5.4 結(jié)果與分析
    2.6 本章小結(jié)
第三章 結(jié)合注意力機制與記憶網(wǎng)絡(luò)的視頻描述
    3.1 引言
    3.2 基于注意力機制的視頻顯著特征表示
    3.3 基于記憶網(wǎng)絡(luò)的網(wǎng)絡(luò)記憶增強
    3.4 結(jié)合注意力機制與記憶網(wǎng)絡(luò)的視頻描述
    3.5 實驗結(jié)果與分析
    3.6 本章小結(jié)
第四章 總結(jié)與展望
    4.1 總結(jié)
    4.2 展望
參考文獻
致謝
作者簡介



本文編號：3529117