發(fā)布時間：2023-01-29 17:56

　　近年來,對視頻中的行為建模和識別一直是計算機視覺研究中的熱點和難點。由于遞歸神經(jīng)網(wǎng)絡,特別是長短時記憶網(wǎng)絡,在機器翻譯等領域的突出表現(xiàn),利用遞歸神經(jīng)網(wǎng)絡對視頻進行序列建模成為主流方法之一。但在較早的研究中,直接利用遞歸神經(jīng)網(wǎng)絡對視頻幀的高層特征序列建模,并沒有取得預想中的卓越效果。這主要是由于與一般的序列數(shù)據(jù)不同,視頻數(shù)據(jù)具有自己的特點:一,視頻數(shù)據(jù)本身具有維度高、語意結構復雜等諸多特點。具體到行為識別,視頻中部分行為的判別存在歧義性,對上下文信息存在依賴性。二,視頻數(shù)據(jù)序列中的單幀信息結構性弱、相鄰幀信息冗余大。這兩個方面的特點都極大得增加了利用遞歸神經(jīng)網(wǎng)絡進行建模的難度。針對視頻數(shù)據(jù)的特點,結合遞歸神經(jīng)網(wǎng)絡的特性,我們對視頻中的行為識別任務,分別設計了遞歸時空注意力網(wǎng)絡和遞歸姿態(tài)注意力網(wǎng)絡,來提高遞歸神經(jīng)網(wǎng)絡對視頻行為的建模能力。并在公開數(shù)據(jù)集上對方法進行了測評,驗證了方法的有效性。在本論文的第一部分,針對視頻數(shù)據(jù)的特點一,我們提出了遞歸時空注意力網(wǎng)絡結構。從而支持遞歸神經(jīng)網(wǎng)絡對每個時刻進行預測時,除了利用高層序列特征之外,可以從整個幀序列中,自適應得找到與當前特征具有強互補作用的... 

【文章頁數(shù)】：96 頁

【學位級別】：博士

【文章目錄】：
摘要
Abstract
符號列表
第1章 引言
    1.1 視頻建模與識別
        1.1.1 遞歸神經(jīng)網(wǎng)絡對視頻建模的難點
    1.2 論文貢獻
        1.2.1 時空注意力機制
        1.2.2 姿態(tài)注意力機制
    1.3 論文大綱
第2章 背景
    2.1 基于手工特征的視頻識別方法
    2.2 基于深度學習的視頻識別方法
    2.3 遞歸神經(jīng)網(wǎng)絡與行為識別
第3章 遞歸時空注意力網(wǎng)絡對視頻的行為建模和識別
    3.1 引言
    3.2 相關工作
    3.3 網(wǎng)絡設計
        3.3.1 雙流網(wǎng)絡中的特征提取
        3.3.2 LSTM中的時空注意力機制
        3.3.3 注意力引導的表觀流和運動流融合
        3.3.4 行為人-注意力正則項
    3.4 實驗
        3.4.1 數(shù)據(jù)集介紹
        3.4.2 模型實現(xiàn)細節(jié)
        3.4.3 遞歸時空注意力網(wǎng)絡的特性
        3.4.4 與其他實驗結果的比較
    3.5 可視化
    3.6 總結
第4章 遞歸姿態(tài)注意力網(wǎng)絡對視頻的行為建模和識別
    4.1 引言
    4.2 相關工作
        4.2.1 基于姿態(tài)的行為識別
    4.3 網(wǎng)絡設計
        4.3.1 卷積層特征提取
        4.3.2 姿態(tài)注意力機制
        4.3.3 LSTM時序建模
        4.3.4 損失函數(shù)
    4.4 實驗
        4.4.1 實驗細節(jié)
        4.4.2 實驗結果
        4.4.3 遞歸姿態(tài)注意力機制的特性
        4.4.4 模型拓展與探索實驗
        4.4.5 視頻中的姿態(tài)估計
    4.5 可視化
    4.6 總結
第5章 總結與展望
    5.1 未來工作
參考文獻
作者簡歷及攻讀學位期間發(fā)表的學術論文與研究成果
致謝



本文編號：3732739