隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展,視頻正成為人們獲取和交流信息的主要載體,其中視頻監(jiān)控越來越成為社會(huì)發(fā)展和人們生活不可或缺的一部分,如何使用計(jì)算機(jī)技術(shù)進(jìn)行視頻中的人類行為分析識(shí)別成為近年來的研究熱點(diǎn)。本文在以光流信號(hào)為運(yùn)動(dòng)信息表征的傳統(tǒng)雙流卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,提出以幀間差分圖像序列作為時(shí)間流網(wǎng)絡(luò)輸入,運(yùn)用Res Net-18網(wǎng)絡(luò)結(jié)構(gòu)建立雙流網(wǎng)絡(luò)模型實(shí)現(xiàn)視頻中人體行為識(shí)別的方法。并對(duì)傳統(tǒng)雙流網(wǎng)絡(luò)的數(shù)據(jù)提取方法進(jìn)行了優(yōu)化,保證了數(shù)據(jù)間的信息對(duì)應(yīng),同時(shí),提出將Adam優(yōu)化器與傳統(tǒng)的高維特征分類可視化算法T-sne相結(jié)合對(duì)幀間差分的卷積特征進(jìn)行分類可視化。本文主要研究如下:針對(duì)光流信號(hào)的提取需要大量計(jì)算資源和時(shí)間消耗從而影響傳統(tǒng)雙流卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行效率的情況,本文提出計(jì)算幀間差分圖像序列來表征視頻內(nèi)的運(yùn)動(dòng)信息,并將其作為雙流卷積神經(jīng)網(wǎng)絡(luò)中時(shí)間流網(wǎng)絡(luò)的輸入,同時(shí),以灰度圖像序列作為空間流網(wǎng)絡(luò)輸入減少樣本數(shù)據(jù)量。本文建立小樣本數(shù)據(jù)集并運(yùn)用VGG結(jié)構(gòu)建立雙流網(wǎng)絡(luò)對(duì)人體動(dòng)作識(shí)別進(jìn)行測(cè)試驗(yàn)證了差分圖像作為網(wǎng)絡(luò)輸入的有效性。在此基礎(chǔ)上,為了在大數(shù)據(jù)集上進(jìn)行動(dòng)作識(shí)別以及保證網(wǎng)絡(luò)的高效性,雙流卷積神經(jīng)網(wǎng)絡(luò)的時(shí)間...

【文章頁數(shù)】：70 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景以及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文研究的主要工作
    1.4 論文結(jié)構(gòu)
第2章 卷積神經(jīng)網(wǎng)絡(luò)
    2.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.1.1 神經(jīng)元
        2.1.2 激活函數(shù)
        2.1.3 損失函數(shù)
    2.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.2.1 卷積層
        2.2.2 池化層
        2.2.3 全連接層
    2.3 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化算法
        2.3.1 前向和反向傳播
        2.3.2 隨機(jī)梯度下降
    2.4 網(wǎng)絡(luò)訓(xùn)練
        2.4.1 平臺(tái)框架
        2.4.2 數(shù)據(jù)預(yù)處理
        2.4.3 網(wǎng)絡(luò)模型設(shè)計(jì)
        2.4.4 過擬合解決方法
        2.4.5 遷移學(xué)習(xí)
    2.5 雙流卷積神經(jīng)網(wǎng)絡(luò)模型
    2.6 本章小節(jié)
第3章 基于雙流卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別
    3.1 雙流卷積神經(jīng)網(wǎng)絡(luò)的基本原理
    3.2 雙流網(wǎng)絡(luò)的輸入研究
        3.2.1 光流信號(hào)
        3.2.2 TV-L1光流估計(jì)
        3.2.3 差分圖像以及差分棧化塊
    3.3 結(jié)合差分圖像的雙流卷積神經(jīng)網(wǎng)絡(luò)
        3.3.1 基于VGG結(jié)構(gòu)的雙流卷積神經(jīng)網(wǎng)絡(luò)
        3.3.2 基于殘差網(wǎng)絡(luò)(Res Net-18)的雙流卷積神經(jīng)網(wǎng)絡(luò)
    3.4 雙流數(shù)據(jù)讀取方式的優(yōu)化
    3.5 雙流融合方式
    3.6 融合位置選擇
    3.7 本章小結(jié)
第4章 視頻動(dòng)作識(shí)別的實(shí)現(xiàn)與實(shí)驗(yàn)分析
    4.1 實(shí)驗(yàn)數(shù)據(jù)與讀取
        4.1.1 數(shù)據(jù)預(yù)處理
        4.1.2 雙流數(shù)據(jù)讀取實(shí)現(xiàn)
    4.2 差分特征與光流特征實(shí)驗(yàn)分析
        4.2.1 差分特征的預(yù)處理
        4.2.2 差分圖對(duì)動(dòng)作識(shí)別的影響
    4.3 基于雙流卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別
        4.3.1 雙流網(wǎng)絡(luò)模型訓(xùn)練步驟
        4.3.2 時(shí)間流卷積網(wǎng)絡(luò)的訓(xùn)練
        4.3.3 空間流卷積網(wǎng)絡(luò)的訓(xùn)練
        4.3.4 雙模融合輸出
    4.4 特征分類可視化表征與分析
        4.4.1 t-SNE算法優(yōu)化
        4.4.2 差分特征的可視化表征
    4.5 本章小節(jié)
第5章 總結(jié)和展望
參考文獻(xiàn)
指導(dǎo)教師對(duì)研究生學(xué)位論文的學(xué)術(shù)評(píng)語
答辯委員會(huì)決議書
致謝
攻讀碩士期間的研究成果



本文編號(hào)：3855315