人體行為識(shí)別技術(shù)融合了計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理、人體運(yùn)動(dòng)學(xué)等多學(xué)科知識(shí),對(duì)其研究可以促進(jìn)相關(guān)學(xué)科共同發(fā)展。同時(shí)其在人機(jī)交互、無(wú)人駕駛、智能機(jī)器人、智能監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用和巨大的經(jīng)濟(jì)價(jià)值。由于人體行為識(shí)別技術(shù)兼具理論意義與現(xiàn)實(shí)意義,其已成為計(jì)算機(jī)視覺(jué)領(lǐng)域中最為活躍的研究主題之一。準(zhǔn)確的獲取時(shí)空信息是人體行為識(shí)別的關(guān)鍵所在。目前主流的行為識(shí)別方法存在局限性,如不能提取最顯著的空間信息,不能消除背景變化的對(duì)識(shí)別準(zhǔn)確度的影響等。此外,當(dāng)前方法還存在著提取時(shí)間信息時(shí)只關(guān)注于“幀間運(yùn)動(dòng)”或“視頻全局運(yùn)動(dòng)”的問(wèn)題。本文為解決上述問(wèn)題,重點(diǎn)研究如何獲準(zhǔn)確的提取時(shí)空信息,提出了兩種基于時(shí)空信息的人體行為識(shí)別方法:針對(duì)當(dāng)前行為識(shí)別模型提取時(shí)間信息時(shí)易受背景干擾及不能提取最顯著的空間信息的問(wèn)題,本文提出了運(yùn)動(dòng)人體關(guān)注推理模型。該模型受人腦初級(jí)視覺(jué)皮層啟發(fā),使用時(shí)間通路和空間通路分別提取視頻中的時(shí)間信息與空間信息。結(jié)合Focus Block、卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短記憶時(shí)間網(wǎng)絡(luò)的優(yōu)點(diǎn)從視頻序列中提取時(shí)間信息,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與全局最大池化操作提取視頻中最為顯著的空間信息,時(shí)間信息與空間信息提取出來(lái)后經(jīng)過(guò)拼接層... 

【文章來(lái)源】：湘潭大學(xué)湖南省

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

iDT和DT算法特征采樣示例

3圖1.1坐姿的MEI(左)和MHI(右)特征除全局特征外，行為特征也可以用基于局部特征描述子的網(wǎng)格來(lái)描述，將一個(gè)網(wǎng)格中所包含的局部鄰域像素視為一個(gè)特征塊，這樣就減少了時(shí)間和空間的局部變化的影響。在經(jīng)典行為識(shí)別的iDT[6]算法中，和DT[7]算法一致主要采用了HOG特征（HistogramofOrientedGradient），HOF特征(HistogramsofOrientedOpticalFlow)和MBH特征(MotionBoundaryHistograms)這三種局部特征，如圖1.2[7]所示。HOG,即方向梯度直方圖，其為一種應(yīng)用于物體檢測(cè)的特征。通過(guò)對(duì)網(wǎng)格中梯度的方向進(jìn)行計(jì)算和統(tǒng)計(jì)，由此生成的直方圖即為HOG特征。在實(shí)際任務(wù)中，觀測(cè)目標(biāo)在相機(jī)成像平面的大小會(huì)隨著其距相機(jī)的遠(yuǎn)近而變化，光流特征的維度也會(huì)因此而產(chǎn)生變化，同時(shí)由于背景噪聲、尺度變化和目標(biāo)運(yùn)動(dòng)方向均會(huì)對(duì)光流的計(jì)算產(chǎn)生較大影響。因此，有必要尋找一種既能在時(shí)域內(nèi)描述動(dòng)作信息，又能對(duì)目標(biāo)尺度大小和運(yùn)動(dòng)方向魯棒的基于光流的特征描述方法[8]，基于此需求提出了HOF特征。HOF與HOG類(lèi)似，其通常用于行為識(shí)別任務(wù)中。通過(guò)對(duì)光流的方向分布進(jìn)行加權(quán)統(tǒng)計(jì)，獲得的光流方向直方圖即為HOF特征。通過(guò)分別將x方向上與y方向上的光流圖分別看作普通的灰度圖像，進(jìn)一步在x方向上與y方向上光流圖的梯度直方圖即為MBH特征。簡(jiǎn)單地說(shuō)MBH特征就是分別在圖像的x和y方向光流圖像上計(jì)算出來(lái)的HOG特征。圖1.2iDT和DT算法特征采樣示例

目前主流基于神經(jīng)網(wǎng)絡(luò)的行為識(shí)別方法主要由基于雙流神經(jīng)網(wǎng)絡(luò)、3D卷積神經(jīng)網(wǎng)絡(luò)、LRCN、此三種經(jīng)典方法的演變或改良方法[17-22]。近兩年來(lái)基于注意力的行為識(shí)別方法也進(jìn)入了人們的視線�；陔p流卷積神經(jīng)網(wǎng)絡(luò)的行為識(shí)別近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN，ConvolutionalNeuralNetworks）被廣泛用于檢測(cè)、分類(lèi)、分割等計(jì)算機(jī)視覺(jué)任務(wù)中[23]。這些都是針對(duì)于靜態(tài)圖像的任務(wù)，其只能提取空間信息并不能很好的提取視頻序列中的時(shí)間信息。因此，KarenSimonyan[24]等人通過(guò)采取分別用兩個(gè)卷積網(wǎng)絡(luò)分別訓(xùn)練視頻幀和計(jì)算得來(lái)的光流圖，如圖1.3所示，分別獲取視頻中的空間信息和時(shí)間信息。此法很好的解決了視頻中時(shí)間信息獲取的難點(diǎn)，但缺點(diǎn)是光流圖的計(jì)算太耗時(shí)間，且用于訓(xùn)練光流圖的神經(jīng)網(wǎng)絡(luò)對(duì)設(shè)備的計(jì)算要求較高。圖1.3雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

【參考文獻(xiàn)】：
期刊論文
[1]基于動(dòng)作主視圖和LSTM網(wǎng)絡(luò)模型的人體行為識(shí)別[J]. 盛敏,李蘭.  安慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020(01)
[2]高效3D密集殘差網(wǎng)絡(luò)及其在人體行為識(shí)別中的應(yīng)用[J]. 李梁華,王永雄.  光電工程. 2020(02)
[3]基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)及變體的跌倒檢測(cè)和人體行為識(shí)別系統(tǒng)[J]. 熊昕,鄭楊嬌子,張上.  信息通信. 2020(02)
[4]基于雙通道C3D的基建現(xiàn)場(chǎng)人體異常行為識(shí)別[J]. 吳冬梅,盧靜,蔣瑜.  信息技術(shù)與信息化. 2020(01)
[5]基于神經(jīng)網(wǎng)絡(luò)的人體動(dòng)態(tài)行為智能識(shí)別方法[J]. 賈雙成,楊鳳萍.  科技通報(bào). 2020(01)
[6]基于深度學(xué)習(xí)的人體行為識(shí)別算法[J]. 韓雪平,吳甜甜.  數(shù)學(xué)的實(shí)踐與認(rèn)識(shí). 2019(24)
[7]全卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 章琳,袁非牛,張文睿,曾夏玲.  計(jì)算機(jī)工程與應(yīng)用. 2020(01)
[8]基于深度卷積網(wǎng)絡(luò)與空洞卷積融合的人群計(jì)數(shù)[J]. 盛馨心,蘇穎,汪洋.  上海師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[9]注意力機(jī)制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測(cè)[J]. 李紅艷,李春庚,安居白,任俊麗.  中國(guó)圖象圖形學(xué)報(bào). 2019(08)
[10]一種融合全局時(shí)空特征的CNNs動(dòng)作識(shí)別方法[J]. 王珂,武軍,周天相,李瑞峰.  華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(12)

碩士論文
[1]基于LSTM的人體行為識(shí)別方法研究[D]. 韓麗麗.北京交通大學(xué) 2019
[2]基于強(qiáng)化學(xué)習(xí)的手語(yǔ)視頻翻譯[D]. 張之昊.中國(guó)科學(xué)技術(shù)大學(xué) 2019
[3]用于家用安防機(jī)器人的人體檢測(cè)、跟蹤和身份識(shí)別系統(tǒng)[D]. 王琛.北京工業(yè)大學(xué) 2017
[4]基于局部特征編碼的人體再識(shí)別[D]. 李君楠.上海交通大學(xué) 2016
[5]視頻人體行為識(shí)別中的特征編碼[D]. 王先中.上海交通大學(xué) 2015



本文編號(hào)：3339888