【摘要】：由于廣闊的應(yīng)用前景和重要的學(xué)術(shù)價值,基于視頻的人體行為分析已經(jīng)成為計算機視覺和機器學(xué)習(xí)領(lǐng)域中的研究熱點之一。在實際應(yīng)用中,為了更好的分析視頻行為,不僅需要對視頻的行為類別進行識別,而且需要定位行為發(fā)生的具體時空位置。真實場景下的人體行為十分復(fù)雜,考慮人體行為中的時空上下文信息,可以實現(xiàn)對復(fù)雜行為的準(zhǔn)確識別和精準(zhǔn)定位。因此,本文主要研究如何充分利用時空上下文信息提高模型的識別和定位性能,研究內(nèi)容包括:(1)基于時空描述距離測度的復(fù)雜行為識別。為了提高模型的描述力,本文充分整合行為視頻中包含的有效時空信息,設(shè)計實現(xiàn)行為模式的更有效表示,消除復(fù)雜行為識別問題中的描述鴻溝,從而提高復(fù)雜行為的識別準(zhǔn)確率。本文通過整合局部特征周圍的結(jié)構(gòu)信息以及構(gòu)建局部特征間的時空關(guān)聯(lián),提出三種時空描述子和相應(yīng)的距離測度方法,用以衡量行為視頻間的時空距離,可同時用于識別簡單單人行為和復(fù)雜交互行為。(2)基于層級時空概率圖模型的復(fù)雜行為識別。為了提高模型的判別力,本文提出一個層級時空概率圖模型,同時建模人體行為及其附近交互場景中包含的所有時空關(guān)聯(lián),并且集成從局部到全局的所有層級特征,消除復(fù)雜行為識別問題中的語義鴻溝,從而提高復(fù)雜行為的識別準(zhǔn)確率。本文使用概率圖模型直接作用于底層特征進行時空建模,從復(fù)雜的行為數(shù)據(jù)中學(xué)習(xí)出具有判別性的行為識別模型。(3)聯(lián)合時空上下文的復(fù)雜行為識別和定位。為了提高模型的定位精度,本文提出一個統(tǒng)一的基于時空上下文的概率圖模型,聯(lián)合利用目標(biāo)行為本身及其周邊環(huán)境上下文信息共同修正定位邊界;為了縮小目標(biāo)行為的搜索空間,本文利用深度強化網(wǎng)絡(luò)學(xué)習(xí)一個更加符合人類感知過程的高效搜索策略,在僅僅提取少量行為候選區(qū)域的條件下,獲得更精確的時空定位結(jié)果;為了減少所需的人工標(biāo)注數(shù)量,本文整合人體行為中潛在的時空動態(tài)和先驗知識,重新定義強化學(xué)習(xí)中的獎勵函數(shù)和損失函數(shù),彌補因不完全標(biāo)注帶來的信息缺失。我們在多個公共行為數(shù)據(jù)集上驗證了所提模型的有效性。實驗結(jié)果表明時空上下文不僅能夠增強模型的描述性和判別性,提升模型的識別性能,而且能夠修正模型的定位邊界,有助于更精準(zhǔn)的定位人體行為。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP391.41;TP181
【圖文】：

代替耗時的窮盡搜索算法，縮小搜索空間，減少所需候選區(qū)域數(shù)量。逡逑１．５論文的結(jié)構(gòu)安排逡逑本文中，復(fù)雜人體行為分析的研宄內(nèi)容框架如圖１－１所示。從圖中可以看出人逡逑體行為分析包含三個關(guān)鍵問題：行為表達，行為識別和行為定位。行為表達的目逡逑的是提取更具描述性和判別性的特征表示；行為識別即為時變序列數(shù)據(jù)的分類問逡逑題或時空建模問題；行為定位的目標(biāo)為定位行為發(fā)生的起始幀和結(jié)束幀（時間定逡逑位），以及每幀的具體空間區(qū)域（空間定位）。本文，將圍繞行為分析中的這三個逡逑關(guān)鍵技術(shù)進行研究，解決各自存在的不足和問題，提高行為識別的準(zhǔn)確率和行為逡逑定位的精度，從而全面提升人體行為分析系統(tǒng)的性能。逡逑行為分析＾邋：￣￣邐邐邋｜二逡逑ｕ識別模型＿類別標(biāo)號逡逑Ｌ未分割視頻＿行為表達＿邋邐逡逑Ｉ定位模型＿時寶位置逡逑圖１－１．復(fù)雜人體行為分析的研宄內(nèi)容框架。逡逑、邐Ｆｉｇｕｒｅ邋１－１．邋Ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｃｏｍｐｌｅｘ邋ｈｕｍａｎ邋ａｃｔｉｖｉｔｙ邋ａｎａｌｙｓｉｓ．逡逑本文的主要內(nèi)容分為６章，具體結(jié)構(gòu)安排如下：逡逑第１章緒論。主要介紹基于視頻的人體行為分析的研究背景和研究意義。詳逡逑９逡逑

方法可分為于傳統(tǒng)機器學(xué)習(xí)的方和于深度學(xué)習(xí)的方法。前者征加分類器的框架，而后者是一種端對端的學(xué)習(xí)框架。本章將首先體行為分析研宄的公共數(shù)據(jù)集，然后分別對基于傳統(tǒng)機器學(xué)習(xí)的行基于深度學(xué)習(xí)的行為分析方法的研宄現(xiàn)狀進行總結(jié)和比較。此外，深度強化學(xué)習(xí)在計算機視覺領(lǐng)域的應(yīng)用和相關(guān)擴展。逡逑人體行為公共數(shù)據(jù)集逡逑著基于視頻的人體行為分析的迅速發(fā)展，大量的公共人體行為數(shù)據(jù)立，旨在方便研究者進行公平和系統(tǒng)地算法驗證和比較。人體行為最初的簡單背景下的單人行為（例如Ｗｅｉｚｍａｎｎ和ＫＴＨ），發(fā)展到更的交互行為（例如邋ＵＴ－Ｉｎｔｅｒａｃｔｉｏｎ，ＢＩＴ－Ｉｎｔｅｒａｃｔｉｏｎ，邋Ｇｕｐｔａ邋和邋ＣＡＳＩＡ），真實場景下的網(wǎng)絡(luò)視頻（ＵＣＦ１０１和ＨＭＤＢ５１）。目前在人體行為分?jǐn)?shù)據(jù)集有：逡逑Ｗｅｉｚｍａｎｎ單人行為數(shù)據(jù)集逡逑

邐＇逡逑個人的一種行為。在這個視頻數(shù)據(jù)集中，視頻由固定攝像頭拍攝，背景靜止干凈，逡逑且前景提供了剪影信息。因此，該數(shù)據(jù)集可用來驗證簡單單人行為的識別。圖２－１逡逑中給出了該數(shù)據(jù)集中各類行為視頻的截圖示例。逡逑（２）邋ＫＴＨ單人行為數(shù)據(jù)集逡逑ＫＴＨ數(shù)據(jù)集［１１３］邋２００４年發(fā)布，包括６類簡單單人行為：走路（ｗａｌｋｉｎｇ），慢逡逑跑（ｊｏｇｇｉｎｇ），跑步（ｒｕｎｎｉｎｇ），拳擊（ｂｏｘｉｎｇ），揮手（ｈａｎｄ邋ｗａｖｉｎｇ）和拍手（ｈａｎｄ逡逑ｄａｐｐｉｎｇ）。該數(shù)據(jù)集一共有５９９段視頻，其中每類行為由２５個不同的人在４種不逡逑同的場景下執(zhí)行。４個場景分別為室外攝像頭靜止場景，室內(nèi)場景，室外攝像頭伸逡逑縮場景，室外不同衣著顏色場景。與Ｗｅｉｚｍａｎｎ數(shù)據(jù)集一樣，ＫＴＨ數(shù)據(jù)集中的視逡逑頻也是分割好的行為片段，每段包含有且僅有一個人的一種行為。與之不同的是，逡逑ＫＴＨ數(shù)據(jù)集中的視頻類內(nèi)差異更大，背景雖然相對靜止，但是鏡頭存在拉近拉遠逡逑和伸縮

【相似文獻】

相關(guān)期刊論文 前10條

1 富倩;;人體行為識別研究[J];信息與電腦(理論版);2017年24期

2 趙雄偉;;人體行為特征融合與行為識別的分析[J];無線互聯(lián)科技;2017年12期

3 雷慶;陳鍛生;李紹滋;;復(fù)雜場景下的人體行為識別研究新進展[J];計算機科學(xué);2014年12期

4 魯統(tǒng)偉;任瑩;;基于光流的人體行為識別[J];電腦知識與技術(shù);2013年07期

5 王新旭;;基于視覺的人體行為識別研究[J];中國新通信;2012年21期

6 劉相濱,向堅持,王勝春;人行為識別與理解研究探討[J];計算機與現(xiàn)代化;2004年12期

7 ;城市形象設(shè)計與建設(shè)(連載)——第十章 城市行為識別[J];經(jīng)濟工作導(dǎo)刊;2000年01期

8 岳興錄,陳素賢;企業(yè)形象策劃的行為識別和視覺識別[J];遼寧經(jīng)濟;1996年06期

9 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識別[J];清華大學(xué)學(xué)報(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2009年07期

10 田國會;尹建芹;韓旭;于靜;;一種基于關(guān)節(jié)點信息的人體行為識別新方法[J];機器人;2014年03期

相關(guān)會議論文 前10條

1 齊娟;陳益強;劉軍發(fā);;基于多模信息感知與融合的行為識別[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

2 連儒東;李佳;;人體行為識別分析技術(shù)在檢察監(jiān)督中的應(yīng)用及構(gòu)建[A];深化依法治國實踐背景下的檢察權(quán)運行——第十四屆國家高級檢察官論壇論文集[C];2018年

3 安國成;羅志強;李洪研;;改進運動歷史圖的異常行為識別算法[A];第八屆中國智能交通年會優(yōu)秀論文集——智能交通與安全[C];2013年

4 何靖蕓;周洪鈞;;示教學(xué)習(xí):一種端到端的機器人行為識別及生成的模仿學(xué)習(xí)方法[A];第36屆中國控制會議論文集（E）[C];2017年

5 王忠民;張新平;梁琛;;基于滑動窗口異常數(shù)據(jù)提取的跌倒行為監(jiān)測方法[A];2016年全國通信軟件學(xué)術(shù)會議程序冊與交流文集[C];2016年

6 劉威;李石堅;潘綱;;uRecorder:基于位置的社會行為自動日志[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

7 數(shù)采創(chuàng)新項目組;;“algMelt聚類融合算法”模型在零售客戶數(shù)采異常行為識別中的探索與應(yīng)用[A];中國煙草學(xué)會2015年度優(yōu)秀論文匯編[C];2015年

8 郝明軒;劉巍;;核安全文化評價與工程實踐[A];中國核學(xué)會核能動力學(xué)會核電質(zhì)量保證專業(yè)委員會第十屆年會暨學(xué)術(shù)報告會論文專集[C];2010年

9 屈立笳;蘇紅;涂剛;;基于安全事件關(guān)聯(lián)分析的反垃圾郵件系統(tǒng)的研究[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

10 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識別[A];2007中國控制與決策學(xué)術(shù)年會論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 甘肅省武威市涼州區(qū)第一幼兒園 劉桂娥;從幼兒行為識別教育誤區(qū)[N];中國教育報;2018年

2 東林;行為識別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報;2007年

3 素杰;形象就是影響力[N];中國包裝報;2004年

4 本報記者 馬愛平;動一動就認(rèn)清你？機器說可以[N];科技日報;2017年

5 國家郵政局公眾服務(wù)部;明確經(jīng)營理念 推進形象工程[N];中國郵政報;2002年

6 何正坤;安全文化與企業(yè)CI戰(zhàn)略[N];中華合作時報;2003年

7 國家稅務(wù)總局法規(guī)司 張學(xué)瑞;加強稅收違法行為識別的研究[N];中國稅務(wù)報;2013年

8 符蓉邋通訊員 劉瀟;外經(jīng)貿(mào)職院引入大學(xué)新形象系統(tǒng)工程[N];湖南日報;2007年

9 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日報;2007年

10 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟日報;2001年

相關(guān)博士學(xué)位論文 前10條

1 康飛龍;基于機器學(xué)習(xí)的多目標(biāo)豬只狀態(tài)與個體行為識別研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2018年

2 許萬茹;復(fù)雜人體行為分析的時空上下文方法研究[D];北京交通大學(xué);2018年

3 丁文文;基于三維骨架的時空表示與人體行為識別[D];西安電子科技大學(xué);2017年

4 楊延華;潛在信息融合的多任務(wù)人體行為識別[D];西安電子科技大學(xué);2017年

5 齊鏜泉;基于深度學(xué)習(xí)的行為識別與旅游場景分類關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2017年

6 牛曉鵬;普適計算環(huán)境下人體行為識別及情景感知研究[D];北京科技大學(xué);2018年

7 陳華鋒;視頻人體行為識別關(guān)鍵技術(shù)研究[D];武漢大學(xué);2017年

8 劉yN楠;基于空時信息的行為識別方法研究[D];電子科技大學(xué);2018年

9 梁銳;視頻語義分析若干問題研究[D];電子科技大學(xué);2018年

10 汪亮;基于可穿戴傳感器網(wǎng)絡(luò)的人體行為識別技術(shù)研究[D];南京大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 趙曉葉;基于深度信息的人體行為識別方法研究[D];江南大學(xué);2018年

2 昝寶鋒;基于深度圖和線性表示模型的人體行為識別研究[D];江南大學(xué);2018年

3 徐海洋;基于深度信息和骨骼信息的人體行為識別算法研究[D];江南大學(xué);2018年

4 徐洋洋;基于深度神經(jīng)網(wǎng)絡(luò)的人體行為識別研究[D];廣西師范大學(xué);2018年

5 汪賢龍;基于智能手機的無監(jiān)督行為識別中的相似性度量方法研究[D];蘭州大學(xué);2018年

6 高陽;基于雙流卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)控視頻中打斗行為識別研究[D];西安理工大學(xué);2018年

7 張銀珠;基于軌跡池化神經(jīng)網(wǎng)絡(luò)的視頻行為識別[D];華南理工大學(xué);2018年

8 趙永康;應(yīng)用Kinect的人體行為識別方法研究與實現(xiàn)[D];吉林大學(xué);2018年

9 常玉青;人機協(xié)作中基于多Kinect的人體行為識別研究[D];吉林大學(xué);2018年

10 張遠;基于智能手機的用戶行為識別研究[D];內(nèi)蒙古大學(xué);2018年

本文編號：2793508