【摘要】：進入21世紀,隨著信息技術(shù)的發(fā)展和人類生活的不斷智能化,計算機視覺正日益影響到人們生活的各個方面,而人體行為識別及分析,因其廣泛的應(yīng)用前景和實用價值,近幾年來一直都是計算機視覺方向的研究熱點。人體行為識別,即對原始的視頻圖像序列進行分析,提取相關(guān)的行為特征信息,最后對這些信息進行解釋以實現(xiàn)對人體行為的識別和學(xué)習(xí)。盡管計算機技術(shù)和圖像處理技術(shù)的快速發(fā)展極大地推動了行為識別領(lǐng)域的研究,而且隨著大數(shù)據(jù)技術(shù)的普及,算法的性能越來越多地依賴于數(shù)據(jù)集,然而如何選擇有效行為特征,以及目前數(shù)據(jù)集存在的遮擋、背景單一和缺少大量樣本數(shù)據(jù)等問題,使得基于大量數(shù)據(jù)的復(fù)雜自然場景下的人體行為識別技術(shù)仍然是一個非常具有挑戰(zhàn)性的研究領(lǐng)域。彩色-深度(RGB-Depth,RGB-D)傳感器能夠同時提供彩色和深度圖像,3D深度信息可以直接獲取而不再需要額外的計算,這為深度信息在人體行為識別領(lǐng)域內(nèi)的應(yīng)用提供了很大的方便。人體行為的識別和分析是依托于行為數(shù)據(jù)集進行的,在行為識別研究的過程中,先后出現(xiàn)了多種數(shù)據(jù)集,目前存在的公共RGB-D行為數(shù)據(jù)集由于有限的行為類別,行為樣本數(shù)量以及單一化的背景環(huán)境,很難用于基于大量數(shù)據(jù)的復(fù)雜自然場景下的行為識別。因此,本文建立了一個綜合性RGB-D大規(guī)模行為數(shù)據(jù)集,以促進對復(fù)雜自然場景下人體行為識別的研究,同時,基于該綜合性數(shù)據(jù)集應(yīng)用了三種特征提取算法。本文的具體研究內(nèi)容如下:第一,分析了人體行為識別的研究背景、意義和目的,從數(shù)據(jù)集、特征提取和分類器三個層面綜述了人體行為識別的研究現(xiàn)狀,對基于RGB-D的行為識別研究面臨的問題進行了闡述,介紹了本文的主要研究內(nèi)容和章節(jié)安排。第二,闡述了 RGB-D傳感器的優(yōu)點以及深度信息在人體行為識別中的重要性,對目前已經(jīng)存在的一些RGB-D數(shù)據(jù)集進行了詳細的介紹,并比較了它們的優(yōu)缺點。第三,選擇了五個常用典型的RGB-D數(shù)據(jù)集,通過對這五個數(shù)據(jù)集中的數(shù)據(jù)進行預(yù)處理、統(tǒng)計分析,最后整合成一個綜合性的RGB-D大數(shù)據(jù)集,并且對RGB-D大規(guī)模數(shù)據(jù)集中的行為類別進行了重新標(biāo)定,統(tǒng)一了數(shù)據(jù)存儲格式。該部分主要對建立大規(guī)模數(shù)據(jù)集中的工作做了具體的描述,同時介紹了 RGB-D大規(guī)模數(shù)據(jù)集的數(shù)據(jù)信息、優(yōu)勢以及建立意義。第四,基于RGB-D大規(guī)模數(shù)據(jù)集提取了深度行為投影圖(Depth Motion Maps,DMMs)、深度立方體相似性特征(Depth Cuboid Similarity Feature,DCSF)和曲率尺度空間(Curvature Space Scale,CSS)三種類型的特征。DMMs特征累計整個深度視頻序列里兩個連續(xù)幀投影圖之間的絕對差(運動能量);DCSF描述了圍繞時空興趣點構(gòu)造的尺度自適應(yīng)3D深度立方體之間的相似性關(guān)系;CSS可以表示不同尺度水平下人體輪廓曲線的不變特征。三種特征提取算法分別在五個子數(shù)據(jù)集和綜合性大數(shù)據(jù)集上進行實驗,應(yīng)用協(xié)作表示分類器(Collaborative Representation Classifier,CRC)對人體行為進行識別,通過對實驗結(jié)果的比較和分析來驗證所建立RGB-D大規(guī)模數(shù)據(jù)集的適用性和有效性。最后,對本文所做的全部工作進行整理總結(jié),并對未來的研究方向進行展望。
[Abstract]:In the 21st century, with the development of information technology and the increasingly intelligent of human life, computer vision is increasingly affecting all aspects of people's life, and human behavior identification and analysis, because of its wide application prospect and practical value, In recent years, it has been a hot topic in computer vision. The human behavior recognition, that is, the original video image sequence is analyzed, relevant behavior characteristic information is extracted, and finally, the information is interpreted so as to realize the identification and learning of human behavior. Although the rapid development of computer technology and image processing technology has greatly promoted the research in the field of behavior recognition, and with the popularization of large-data technology, the performance of the algorithm is increasingly dependent on the data set, however, how to select the effective behavior feature, As well as the problems such as occlusion, background single and lack of large amount of sample data in the current data set, the human behavior recognition technology under the complex natural scene based on the large amount of data is still a very challenging research field. The color-depth (RGB-Depth, RGB-D) sensor can provide both color and depth images at the same time, and the 3D depth information can be directly acquired without additional calculation, which provides great convenience for the application of the depth information in the field of human behavior identification. The identification and analysis of human behavior is based on the behavior data set. In the course of the study of behavior recognition, a variety of data sets have been presented, and the existing common RGB-D behavior data sets are due to the limited behavior category, the number of behavior samples and the single background environment. It is difficult to use for behavior recognition in complex natural scenes based on a large amount of data. Therefore, a comprehensive RGB-D large-scale behavior data set is established to promote the research of human behavior recognition in complex natural scene, and three feature extraction algorithms are applied based on the comprehensive data set. The research contents of this paper are as follows: First, the research background, meaning and purpose of human behavior recognition are analyzed, the research status of human behavior recognition is summarized from three aspects of data set, feature extraction and classifier, and the problems facing the research of behavior recognition based on RGB-D are described. The main contents and chapters of this paper are introduced. Secondly, the advantages of RGB-D sensor and the importance of depth information in human behavior recognition are described, and some of the existing RGB-D data sets are described in detail, and their advantages and disadvantages are compared. thirdly, five typical RGB-D data sets are selected, the data in the five data sets are pre-processed, analyzed and finally integrated into a comprehensive RGB-D large data set, and the behavior categories in the RGB-D large-scale data set are re-calibrated, The data storage format is unified. This part mainly describes the establishment of large-scale data set, and introduces the data information, advantage and significance of the large-scale data set of RGB-D. Fourth, based on the RGB-D large-scale data set, three types of features of the depth behavior projection (DMM), the depth cube similarity feature (DCSF) and the curvature scale space (CSS) are extracted. The DMs feature accumulates the absolute difference (motion energy) between two consecutive frame projections in the entire depth video sequence; the DCSF describes the similarity relationship between the scale adaptive 3D depth cubes constructed around the space-time interest point structure; CSS can represent the invariant feature of the human profile curve at different scale levels. The three feature extraction algorithms are tested on the five sub-data sets and the comprehensive large data set, and the cooperative expression classifier (CRC) is used to identify the human behavior. The applicability and validity of the established RGB-D large-scale data set are verified by the comparison and analysis of the experimental results. Finally, the whole work done in this paper is summarized, and the future research direction is expected.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 劉相濱,向堅持,王勝春;人行為識別與理解研究探討[J];計算機與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結(jié)合人體運動特征的行為識別[J];北京交通大學(xué)學(xué)報;2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識別[J];清華大學(xué)學(xué)報(自然科學(xué)版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識別與理解研究綜述[J];計算機應(yīng)用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進展[J];中國圖象圖形學(xué)報;2014年02期

7 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識別的新方法[J];昆明理工大學(xué)學(xué)報(理工版);2009年06期

8 谷軍霞;丁曉青;王生進;;基于人體行為3D模型的2D行為識別[J];自動化學(xué)報;2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識別視頻特征[J];計算機應(yīng)用;2011年02期

10 王新旭;;基于視覺的人體行為識別研究[J];中國新通信;2012年21期

相關(guān)會議論文 前7條

1 苗強;周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識別技術(shù)研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

2 齊娟;陳益強;劉軍發(fā);;基于多模信息感知與融合的行為識別[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識別[A];2007中國控制與決策學(xué)術(shù)年會論文集[C];2007年

4 黃紫藤;吳玲達;;監(jiān)控視頻中簡單人物行為識別研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

5 安國成;羅志強;李洪研;;改進運動歷史圖的異常行為識別算法[A];第八屆中國智能交通年會優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動用戶行為識別中的應(yīng)用研究[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

7 劉威;李石堅;潘綱;;uRecorder:基于位置的社會行為自動日志[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

相關(guān)重要報紙文章 前4條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟日報;2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日報;2007年

3 東林;行為識別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報;2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國際經(jīng)驗[N];中國文物報;2014年

相關(guān)博士學(xué)位論文 前10條

1 邵延華;基于計算機視覺的人體行為識別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機場的智能家居行為識別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識別技術(shù)研究[D];浙江大學(xué);2015年

4 姜新波;基于三維骨架序列的人體行為識別研究[D];山東大學(xué);2015年

5 裴利沈;視頻中人體行為識別若干問題研究[D];電子科技大學(xué);2016年

6 周同馳;行為識別中基于局部時空關(guān)系的特征模型研究[D];東南大學(xué);2016年

7 徐海燕;復(fù)雜環(huán)境下行為識別特征提取方法研究[D];東南大學(xué);2016年

8 吳云鵬;集體行為的識別與仿真研究[D];鄭州大學(xué);2017年

9 劉艷秋;舍飼環(huán)境下母羊產(chǎn)前典型行為識別方法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2017年

10 何衛(wèi)華;人體行為識別關(guān)鍵技術(shù)研究[D];重慶大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 唐小琴;基于全局和局部運動模式的人體行為識別研究[D];西南大學(xué);2015年

2 胡秋揚;可穿戴式個人室內(nèi)位置和行為監(jiān)測系統(tǒng)[D];浙江大學(xué);2015年

3 陳鈺昕;基于時空特性的人體行為識別研究[D];燕山大學(xué);2015年

4 任亮;智能車環(huán)境下車輛典型行為識別方法研究[D];長安大學(xué);2015年

5 金澤豪;并行化的人體行為識別方法研究與實現(xiàn)[D];華南理工大學(xué);2015年

6 王呈;穿戴式多傳感器人體日�；顒颖O(jiān)測系統(tǒng)設(shè)計與實現(xiàn)[D];南京理工大學(xué);2015年

7 王露;基于稀疏時空特征的人體行為識別研究[D];蘇州大學(xué);2015年

8 于靜;基于物品信息和人體深度信息的行為識別研究[D];山東大學(xué);2015年

9 章瑜;人體運動行為識別相關(guān)方法研究[D];南京師范大學(xué);2015年

10 趙揚;家庭智能空間下基于行走軌跡的人體行為理解[D];山東大學(xué);2015年

，

本文編號：2484981