本文關(guān)鍵詞： 表情識別 交互行為識別 多模態(tài)融合 情感計算 人機交互　出處：《天津大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：隨著計算機科學(xué)的不斷發(fā)展,以及對個性化人機交互需求的不斷增強,情感計算在人機交互中的重要性日益顯著,基于情感理解與表達(dá)的人機交互研究受到了各領(lǐng)域的廣泛關(guān)注。情感識別及理解作為情感計算的基礎(chǔ),是使計算機擁有情感感知能力的重要研究內(nèi)容。而面部表情和肢體行為作為人類表達(dá)情感的兩種主要方式,也就成為了情感識別研究的重要手段。因此,本文基于對面部表情及肢體行為的分析,對情感識別理解中的特征表示、分類方法及多模態(tài)融合等問題進(jìn)行了深入的研究,并完成了如下幾個方面的內(nèi)容及創(chuàng)新工作:1.對基于面部表情的情感識別進(jìn)行了深入的研究,提出了基于改進(jìn)決策森林的表情識別方法。通過對人的面部表情進(jìn)行分析,獲得了對表情辨別中變化顯著的多個面部區(qū)域,并基于該分析結(jié)果提出了一個基于決策森林的表情分類模型——隱馬爾可夫決策森林模型(Hidden Markov Model Decision Forest,HMMDF)。該模型以決策樹作為其基本拓?fù)浣Y(jié)構(gòu)。模型中每個節(jié)點被定義為一個具有可分辨性的強分類器,并利用多個隱馬爾可夫鏈的組合進(jìn)行構(gòu)造,從而實現(xiàn)對表情的視頻數(shù)據(jù)的分析識別。其中,每個隱馬爾可夫鏈描述了唯一的面部區(qū)域,且針對不同的面部區(qū)域,其在模型中的作用價值通過權(quán)重的形式加以表示。由此,面部區(qū)域在表情識別中所表現(xiàn)出的差異性將在模型中得到充分的發(fā)揮,從而實現(xiàn)了對多個面部區(qū)域特征的融合。實驗驗證了面部區(qū)域?qū)Σ煌砬榉直婺芰Φ牟町愋蕴攸c,并通過實驗對其進(jìn)行了量化。實驗結(jié)果表明,所提出的表情識別模型HMMDF在動態(tài)表情識別中能夠取得較好的識別效果。2.對基于肢體行為的情感識別進(jìn)行了研究,分析了交互行為中的情感交流,并針對交互行為特征描述問題,提出了與情感相關(guān)的交互行為的特征表示方法�；诮换バ袨榈闹w運動特點,提出了兩層特征表示模型。該模型不僅描述了行為過程中的運動特征,還融合了交互行為過程中的上下文信息。在該特征表示模型中,低層表示采用了局部時空軌跡的編碼方法,并提出了層次時空軌跡編碼模型對特征進(jìn)行學(xué)習(xí),從而實現(xiàn)了對運動特征的表示。此外,基于對交互行為中的時空關(guān)系特點的分析,還提出了交互行為的上下文信息的描述方法。該方法從行為序列中提取了蘊含交互行為中時空上下文信息的局部交互姿態(tài)輪廓,并以此作為交互上下文特征引入到低層表示中。模型的高層表示則基于對局部特征的編碼,提出了基于時空序列特性的聚類方法,從行為的整體性角度進(jìn)一步描述行為特征。3.基于以上研究,對人臉表情及肢體動作所表達(dá)情感的理解及意圖的識別進(jìn)行了深入探討,提出了基于面部表情和肢體行為的多模態(tài)融合模型,解決了相似交互行為在不同環(huán)境中的情感理解及意圖識別問題。該模型基于多層隱馬爾可夫鏈實現(xiàn),將交互者的表情分別作為彼此情感意圖表達(dá)的上下文信息,并融合了交互中雙方的行為姿態(tài)的變化。模型中不僅通過隱馬爾可夫鏈定義了每種模態(tài)的行為狀態(tài)轉(zhuǎn)換關(guān)系,還描述了不同模態(tài)之間狀態(tài)的相互聯(lián)系,因此能夠更有效地分辨相似的交互行為,進(jìn)而實現(xiàn)了對情感的理解及意圖的識別。4.提出并構(gòu)建了基于多模態(tài)情感表達(dá)的行為數(shù)據(jù)集。為了對以上基于面部表情與肢體行為融合的情感意圖識別方法進(jìn)行驗證,提出并建立了多模態(tài)的情感數(shù)據(jù)集。該數(shù)據(jù)集包含了來自32部電影的283個視頻片段,共表達(dá)了4類情感意圖,分別為慶祝、問候、安慰和感謝。此外,還對該數(shù)據(jù)集中所包含的面部表情類型、視頻片段中行為的相關(guān)特性等進(jìn)行了標(biāo)注。綜上所述,本文分別基于多種模態(tài)對情感識別中的特征表示、分類算法進(jìn)行了深入的研究,并基于以上工作采用了多模態(tài)融合的方法對交互行為中復(fù)雜情感加以理解,進(jìn)而實現(xiàn)了更深層的情感意圖的識別。以上研究使計算機在具有情感識別能力的基礎(chǔ)上,進(jìn)一步具有理解情感、識別情感意圖的能力,從而在人機交互中表現(xiàn)得更加靈活、自然、和諧。
[Abstract]:With the development of computer science, and constantly enhance the personalized human-computer interaction, the importance of affective computing in human-computer interaction is significant, human-computer interaction research based on emotional understanding and expression has attracted extensive attention in various fields. Emotion recognition and understanding as the basis of affective computing, is an important research content of the computer with emotion perception ability. And facial expressions and body behavior as the two main ways of human emotion, it has become an important means of emotion recognition. Therefore, the analysis of facial expressions and body behavior based on the characteristics of emotion recognition expressed understanding, in-depth study of the problem of classification and multimodal fusion etc., and complete the contents and innovations are as follows: 1. aspects of emotional facial expression recognition based on in-depth research, put forward A facial expression recognition method based on improved decision forest. Based on the analysis of human facial expressions, the change of expression to identify significant multiple facial region, and based on the results of the analysis put forward a classification model based on decision forest hidden Markov decision model (Hidden Markov Model Decision forest Forest, HMMDF). In this model, the decision tree as the basic topological structure. Each node in the model is defined as a strong classifier resolution, and constructed by using a combination of hidden Markov chain, so as to realize the recognition of video data on facial expression. Among them, each hidden Markov chain to describe the facial region only and, for different facial regions, the model of value represented by the form of weight. Thus, the face area is in in face recognition The difference will be brought into full play in the model, so as to realize the fusion of multiple facial region features. Experimental results show that the characteristics of facial region differences expression resolution, and experiments are carried out for the quantification. The experimental results show that the proposed face recognition model HMMDF can achieve.2. recognition effect the better studied emotion recognition based on nonverbal behavior in dynamic facial expression recognition, analysis of the emotional interaction behavior, and describe the problem for interactive behavior, a feature representation is proposed interactive behavior associated with emotion. Limb movement characteristics based on interactive behavior, puts forward two layer representation model. The model not only describes the motion characteristics of behavior in the process, but also the integration of the context information interaction process. In the feature model, the lower the Bureau said Department of spatio-temporal trajectory encoding method, and puts forward the hierarchical encoding model for learning spatio-temporal trajectory characteristics, so as to realize the representation of motion features. In addition, space-time relationship between the characteristics of interactive behavior based on the proposed method, describe the context information interaction behavior. The method of extracting the local interactive gesture contour the spatio-temporal context contains interactive behavior from the behavior sequence, and as interactive context features into the low layer. Said model is based on the high-level expression of local feature encoding, proposes clustering method based on the characteristics of the empty sequence, study the behavior characteristics of.3. based on the above described further from the behaviour of the whole angle. The expression of emotion understanding of facial expressions and body movements and intention recognition are discussed and the proposed model of facial expressions and body based on behavior State fusion model to solve the similar interaction behavior in different environments and emotional understanding of intention recognition problem. The model of multi hidden Markov chain based on the interaction of expression as the context information of each other emotional intent, change and integration of the interaction in the behavior of both attitude. Not only through the hidden Markov chain model the definition of transformation between each modal behavior, the contact state between different modes is also described, so it can effectively differentiate the interactive behavior of similar, so as to realize the emotional understanding and intention recognition.4. propose and construct the behavioral data set based on multi modal emotional expression. Based on the above in order to the fusion of facial expressions and body emotion behavior intention recognition method is verified, and the establishment of the proposed multimodal emotion data set. The data set contains from 283 video clips of 32 movies, 4 kinds of co expression of emotion intention, respectively, to celebrate, greetings, comfort and gratitude. In addition, facial expression of the data type also contains the behavior in video clips related characteristics were marked. In summary, based on the characteristics of multimodal emotion recognition the said classification algorithm is studied, and based on the above work by using a multimodal fusion approach to understanding complex emotional interaction behavior, so as to realize the recognition of emotion intention deeper. Based on above research so that the computer has the ability of emotion recognition, with further understanding of emotion, emotion recognition ability the intention, thus in human-computer interaction is more flexible, natural and harmonious.

【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王上飛;薛佳;王煦法;;基于人腦情感注意回路的表情識別[J];模式識別與人工智能;2008年05期

2 應(yīng)自爐;張有為;李景文;;融合人臉局部區(qū)域的表情識別[J];信號處理;2009年06期

3 胡明銀;孟凡民;;微表情識別的偵查實用性探析[J];江西警察學(xué)院學(xué)報;2011年03期

4 申尋兵;隋華杰;許坤金;;微表情識別能力與在校生人際關(guān)系相關(guān)性研究[J];科技視界;2013年28期

5 武宇文,劉宏,查紅彬;基于特征分組加權(quán)聚類的表情識別[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2005年11期

6 何良華,鄒采榮,包永強,趙力;人臉面部表情識別的研究進(jìn)展[J];電路與系統(tǒng)學(xué)報;2005年01期

7 楊國亮;王志良;王國江;;面部表情識別研究進(jìn)展[J];自動化技術(shù)與應(yīng)用;2006年04期

8 王功孝;;面部表情識別研究綜述[J];黑龍江科技信息;2007年24期

9 韓t}t};王益文;洪慧;徐艷嬌;;面孔呈現(xiàn)順序?qū)植勘砬樽R別的影響[J];山東師范大學(xué)學(xué)報(自然科學(xué)版);2008年02期

10 寧凡;厲星星;;基于人臉幾何結(jié)構(gòu)的表情識別[J];計算機應(yīng)用與軟件;2009年06期

相關(guān)會議論文 前10條

1 沈卓卿;俞國良;;情緒表達(dá)者的文化差異對表情識別的影響[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

2 章吉;陳英和;;兒童混合表情識別的發(fā)展及與基本表情識別的關(guān)系[A];增強心理學(xué)服務(wù)社會的意識和功能——中國心理學(xué)會成立90周年紀(jì)念大會暨第十四屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

3 劉芳;王志良;徐銀梅;陳鋒軍;郭群;;應(yīng)用于表情識別的黑斑特征算法的設(shè)計與實現(xiàn)[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

4 史光遠(yuǎn);崔麗霞;;性別和羞怯水平對大學(xué)生面部表情識別的影響[A];第十五屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2012年

5 曹宇嘉;鄭文明;趙力;鄒采榮;;基于差值模板特征的表情識別方法[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

6 李睿凡;朱強生;郭燕慧;劉海濤;;魯棒局部保持投影的表情識別[A];2006年首屆ICT大會信息、知識、智能及其轉(zhuǎn)換理論第一次高峰論壇會議論文集[C];2006年

7 韓t}t};王益文;;面孔呈現(xiàn)順序?qū)植勘砬樽R別的影響[A];第十一屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

8 歐陽琰;桑農(nóng);;基于面部動作單元組合特征的表情識別[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2010年

9 羅崢;魏錦;陳凡;尹天驕;;自閉、智障與正常兒童面部表情識別的差異[A];增強心理學(xué)服務(wù)社會的意識和功能——中國心理學(xué)會成立90周年紀(jì)念大會暨第十四屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

10 張明;傅小蘭;;微表情識別的背景效價效應(yīng)[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會議論文集[C];2013年

相關(guān)重要報紙文章 前10條

1 保健時報實習(xí)記者 常華;小心患上“電腦臉”[N];保健時報;2006年

2 記者 張忠霞;有些表情純屬天生,可能來自祖先基因[N];新華每日電訊;2009年

3 張文;面部表情也顯示了語言隔閡[N];中國經(jīng)濟導(dǎo)報;2009年

4 陳靜;我們的情緒怎么了？[N];北京日報;2011年

5 李隆;冬日人像的用光與面部表情[N];中國攝影報;2007年

6 周玉娟;導(dǎo)游講解中表情語的應(yīng)用技巧[N];中國旅游報;2007年

7 王輝;面癱了怎么辦[N];家庭醫(yī)生報;2008年

8 陳丹 實習(xí)生 王若素;可生成逼真面部表情的軟件問世[N];科技日報;2004年

9 周志昌;機器人能否表現(xiàn)出喜怒哀樂？[N];科技日報;2006年

10 李梓;新手拍好人物的技巧[N];中國攝影報;2013年

相關(guān)博士學(xué)位論文 前10條

1 梁景蓮;基于視覺行為的情感計算研究[D];天津大學(xué);2016年

2 王麗;智能服務(wù)機器人表情識別技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

3 楊勇;基于粗糙集理論的表情識別研究[D];西南交通大學(xué);2009年

4 李遠(yuǎn)征;人體目標(biāo)跟蹤和表情識別中的若干問題研究[D];西安電子科技大學(xué);2013年

5 阮錦新;多姿態(tài)人臉檢測與表情識別關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2010年

6 歐陽琰;面部表情識別方法的研究[D];華中科技大學(xué);2013年

7 朱明旱;基于流形學(xué)習(xí)的人臉表情識別研究[D];中南大學(xué);2009年

8 劉帥師;非均勻光照和局部遮擋情況下的魯棒表情識別理論與方法研究[D];吉林大學(xué);2012年

9 張錚;基于二維MB-LGBP特征的表情識別及其光照檢測研究[D];天津大學(xué);2010年

10 付曉峰;基于二元模式的人臉識別與表情識別研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 賀春榮;情緒情境與訓(xùn)練因素對微表情識別能力影響的研究[D];山西醫(yī)科大學(xué);2012年

2 竇曉娟;大學(xué)生自卑特質(zhì)對面部表情識別的影響研究[D];河北師范大學(xué);2015年

3 黃世偉;雙相躁狂患者面部表情識別的研究[D];安徽醫(yī)科大學(xué);2015年

4 陳心韻;抑郁傾向、抑郁癥患者與正常人生態(tài)化微表情識別差異及評估指標(biāo)初探[D];蘇州大學(xué);2015年

5 張海婷;基于深度神經(jīng)網(wǎng)絡(luò)的人體動作及自發(fā)表情識別[D];山東大學(xué);2015年

6 武冠群;基于情感模型的表情識別及應(yīng)用研究[D];哈爾濱工業(yè)大學(xué);2015年

7 路立;生態(tài)化微表情識別測量的編制及微表情識別差異研究[D];蘇州大學(xué);2015年

8 王晶晶;面部反饋對表情識別的作用及其影響因素[D];浙江師范大學(xué);2015年

9 王劍云;基于深度神經(jīng)網(wǎng)絡(luò)的表情識別算法[D];西南科技大學(xué);2015年

10 趙晴;微表情識別、親社會行為與人際交往的關(guān)系研究[D];曲阜師范大學(xué);2015年

，

本文編號：1463861