情感識別在人機(jī)交互中具有巨大應(yīng)用價值,近年來受到越來越多的關(guān)注。在情感識別的研究過程中,研究者首先采集如面部表情序列、腦電(Electroencephalogram,EEG)以及語音等多種反映人類情感的信號,然后利用計(jì)算機(jī)進(jìn)行自動識別。其中,EEG和面部表情序列是情感識別中研究較為廣泛的兩種信號。作為時變情感信號,EEG和面部表情序列具有相似的時空結(jié)構(gòu):它們不僅在某個時刻呈現(xiàn)特定的空間分布特性,也在時域上包含上下文信息。為實(shí)現(xiàn)準(zhǔn)確可靠的情感識別,情感信號中所包含的較為關(guān)鍵的空域和時域相關(guān)性應(yīng)該被很好地建模。出于上述動機(jī),本文設(shè)計(jì)了多種具有時空結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)基于EEG和面部表情的動態(tài)情感識別。此外,由于情感信號在空域上的相關(guān)性比時域上更加復(fù)雜,本文首先對如何建�？沼蛳嚓P(guān)性展開研究,并將它作為設(shè)計(jì)時空神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。具體而言,本文主要的創(chuàng)新性成果包括以下幾個方面:(1)提出一種受情感認(rèn)知機(jī)制啟發(fā)的雙線性卷積網(wǎng)絡(luò)(Bilinear Convolutional Network,BCN),對靜態(tài)表情圖像進(jìn)行高層特征提取以及情感識別。為模擬情感認(rèn)知的早期感知過程,本文首先對面部關(guān)鍵點(diǎn)的周圍區(qū)域提取尺度不變特征變換(Scale Invariant Feature Transform,SIFT)描述子,并構(gòu)建具有特定結(jié)構(gòu)的特征矩陣。而為了模擬情感認(rèn)知的深層感知階段,本文構(gòu)建BCN以學(xué)習(xí)具有較高判別性的情感特征。其中,BCN包含雙線性映射層、一維卷積層和非線性激活層等多種網(wǎng)絡(luò)層。在情感識別過程中,BCN能夠很好地表征SIFT特征矩陣與其對應(yīng)的高層語義信息之間的變換關(guān)系。同時,BCN對于不同視角下的面部表情也可以進(jìn)行有效地分類。(2)提出一種新穎的時空遞歸神經(jīng)網(wǎng)絡(luò)(Spatial-Temporal Recurrent Neural Network,STRNN)用于學(xué)習(xí)情感信號中的空域和時域相關(guān)性,并將EEG和面部表情序列這兩種信號的時空特征學(xué)習(xí)過程集成到統(tǒng)一的深度模型中。STRNN首先采用一個多方向的空域遞歸神經(jīng)網(wǎng)絡(luò)層(Spatial Recurrent Neural Network,SRNN)來捕獲情感中的空域協(xié)同變化信息,特別是空域上各區(qū)域間的長距離上下文信息。在此過程中,SRNN沿著不同方向?qū)η楦行盘栔忻總�時間切片上的空間區(qū)域進(jìn)行遍歷。然后,雙向時域遞歸神經(jīng)網(wǎng)絡(luò)(Temproal Recurrent Neural Network,TRNN)在SRNN輸出特征的基礎(chǔ)上進(jìn)一步學(xué)習(xí)時域上的相關(guān)性。為選取對情感識別貢獻(xiàn)較大的區(qū)域,該網(wǎng)絡(luò)還對SRNN和TRNN的隱狀態(tài)進(jìn)行稀疏投影。經(jīng)過上述過程,STRNN可以有效地學(xué)習(xí)情感信號中時域和空域上的相關(guān)信息,并實(shí)現(xiàn)情感識別。(3)提出基于一階和高階統(tǒng)計(jì)特征的深度神經(jīng)網(wǎng)絡(luò)框架,對EEG信號進(jìn)行情感識別。其中,高階統(tǒng)計(jì)特征為具有時空結(jié)構(gòu)的對稱正定(Symmetric Positive Definite,SPD)矩陣。理論上,SPD矩陣分布在黎曼流形上。為保持輸入矩陣的黎曼流形結(jié)構(gòu),本文提出一個端到端的深度流形到流形變換網(wǎng)絡(luò)(Deep Manifoldto-manifold Transforming Network,DMT-Net)將SPD矩陣從原始黎曼流形變換到另一個判別性更高的黎曼流形上。在此過程中,DMT-Net提出三個新穎的網(wǎng)絡(luò)層以學(xué)習(xí)具有較高判別性的SPD特征,分別為:(a)局部SPD卷積層,(b)非線性SPD激活層,和(c)黎曼流形上的遞歸層。它們均可以保持輸入特征的SPD特性并且在計(jì)算過程中無需使用運(yùn)算復(fù)雜度較高的奇異值分解(Singular Value Decomposition,SVD)。而相比之下,現(xiàn)存方法幾乎均基于SVD。此外,DMT-Net還包含一個對角化層用于對SPD特征進(jìn)行高效的度量計(jì)算。最后,DMT-Net進(jìn)一步和基于一階統(tǒng)計(jì)特征的網(wǎng)絡(luò)層進(jìn)行融合以提高識別性能。(4)提出一種新的張量圖卷積神經(jīng)網(wǎng)絡(luò)(Tensor Graph Convolutional Neural Network,TGCNN),對EEG信號進(jìn)行情感識別。EEG特征首先被建模成包含多個節(jié)點(diǎn)的動態(tài)圖序列。在此過程中,EEG的每一個時間切片均被視作動態(tài)圖序列的一個子圖,并且子圖中的每個節(jié)點(diǎn)都與一個電極相對應(yīng)。為全局地捕獲各子圖之間以及同一子圖上的各節(jié)點(diǎn)之間的相關(guān)信息,TGCNN提出圖保持層來遞歸地記憶各個子圖上對于情感識別較為顯著的節(jié)點(diǎn)。其中,圖保持層包含兩個關(guān)鍵的步驟,分別為跨圖卷積和圖池化。特別地,跨圖卷積中提出一種新穎的參數(shù)化克羅內(nèi)克和(Kronecker Sum)來表征兩個子圖中每對節(jié)點(diǎn)之間的鄰接關(guān)系。通過利用克羅內(nèi)克和的運(yùn)算性質(zhì),原本針對高維矩陣的譜濾波運(yùn)算可以分解為若干個低維矩陣之間的乘積,從而大幅減少內(nèi)存和計(jì)算負(fù)擔(dān)。經(jīng)過對動態(tài)圖的遞歸學(xué)習(xí),圖保持層可以捕獲動態(tài)圖序列的空域結(jié)構(gòu)以及時域變化特性,并實(shí)現(xiàn)對EEG信號的有效情感識別。
【學(xué)位單位】：東南大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP183;TP391.41
【部分圖文】：

第 2 章 基于雙線性卷積網(wǎng)絡(luò)的人臉表情識別如圖 2-1 所示�？傮w上，該網(wǎng)絡(luò)主要由六個網(wǎng)絡(luò)層組成，分別為兩個投影層、一個一維卷積層、兩個全連接層和一個 Softmax 層。由圖 2-1 可知，BCN 與傳統(tǒng)的CNN 或 DBN 網(wǎng)絡(luò)存在較大的區(qū)別，主要表現(xiàn)在：（1）其網(wǎng)絡(luò)輸入為 SIFT 特征矩陣而非原始的圖片；（2）設(shè)計(jì)了新的投影層來尋找關(guān)鍵點(diǎn)之間的最優(yōu)組合以及最優(yōu)特征空間；（3）僅在特征方向上使用一維濾波器進(jìn)行濾波來學(xué)習(xí)具有高判別性的特征。

圖 2-2 Multi-PIE 和 BU3D-FE 數(shù)據(jù)庫的樣本示例PIE 上的實(shí)驗(yàn)結(jié)果IE 上的實(shí)驗(yàn)遵循先前文獻(xiàn)[13]中的協(xié)議來對模型進(jìn)行訓(xùn)練取 Multi-PIE 數(shù)據(jù)庫中由 100 個被試在 7 個不同的視角o75 和o90 ）和一種特定的光照下所拍攝的共 4200 張表情圖圖片，本實(shí)驗(yàn)采用交叉驗(yàn)證的方式對 BCN 的性能進(jìn)行評試集時，100 位被試中的 80 位會被選取出來并將其對應(yīng)訓(xùn)練，而剩余的 20 位被試的 840 張表情圖片用于測試。練的樣本數(shù)量相對較少，可能會影響深度網(wǎng)絡(luò)的性能。因的數(shù)量以及數(shù)據(jù)的多樣性，本實(shí)驗(yàn)還對訓(xùn)練圖片進(jìn)行了翻張給定的表情圖像，首先對它分別以順時針和逆時針方

東南大學(xué)博士學(xué)位論文特別地，2D JFDNN 在o30 姿態(tài)下得到了最高的識別率而 BCN 則在o0 姿態(tài)下的識別率達(dá)到最優(yōu)。另外，由兩種方法之間的結(jié)果對比可知：除了o90 以外，BCN在其余的各個視角下都獲得了優(yōu)于 2D JFDNN 的性能，這表明 BCN 對于姿態(tài)變化的魯棒性也優(yōu)于 2D JFDNN。表 2.2 Multi-PIE 數(shù)據(jù)庫中各個面部姿態(tài)下的表情識別準(zhǔn)確率對比方法識別率（%）0o15o30o45o60o75o90o平均2D JFDNN[76]85.1 83.3 85.8 84.2 80.8 80.8 80.0 82.9BCN（13440 訓(xùn)練圖片）88.2 88.0 87.3 85.3 83.8 83.3 78.8 85.2
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡冬妮;王武軍;王青;;基于知網(wǎng)數(shù)據(jù)的情感識別國內(nèi)研究情況綜述[J];網(wǎng)絡(luò)新媒體技術(shù);2018年06期

2 韓志艷;王健;;基于模糊核聚類的多模式情感識別算法研究[J];電子設(shè)計(jì)工程;2016年20期

3 陳曉鷗;楊德順;;音樂情感識別研究進(jìn)展[J];復(fù)旦學(xué)報(自然科學(xué)版);2017年02期

4 潘瑩;;情感識別綜述[J];電腦知識與技術(shù);2018年08期

5 金磊;高梓瀚;馮琛;;情感識別算法應(yīng)用現(xiàn)狀及發(fā)展趨勢研究[J];電子世界;2019年15期

6 李超;趙文萍;趙子平;;多視角判別分析的情感識別[J];信號處理;2018年08期

7 張力行;葉寧;黃海平;王汝傳;;基于皮膚電信號與文本信息的雙模態(tài)情感識別系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2018年11期

8 吳琨;王漢友;;情感化設(shè)計(jì)與品牌情感識別[J];時代人物;2008年11期

9 余梓彤;李曉白;趙國英;;情感識別與教育[J];人工智能;2019年03期

10 劉曉東;王淼;李松陽;;一種基于行為上下文的視頻情感識別方法[J];微電子學(xué)與計(jì)算機(jī);2019年05期

相關(guān)博士學(xué)位論文 前10條

1 張桐;基于時空神經(jīng)網(wǎng)絡(luò)的動態(tài)情感識別研究[D];東南大學(xué);2018年

2 許峰;基于深度學(xué)習(xí)的網(wǎng)絡(luò)輿情識別研究[D];北京郵電大學(xué);2019年

3 魏薇;基于加權(quán)融合策略的情感識別建模方法研究[D];北京郵電大學(xué);2019年

4 李超;多模態(tài)生理信號情感識別研究[D];天津大學(xué);2017年

5 林奕琳;基于語音信號的情感識別研究[D];華南理工大學(xué);2006年

6 程靜;基本情感生理信號的非線性特征提取研究[D];西南大學(xué);2015年

7 劉英杰;網(wǎng)絡(luò)輿情的信息情感維度空間構(gòu)建和信息情感元識別研究[D];吉林大學(xué);2017年

8 朱亞忱;基于特權(quán)信息的情感識別[D];中國科學(xué)技術(shù)大學(xué);2015年

9 王金偉;基于表情時空特征的認(rèn)知情感狀態(tài)識別研究[D];天津大學(xué);2014年

10 張石清;基于語音和人臉的情感識別研究[D];電子科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 吳瑩;多生理信號的情感識別研究[D];哈爾濱工業(yè)大學(xué);2019年

2 張京儒;基于深度學(xué)習(xí)和腦機(jī)接口的服務(wù)機(jī)器人情感識別方法研究[D];華南理工大學(xué);2019年

3 郭迪;基于深度學(xué)習(xí)的表情和姿態(tài)雙模態(tài)情感識別[D];南京郵電大學(xué);2019年

4 謝橋;基于多尺度分析和集成樹模型的腦電情感識別方法研究及系統(tǒng)設(shè)計(jì)[D];中國地質(zhì)大學(xué);2019年

5 張力行;基于皮膚電信號與文本信息的雙模態(tài)情感識別方法研究[D];南京郵電大學(xué);2019年

6 張戈;多模態(tài)連續(xù)維度情感識別研究[D];西安電子科技大學(xué);2019年

7 趙佳文;基于生理信號的情感識別融合技術(shù)研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2019年

8 楊子文;基于兩層遷移卷積神經(jīng)網(wǎng)絡(luò)的抽象圖像情感識別[D];南京郵電大學(xué);2019年

9 郭金良;基于稀疏組lasso-granger因果關(guān)系特征的EEG情感識別[D];合肥工業(yè)大學(xué);2019年

10 鞠思航;基于腦電和生理信號的多模態(tài)情感分類方法研究[D];合肥工業(yè)大學(xué);2019年

本文編號：2840786