【摘要】：在人們的日常交互中,情感往往扮演著非常重要的角色,它不僅豐富了表達(dá)者的表達(dá)方式,而且有助于人們理解對方的狀態(tài)和行為。因此,對情感的分析和理解已經(jīng)成為了一個重要的研究課題。在情感的描述方面,維度情感描述模型由于將不同的情感狀態(tài)表示為由多個維度組成的情感空間中的不同的點,因此可以描述復(fù)雜、微妙且連續(xù)的情感狀態(tài)�，F(xiàn)階段,維度情感識別已經(jīng)受到了越來越多研究者的關(guān)注。在目前的維度情感識別研究中,用于對情感進行建模和預(yù)測的機器學(xué)習(xí)方法主要是分類和回歸。然而,維度情感的標(biāo)注通常是在一定范圍內(nèi)的連續(xù)的實數(shù)值,擁有有序?qū)傩?分類和回歸方法不能有效地利用該性質(zhì)。因此,為了恰當(dāng)?shù)乩镁S度情感標(biāo)簽的有序?qū)傩?提升維度情感識別表現(xiàn),本文研究基于排序的維度情感識別方法,具體的研究內(nèi)容如下:1)提出基于單樣本有序回歸的維度情感識別方法。該方法將情感等級預(yù)測問題轉(zhuǎn)化成一系列二值比較問題,基于此思想首次構(gòu)建了一個在Arousal-Valence維度情感空間的情感等級排序框架。在該框架中,首先將連續(xù)的維度情感標(biāo)簽離散化,形成數(shù)目有限的情感等級值。然后,訓(xùn)練一系列基本誤差敏感二分類器,每一個二分類器用于確定給定樣本的情感等級與該二分類器代表的情感等級的大小關(guān)系。所有二分類器訓(xùn)練完成后,在測試階段,給定的測試樣本被依次送到每個二分類器中進行分類,對所有二分類器輸出結(jié)果進行聚合,最終得到測試樣本的情感等級預(yù)測結(jié)果。在AVEC 2015標(biāo)準(zhǔn)數(shù)據(jù)庫和SEMAINE子集數(shù)據(jù)庫上的實驗結(jié)果證明了該方法在平均絕對值誤差和累計得分兩種評價指標(biāo)下優(yōu)于傳統(tǒng)和基于深度學(xué)習(xí)的分類和回歸方法。2)提出基于樣本對排序和深度學(xué)習(xí)的維度情感識別方法。該方法直接利用有序樣本對中包含的相對順序關(guān)系并結(jié)合深度學(xué)習(xí)強大的學(xué)習(xí)能力來學(xué)習(xí)得到一個表現(xiàn)良好的情感排序模型。在該方法中,首先提出并使用一種針對連續(xù)維度情感標(biāo)簽進行有序樣本對選取的方法,產(chǎn)生數(shù)量可控的樣本對訓(xùn)練集合。然后,構(gòu)建基于siamese網(wǎng)絡(luò)的情感排序模型。該模型有兩個權(quán)重共享的深度卷積神經(jīng)網(wǎng)絡(luò),完成從輸入到情感得分的轉(zhuǎn)換。在訓(xùn)練時,樣本對中的兩個樣本分別輸入到兩個網(wǎng)絡(luò)分支中,得到對應(yīng)的情感得分,根據(jù)情感得分的大小關(guān)系和樣本對標(biāo)簽計算排序誤差函數(shù)值,然后通過后向傳播算法優(yōu)化該排序模型。在測試階段,將測試樣本集依次輸入到該模型的一個分支中,得到每個樣本對應(yīng)的情感得分,根據(jù)該情感得分值對測試樣本集進行排序。在AVEC 2015標(biāo)準(zhǔn)數(shù)據(jù)庫和SEMAINE子集數(shù)據(jù)庫上的實驗結(jié)果表明該方法在情感排序任務(wù)上優(yōu)于傳統(tǒng)的樣本對排序及回歸方法和基于深度學(xué)習(xí)的回歸方法。3)設(shè)計并實現(xiàn)基于排序的維度情感識別原型系統(tǒng)。采用Matlab和C++混合編程技術(shù)實現(xiàn)了基于排序的維度情感識別原型系統(tǒng)。該系統(tǒng)主要包含基于單樣本有序回歸的維度情感識別模塊和基于樣本對排序和深度學(xué)習(xí)的維度情感排序模塊。通過原型系統(tǒng)的實現(xiàn)來證明本論文中所提方法的可用性和有效性。
【圖文】：

和防止訓(xùn)練過程中梯度消失和梯度爆炸的批次歸一zation, BN）[58]。另外還有大量研究表明，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)加往也會提升[59][60][61]。amese 網(wǎng)絡(luò)mese 網(wǎng)絡(luò)適用于解決度量樣本間相似性的問題，它含有兩個，每個網(wǎng)絡(luò)分支通常是一個卷積神經(jīng)網(wǎng)絡(luò)。Siamese 網(wǎng)絡(luò)接輸入，，將樣本對包含的兩個樣本分別送到兩個網(wǎng)絡(luò)分支中，非線性轉(zhuǎn)換，樣本從原始數(shù)據(jù)集的空間分布被映射轉(zhuǎn)換到一量的空間分布中，然后在轉(zhuǎn)換后的空間中計算兩個樣本之間兩個樣本的相似性大小，即二者是否屬于同一類。Siamese圖所示：

圖 4.1 基于樣本對排序和 siamese 網(wǎng)絡(luò)的維度情感排序模型示意圖假設(shè)選取的樣本對集合為 ， = { = ( , ; )| = 1,2, … , , }，其中一個樣本對 中包含了兩個人臉圖片樣本 和 和指示兩感標(biāo)簽間大小關(guān)系的樣本對標(biāo)簽 。當(dāng) = 1時，表示 > ， 被， 則被稱作負(fù)例；當(dāng) = 1時，表示 < ，此時 被稱作負(fù)例稱作正例。M 表示選取的總樣本對數(shù)，N 表示從一個標(biāo)簽區(qū)間選取的在訓(xùn)練時，一個樣本對中的兩張人臉圖片 和 分別輸入到網(wǎng)絡(luò)的兩，每個分支都是一個深度卷積神經(jīng)網(wǎng)絡(luò)，包含堆疊的卷積層、池化層以層，可以從原始圖片自動學(xué)習(xí)并提取出有用的特征。兩個分支在網(wǎng)絡(luò)結(jié)
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP18;O223

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡冬妮;王武軍;王青;;基于知網(wǎng)數(shù)據(jù)的情感識別國內(nèi)研究情況綜述[J];網(wǎng)絡(luò)新媒體技術(shù);2018年06期

2 韓志艷;王健;;基于模糊核聚類的多模式情感識別算法研究[J];電子設(shè)計工程;2016年20期

3 陳曉鷗;楊德順;;音樂情感識別研究進展[J];復(fù)旦學(xué)報(自然科學(xué)版);2017年02期

4 潘瑩;;情感識別綜述[J];電腦知識與技術(shù);2018年08期

5 李超;趙文萍;趙子平;;多視角判別分析的情感識別[J];信號處理;2018年08期

6 張力行;葉寧;黃海平;王汝傳;;基于皮膚電信號與文本信息的雙模態(tài)情感識別系統(tǒng)[J];計算機系統(tǒng)應(yīng)用;2018年11期

7 吳琨;王漢友;;情感化設(shè)計與品牌情感識別[J];時代人物;2008年11期

8 ;全球首個具有情感識別功能的家用機器人[J];傳感器世界;2014年06期

9 王曉華;侯登永;胡敏;任福繼;;復(fù)合時空特征的雙模態(tài)情感識別[J];中國圖象圖形學(xué)報;2017年01期

10 魏華珍;趙姝;陳潔;劉峰;;特征組合的中文音樂情感識別研究[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2014年06期

相關(guān)會議論文 前10條

1 毛峽;;從科學(xué)中感知美麗[A];2015年中國自動化大會摘要集[C];2015年

2 楊廣映;楊善曉;;基于表面肌電信號的情感識別研究[A];第三屆中國智能計算大會論文集[C];2009年

3 王志強;熊子?xùn)|;傅向華;;基于螺旋模型的歌曲情感識別算法研究[A];第七屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【oral】[C];2011年

4 張偉;謝湘;;基于HMM的音樂情感識別研究[A];第九屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2007年

5 黃力行;辛樂;趙禮悅;陶建華;;自適應(yīng)權(quán)重的雙模態(tài)情感識別[A];第九屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2007年

6 錢金法;趙力;;穿戴式生理參數(shù)測量儀研究及在兒童情感識別中的應(yīng)用[A];2006’和諧開發(fā)中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2006年

7 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識別[A];第十三屆全國人機語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

8 陳方方;孫耀挺;張龍;汪凱;;大學(xué)生自閉特質(zhì)與情緒感知的關(guān)系[A];華東六省一市第二十三次神經(jīng)病學(xué)學(xué)術(shù)會議暨2016年浙江省神經(jīng)病學(xué)學(xué)術(shù)年會論文匯編[C];2016年

9 張慶;盧家楣;;優(yōu)秀教師的情感識別能力的研究[A];第十七屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2014年

10 薛競騰;趙力;;語音信號中的情感特征識別[A];2007’促進西部發(fā)展聲學(xué)學(xué)術(shù)交流會論文集[C];2007年

相關(guān)重要報紙文章 前5條

1 品牌策劃人 林友清;品牌視覺是心智的入場券[N];華夏酒報;2017年

2 劉國信;人工智能成電視行業(yè)競爭新“賽道”[N];人民郵電;2017年

3 記者　邰舉;韓開發(fā)出腦電波情感識別技術(shù)[N];科技日報;2007年

4 黃力行邋陶建華;多模態(tài)情感識別參透人心[N];計算機世界;2007年

5 中國工業(yè)報記者 曹雅麗;辛國斌：加強國際合作 推動機器人產(chǎn)業(yè)高質(zhì)量發(fā)展[N];中國工業(yè)報;2018年

相關(guān)博士學(xué)位論文 前9條

1 李超;多模態(tài)生理信號情感識別研究[D];天津大學(xué);2017年

2 林奕琳;基于語音信號的情感識別研究[D];華南理工大學(xué);2006年

3 程靜;基本情感生理信號的非線性特征提取研究[D];西南大學(xué);2015年

4 劉英杰;網(wǎng)絡(luò)輿情的信息情感維度空間構(gòu)建和信息情感元識別研究[D];吉林大學(xué);2017年

5 朱亞忱;基于特權(quán)信息的情感識別[D];中國科學(xué)技術(shù)大學(xué);2015年

6 王金偉;基于表情時空特征的認(rèn)知情感狀態(tài)識別研究[D];天津大學(xué);2014年

7 張石清;基于語音和人臉的情感識別研究[D];電子科技大學(xué);2012年

8 韓文靜;語音情感識別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

9 劉智;課程評論的情感傾向識別與話題挖掘技術(shù)研究[D];華中師范大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 蘇創(chuàng)宏;語音和表情圖像特征融合的情感識別方法研究[D];暨南大學(xué);2018年

2 許國朋;基于排序的維度情感識別方法研究[D];江蘇大學(xué);2018年

3 路婷婷;基于語音和人臉表情的多模態(tài)情感識別算法研究[D];西北大學(xué);2018年

4 朱宗寶;面向老年人語音與面部表情的情感識別研究[D];安徽建筑大學(xué);2018年

5 吳浩鵬;雙模態(tài)信息融合的情感識別研究[D];內(nèi)蒙古工業(yè)大學(xué);2018年

6 李鐘;基于多生理信號的情感識別方法研究[D];河南大學(xué);2018年

7 潘瑞（PERRY FORDSON）;基于多模態(tài)人體數(shù)據(jù)情緒識別及特征學(xué)習(xí)方法研究[D];華南理工大學(xué);2018年

8 趙亮;基于腦電信號間Granger因果關(guān)系的情感識別[D];合肥工業(yè)大學(xué);2018年

9 陳占剛;基于深度神經(jīng)網(wǎng)絡(luò)的腦電情感識別研究[D];合肥工業(yè)大學(xué);2018年

10 李才隆;基于人體生理信號的情感識別研究[D];南京郵電大學(xué);2018年

本文編號：2636154