情感識別在人機交互中具有重要意義。一般來說,人的情感主要通過面部表情、姿態(tài)表情和言語表情表現(xiàn)。而語音作為人類表達自身的最重要的通道之一,能夠有效的表達情感,已被成功用于情感的自動識別中。然而,語音只是情感表達的一種方式,并未包含全部的情感信息,文本信息也能傳遞說話人的情感。因此,多模態(tài)特征融合的情感識別是一個重要的研究方向。本研究的研究目標是使用語音與文本特征融合的方式,來提高情感識別的準確率。基于此目標設(shè)計了如下實驗:首先,對語音數(shù)據(jù)進行預(yù)處理,通過提取低層次聲學特征,在低層次聲學特征上應(yīng)用了各種統(tǒng)計函數(shù)構(gòu)建全局聲學特征,并將其用于語音情感識別。用語音訓練的識別模型作為基線系統(tǒng)與后續(xù)的識別模型進行比較。其次,對文本語句進行預(yù)處理,提取不同特征的提取,共生成3類特征,分別為詞袋特征、詞向量和句向量,用于文本情感識別,選擇三類特征中識別準確率最高的文本特征用于后續(xù)與語音特征融合。最后,將語音與表現(xiàn)最好的文本特征進行特征融合進行情感識別,比較它們在IEMOCAP數(shù)據(jù)集上情感識別的性能。在特征融合時,采用了兩種特征融合方式,分別為特征層融合和決策層融合。最終,本研究根據(jù)語音與文本特征融合后的... 

【文章來源】：南京師范大學江蘇省 211工程院校

【文章頁數(shù)】：60 頁

【學位級別】：碩士

【部分圖文】：

圖３．３加窗??

存儲歷史信息，門是一種讓信息選擇式通過的方法。它們包括一個ｓｉｇｍｏｉｄ神經(jīng)??網(wǎng)絡(luò)層和一個ｐｏｉｎｔｗｉｓｅ乘法運算。Ｓｉｇｍｏｉｄ層的輸出是０－１之間的數(shù)值，決定著??每一個部分有多少量可以通過。ＬＳＴＭ的結(jié)構(gòu)如圖３．４所示。??ＬＳＴＭ通過三個門結(jié)構(gòu)來實現(xiàn)信息的保護和控制。這三個門分別輸入門、遺??忘門和輸出門。??遺忘門決定丟棄前一個記憶單元中的某些信息，讀�。瑁撸簦欤停撸�，并每個??在細胞狀態(tài)Ｃ＿｛Ｍ｝中輸出一個在０到１之間的值。１表示“全部保留”，０表示??“全部舍棄”。??ｆｔ?＝?ａｉＷ＾ｌｈ＾．Ｘｔｊ?＋?ｂｆ）??其中Ｚｉｔｑ表示的是上一個ｃｅｌｌ的輸出，表示的是當前細胞的輸入。＜Ｔ表示ｓｉｇｍｏｄ??函數(shù)。??輸入門決定在單元狀態(tài)屮存儲什么樣的新信息。這包括兩個部分。首先是??２３??

【參考文獻】：
期刊論文
[1]文本情緒分析綜述[J]. 李然,林政,林海倫,王偉平,孟丹.  計算機研究與發(fā)展. 2018(01)
[2]基于語音信號與文本信息的雙模態(tài)情感識別[J]. 陳鵬展,張欣,徐芳萍.  華東交通大學學報. 2017(02)
[3]結(jié)合全局詞向量特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[J]. 李華,屈丹,張文林,王炳錫,梁玉龍.  信號處理. 2016(06)
[4]人機交互中的語音情感識別研究進展[J]. 張石清,李樂民,趙知勁.  電路與系統(tǒng)學報. 2013(02)
[5]基于樣本熵與MFCC融合的語音情感識別[J]. 屠彬彬,于鳳芹.  計算機工程. 2012(07)
[6]一種基于HMM和ANN的語音情感識別分類器[J]. 羅毅.  微計算機信息. 2007(34)



本文編號：3577118