大腦在進行情感識別時主要有三個特性:時序性、變化性、多模態(tài)。本文從這三個特性著手,從語音和表情幀序列中提取隨時間變化的情感特征,并進行融合。然后構建基于語音和表情圖像的多模態(tài)情感識別系統(tǒng)。借鑒人類視聽覺感知系統(tǒng)信息處理機制,使計算機進行的情感識別更加接近于人腦對信息的處理方式,從而獲得更加快速高效的識別性能。研究內容如下:針對語音,提出了一種基于Mel尺度小波包分解的子帶能量特征。使用小波包函數(shù)代替Mel濾波器組,按照Mel尺度的帶寬分解語音信號,然后對各子帶信號提取能量特征。這樣既保留了人耳聽覺特性又解決Mel濾波器抗噪性弱的問題。分幀提取的情感特征僅能反應出單幀語音的靜態(tài)信息,無法體現(xiàn)出連續(xù)變化的特征。為了使特征更好的體現(xiàn)時域連續(xù)性,提出一種基于一階差分的動態(tài)語音情感特征,并將靜態(tài)的聲學特征與動態(tài)差分特征相結合,提高識別率。根據(jù)視覺感知系統(tǒng)信息處理機制,提出了兩種基于動態(tài)序列的表情特征提取方案,第一種方案首先進行特征點標定,采用DMF_MeanShift算法對眉毛、眼睛、鼻子、嘴、下巴等表情關鍵部位進行精確定位,減少不必要的信息干擾。然后對特征點進行光流計算,得... 

【文章來源】：天津理工大學天津市

【文章頁數(shù)】：53 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 情感的定義與表示
    1.3 國內外研究現(xiàn)狀
        1.3.1 表情識別研究現(xiàn)狀
        1.3.2 語音情感識別研究現(xiàn)狀
        1.3.3 視聽覺結合的多模態(tài)情感識別研究現(xiàn)狀
    1.4 主要研究內容及結構安排
        1.4.1 主要研究內容
        1.4.2 結構安排
第二章 視聽覺感知系統(tǒng)
    2.1 與情感有關的特征及其變化性分析
        2.1.1 聲音中的情感特征
        2.1.2 人臉表情中的情感特征
    2.2 視聽覺情感信息融合與時序性分析
    2.3 大腦對情感信息的處理
        2.3.1 信息的分層傳遞與處理
        2.3.2 神經(jīng)元的記憶與反饋
    2.4 本章小結
第三章 基于人耳聽覺機理的語音情感識別
    3.1 Mel頻率倒譜系數(shù)
    3.2 基于Mel尺度小波包分解的子帶能量
        3.2.1 小波包變換
        3.2.2 基于Mel尺度小波包子帶能量
    3.3 一階差分動態(tài)特征
    3.4 實驗與分析
        3.4.1 單一特征識別性能
        3.4.2 分類方法比較
    3.5 本章小結
第四章 模擬視覺感知的動態(tài)表情識別
    4.1 基于DMF_MeanShift的表情特征點提取
    4.2 光流運動特征計算
    4.3 基于“what”通路的表情特征提取
        4.3.1 局部不變性特征
        4.3.2 全局不變性特征
    4.4 基于改進循環(huán)神經(jīng)網(wǎng)絡的動態(tài)表情識別
        4.4.1 動態(tài)特征提取方案設計
        4.4.2 循環(huán)神經(jīng)網(wǎng)絡分類器設計
    4.5 實驗與分析
        4.5.1 特征點標定實驗
        4.5.2 表情識別結果
    4.6 本章小結
第五章 表情和語音相融合的多模態(tài)情感識別
    5.1 循環(huán)神經(jīng)網(wǎng)絡
        5.1.1 RNN基本結構
        5.1.2 前向傳播
        5.1.3 BPTT訓練
    5.2 聯(lián)合視聽覺信息的情感識別方法
        5.2.1 決策層融合
        5.2.2 特征層融合
    5.3 實驗與分析
        5.3.1 表情語音感數(shù)據(jù)庫
        5.3.2 單模態(tài)情感識別實驗
        5.3.3 多模態(tài)情感識別實驗
    5.4 本章小結
第六章 總結與展望
    6.1 全文總結
    6.2 展望
參考文獻
發(fā)表論文和科研情況說明
致謝


【參考文獻】：
期刊論文
[1]基于語音特征的情感分類[J]. 李強,劉曉峰,賀靜.  小型微型計算機系統(tǒng). 2016(02)
[2]基于融合DCT和LBP特征提取的面部表情識別[J]. 羅元,崔葉,王艷,張毅.  半導體光電. 2014(02)
[3]人類早期視皮層對邊緣所有權的選擇性以及注意的調節(jié)作用[J]. 方方,Huseyin Boyaci,Daniel Kersten.  中國基礎科學. 2009(04)
[4]語音信號中的情感特征分析和識別的研究[J]. 趙力,將春輝,鄒采榮,吳鎮(zhèn)揚.  電子學報. 2004(04)
[5]基于Agent的人機情感交互系統(tǒng)研究[J]. 薛為民,石志國,谷學靜,王志良.  計算機工程與應用. 2002(19)

博士論文
[1]基于表情認知的服務機器人情感計算研究[D]. 劉欣.北京科技大學 2015
[2]語音情感識別的關鍵技術研究[D]. 尤鳴宇.浙江大學 2007
[3]基于語音信號的情感識別研究[D]. 林奕琳.華南理工大學 2006

碩士論文
[1]基于多級分類的語音情感識別[D]. 任浩.哈爾濱工業(yè)大學 2016
[2]基于特征融合的語音情感識別方法的研究[D]. 巨曉正.東南大學 2016
[3]基于表情識別的兒童情緒能力評測系統(tǒng)[D]. 胡建國.東南大學 2015
[4]語音情感計算的研究及應用[D]. 孫黌杰.浙江工業(yè)大學 2007



本文編號：3632765