情感計算是一個新興的跨學(xué)科研究領(lǐng)域,匯集了人工智能,自然語言處理,認知科學(xué)和社會科學(xué)等不同領(lǐng)域的研究人員和實踐者。隨著在線發(fā)布的關(guān)于產(chǎn)品評論,電影評論,政治觀點等視頻的泛濫,網(wǎng)上多模態(tài)內(nèi)容的數(shù)量呈指數(shù)級增長,情感計算分析研究已經(jīng)從傳統(tǒng)的單模分析演變?yōu)楦鼜?fù)雜的多模態(tài)分析�，F(xiàn)有的情感分析大部分關(guān)注視頻中圖片的情感分類,忽視了圖片幀序列的時空信息以及文本和音頻信息。另一方面,現(xiàn)有的多核學(xué)習(xí)易忽略不具鑒別性的基本特征,不能充分利用不同模態(tài)的基特征。針對以上問題,本文進行了如下研究:1.本文提出了一種基于視覺信息的3DCLS（3D Conv-Long Short Term Memory）模型,通過三維卷積神經(jīng)網(wǎng)絡(luò)和卷積長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)的級聯(lián)組合來為視覺情感識別任務(wù)建立時空信息。對于視頻中的文本信息,通過卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)的級聯(lián)組合進行文本情感分類。對于音頻信息,利用openSMILE軟件提取相應(yīng)的特征,使用支持向量機對其情感進行分類預(yù)測。2.本文提出了一種基于間隔維度約束的多核學(xué)習(xí)（Margin Dimension Constrained Multiple Kernel ... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【部分圖文】：

不同內(nèi)核時間深度對比

圖 5.2 3DCLS 模型準確率實驗圖.3 顯示了使用不同算法對視覺信息進行情感分類的準確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進行實驗，準確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢越來越 卷積神經(jīng)網(wǎng)絡(luò)進行視覺情感分類實驗時，準確率達到 87.23%。結(jié)合能夠達到 92.12%的準確率。使用我們所提出的 3DCLS 模型到 95.25%，比單獨使用 C3D 準確率高。那是因為在 C3D 從輸特征后，卷積 LSTM 進一步學(xué)習(xí)長期的時空特征，同時能夠很的局部特征，從而達到更高的準確率。相比 CNN、RNN 網(wǎng)絡(luò)，使確率高 10%左右。

圖 5.2 3DCLS 模型準確率實驗圖.3 顯示了使用不同算法對視覺信息進行情感分類的準確率比較， 3DCLS 模型，在數(shù)據(jù)集 MOUD 上進行實驗，準確率優(yōu)于現(xiàn)有數(shù)的增加，3DCLS 模型與 C3D、CNN、RNN 相比，優(yōu)勢越來越 卷積神經(jīng)網(wǎng)絡(luò)進行視覺情感分類實驗時，準確率達到 87.23%。結(jié)合能夠達到 92.12%的準確率。使用我們所提出的 3DCLS 模型進到 95.25%，比單獨使用 C3D 準確率高。那是因為在 C3D 從輸特征后，卷積 LSTM 進一步學(xué)習(xí)長期的時空特征，同時能夠很的局部特征，從而達到更高的準確率。相比 CNN、RNN 網(wǎng)絡(luò)，使確率高 10%左右。

【參考文獻】：
期刊論文
[1]一種基于多特征融合的圖像檢索方法[J]. 孔凡輝,柏曉輝,竺如生.  哈爾濱商業(yè)大學(xué)學(xué)報(自然科學(xué)版). 2010(03)
[2]Zernike矩及它們的應(yīng)用[J]. 王耀明.  上海電機學(xué)院學(xué)報. 2008(01)
[3]情感建模與情感識別[J]. 張穎,羅森林.  計算機工程與應(yīng)用. 2003(33)
[4]圖像的情感語義研究進展[J]. 王偉凝,余英林.  電路與系統(tǒng)學(xué)報. 2003(05)

碩士論文
[1]基于主角和卷積神經(jīng)網(wǎng)絡(luò)的視頻情感內(nèi)容分析方法研究[D]. 江政波.深圳大學(xué) 2017
[2]基于驚奇模型與聲譜圖的音頻事件檢測與識別研究[D]. 程小雪.合肥工業(yè)大學(xué) 2015



本文編號：3305962