發(fā)布時間：2021-08-11 09:55

　　隨著5G商用的加速落地,微博、抖音等應(yīng)用迅猛發(fā)展,網(wǎng)絡(luò)上產(chǎn)生了大量的由用戶生成的帶有文本內(nèi)容的短視頻。通過分析這些文本內(nèi)容和短視頻,可以了解廣大用戶對社會事件、人物、產(chǎn)品的看法以及輿論演化趨勢,因此,多模態(tài)的情感分析已成為當(dāng)前一個非常熱門的研究課題。然而,從網(wǎng)絡(luò)直接獲取的數(shù)據(jù)過于冗余和繁雜,不能直接應(yīng)用在實(shí)際研究中,在實(shí)際研究當(dāng)中可用的數(shù)據(jù)集還是比較缺乏的,并且文本和視頻內(nèi)容是獨(dú)立存在,在進(jìn)行情感分析的研究時不能對視頻和本文有效地融合。針對上述問題,本文提出了如下工作:（1）針對短視頻情感分析數(shù)據(jù)樣本數(shù)量缺乏的問題,提出一種基于小樣本學(xué)習(xí)的短視頻情感分析方法。首先將數(shù)據(jù)集分為支撐集和查詢集;然后分別對數(shù)據(jù)集進(jìn)行視覺特征提取;再將支撐集樣本提取的特征和查詢集樣本提取的特征進(jìn)行拼接后通過度量模塊計(jì)算查詢集樣本和支撐集樣本之間的相似性;最后利用分類器預(yù)測查詢集樣本的類別。（2）針對數(shù)據(jù)集中存在多種模態(tài)的問題,提出一種文本、短視頻的情感分析方法。在文本模態(tài)上,首先使用分詞工具對文本模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理,然后使用詞嵌入工具獲得文字對應(yīng)的詞向量,將得到的詞向量利用注意力機(jī)制的LSTM網(wǎng)絡(luò)提取文本信息... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

文本情感分類框架

砘?窬??繆萇?齙耐?紜?普通的2D卷積神經(jīng)網(wǎng)絡(luò)只能提取單幀靜態(tài)圖像的靜態(tài)特征，而對于視頻特征的提取，3D卷積神經(jīng)網(wǎng)絡(luò)具有更好的檢測效果，3D卷積神經(jīng)網(wǎng)絡(luò)與應(yīng)用于圖像識別領(lǐng)域的傳統(tǒng)2D卷積神經(jīng)網(wǎng)絡(luò)不同的是它不僅可以提取視頻中的空間維信息，而且還能夠提取時間維上的信息。如圖2.3所示，當(dāng)使用2D卷積對圖像進(jìn)行處理時，其輸入無論是圖2.3（a）中的單張圖像還是圖2.4（b）中的多張圖像，輸出都是一張?zhí)卣鲌D；但是通過3D卷積運(yùn)算后的輸出為圖2.4（c）所示的三維特征圖，這就保存了輸入短視頻中幀與幀之間的時間維信息。圖2.32D卷積與3D卷積運(yùn)算基于3D卷積特征提取器通過構(gòu)造一個3D卷積神經(jīng)網(wǎng)絡(luò)，通過將選取的固定數(shù)量的關(guān)鍵幀圖像與3D卷積核進(jìn)行卷積，最終的特征表示如公式（2.5）表示，則第i層的第j個特征圖位置（x,y,z）處的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb為第i層第j個特征圖的偏置量，m表示在第i1層中與第i層第j張?zhí)卣鲌D相連的特征圖數(shù)量，pqrijm表示卷積核連接前一層的第m張?zhí)卣鲌D上坐標(biāo)點(diǎn)為（,,rqp）相關(guān)聯(lián)的卷積核的值，iii,,RQP分別表示卷積核在空間以及時間維度上卷積核尺寸的大校同時，3D卷積在同一層是共享卷積核的權(quán)值。VGG-16網(wǎng)絡(luò)通過大量的實(shí)驗(yàn)驗(yàn)證，卷積核在選取33的尺寸時能夠取得最好的識別效果，借鑒VGG-16網(wǎng)絡(luò)，所以在3D卷積操作中一般也采用大小為333的3D卷積核用于實(shí)驗(yàn)。C3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖2.4所示，該網(wǎng)絡(luò)具有

砘?窬??繆萇?齙耐?紜?普通的2D卷積神經(jīng)網(wǎng)絡(luò)只能提取單幀靜態(tài)圖像的靜態(tài)特征，而對于視頻特征的提取，3D卷積神經(jīng)網(wǎng)絡(luò)具有更好的檢測效果，3D卷積神經(jīng)網(wǎng)絡(luò)與應(yīng)用于圖像識別領(lǐng)域的傳統(tǒng)2D卷積神經(jīng)網(wǎng)絡(luò)不同的是它不僅可以提取視頻中的空間維信息，而且還能夠提取時間維上的信息。如圖2.3所示，當(dāng)使用2D卷積對圖像進(jìn)行處理時，其輸入無論是圖2.3（a）中的單張圖像還是圖2.4（b）中的多張圖像，輸出都是一張?zhí)卣鲌D；但是通過3D卷積運(yùn)算后的輸出為圖2.4（c）所示的三維特征圖，這就保存了輸入短視頻中幀與幀之間的時間維信息。圖2.32D卷積與3D卷積運(yùn)算基于3D卷積特征提取器通過構(gòu)造一個3D卷積神經(jīng)網(wǎng)絡(luò)，通過將選取的固定數(shù)量的關(guān)鍵幀圖像與3D卷積核進(jìn)行卷積，最終的特征表示如公式（2.5）表示，則第i層的第j個特征圖位置（x,y,z）處的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb為第i層第j個特征圖的偏置量，m表示在第i1層中與第i層第j張?zhí)卣鲌D相連的特征圖數(shù)量，pqrijm表示卷積核連接前一層的第m張?zhí)卣鲌D上坐標(biāo)點(diǎn)為（,,rqp）相關(guān)聯(lián)的卷積核的值，iii,,RQP分別表示卷積核在空間以及時間維度上卷積核尺寸的大校同時，3D卷積在同一層是共享卷積核的權(quán)值。VGG-16網(wǎng)絡(luò)通過大量的實(shí)驗(yàn)驗(yàn)證，卷積核在選取33的尺寸時能夠取得最好的識別效果，借鑒VGG-16網(wǎng)絡(luò)，所以在3D卷積操作中一般也采用大小為333的3D卷積核用于實(shí)驗(yàn)。C3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖2.4所示，該網(wǎng)絡(luò)具有

【參考文獻(xiàn)】：
期刊論文
[1]人工智能在計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)中的應(yīng)用[J]. 陳琨天.  電子技術(shù)與軟件工程. 2019(24)
[2]視頻關(guān)鍵幀提取方法分類研究[J]. 文輝,林華.  蘭州工業(yè)學(xué)院學(xué)報(bào). 2017(03)
[3]單詞嵌入——自然語言的連續(xù)空間表示[J]. 陳恩紅,邱思語,許暢,田飛,劉鐵巖.  數(shù)據(jù)采集與處理. 2014(01)
[4]基于漢語情感詞表的句子情感傾向分類研究[J]. 王素格,楊安娜,李德玉.  計(jì)算機(jī)工程與應(yīng)用. 2009(24)
[5]情感計(jì)算研究進(jìn)展與展望——本期主題專欄“情感計(jì)算進(jìn)展”序[J]. 陶霖密.  中國圖象圖形學(xué)報(bào). 2009(05)
[6]情感可以計(jì)算——情感計(jì)算綜述[J]. 張迎輝,林學(xué)誾.  計(jì)算機(jī)科學(xué). 2008(05)
[7]基于投票機(jī)制的融合聚類算法[J]. 蔣盛益.  小型微型計(jì)算機(jī)系統(tǒng). 2007(02)
[8]基于HowNet的詞匯語義傾向計(jì)算[J]. 朱嫣嵐,閔錦,周雅倩,黃萱菁,吳立德.  中文信息學(xué)報(bào). 2006(01)

碩士論文
[1]融合視覺和文本的短標(biāo)注視頻情感分析研究[D]. 萬俊偉.南京郵電大學(xué) 2019
[2]基于元學(xué)習(xí)的少樣本圖像分類方法研究[D]. 田霞.電子科技大學(xué) 2019
[3]基于圖像分析的網(wǎng)絡(luò)視頻彈幕的情感分類研究與應(yīng)用[D]. 王曉艷.北京郵電大學(xué) 2018
[4]數(shù)據(jù)層和決策層的信息融合算法研究及應(yīng)用[D]. 梁彩云.吉林大學(xué) 2007



本文編號：3335951