本文關(guān)鍵詞：基于多模態(tài)融合的音樂(lè)情感分類方法研究

  更多相關(guān)文章： 音樂(lè)情感分類 多模態(tài) 圖學(xué)習(xí) Hough森林 隱式空間

【摘要】：隨著信息技術(shù)的飛速發(fā)展,海量的音樂(lè)數(shù)據(jù)涌現(xiàn)在互聯(lián)網(wǎng)中。如何有效地對(duì)這些音樂(lè)數(shù)據(jù)進(jìn)行組織與檢索吸引了越來(lái)越多來(lái)白不同領(lǐng)域研究者的關(guān)注。作為音樂(lè)檢索的一個(gè)重要手段,基于音樂(lè)的情感屬性對(duì)音樂(lè)進(jìn)行分類可有效提高音樂(lè)檢索的精度和效率,但同時(shí)也面臨著諸多技術(shù)挑戰(zhàn)。音樂(lè)數(shù)據(jù)通常由音頻信號(hào)與歌詞文本兩種模態(tài)所組成,傳統(tǒng)的音樂(lè)情感分類方法多數(shù)側(cè)重于對(duì)單一模態(tài)數(shù)據(jù)的分析,由于單模態(tài)數(shù)據(jù)中所包含語(yǔ)義信息的局限性,使得其往往無(wú)法完全表達(dá)音樂(lè)中蘊(yùn)含的情感信息,因此研究有效的方法挖掘和利用音樂(lè)中多種模態(tài)數(shù)據(jù)間相關(guān)性與互補(bǔ)性,對(duì)提高現(xiàn)有音樂(lè)情感分類方法的性能具有十分重要的意義。本文以融合多種模態(tài)數(shù)據(jù)的音樂(lè)情感分類方法為具體研究對(duì)象,探索綜合利用多種模態(tài)音樂(lè)數(shù)據(jù)中包含的相關(guān)情感信息以有效提高情感分類的準(zhǔn)確率。不同于以往基于文檔級(jí)音樂(lè)表示的多模態(tài)音樂(lè)情感分類方法,本文提出了句子層次的音樂(lè)特征表示機(jī)制以從更細(xì)粒度精確刻畫其情感屬性,并且提出了基于區(qū)分度排序與同義詞擴(kuò)展的音樂(lè)文本預(yù)處理方法以提高音樂(lè)文本數(shù)據(jù)的情感類別區(qū)分能力。另一方面,為消除不同模態(tài)數(shù)據(jù)間的異構(gòu)性以實(shí)現(xiàn)更加有效的融合,本文提出了針對(duì)音樂(lè)情感分類的多模態(tài)Locality Preserving Projection算法,將音頻與歌詞模態(tài)數(shù)據(jù)映射到更具情感分類能力的公共隱式特征空間中。在其基礎(chǔ)上,本文進(jìn)一步提出了基于多模態(tài)投票的Hough森林音樂(lè)情感分類方法,利用不同模態(tài)的音樂(lè)數(shù)據(jù)在時(shí)間上的相關(guān)性提升了音樂(lè)情感分類的準(zhǔn)確率。另一方面,本文提出了基于多模態(tài)K近鄰與圖學(xué)習(xí)的音樂(lè)情感分類方法,基于不同模態(tài)特征在隱式空間中的相似度實(shí)現(xiàn)情感標(biāo)簽的有效傳播,充分利用了不同模態(tài)音樂(lè)數(shù)據(jù)之間的相關(guān)性和互補(bǔ)性,提高了音樂(lè)情感分類的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,本文提出的方法有效融合了不同模態(tài)音樂(lè)數(shù)據(jù)中的情感信息,有效提升了音樂(lè)情感分類的精度。
【關(guān)鍵詞】：音樂(lè)情感分類 多模態(tài) 圖學(xué)習(xí) Hough森林 隱式空間
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.1
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-16
• 1.1 研究背景、現(xiàn)狀和意義11-12
• 1.2 本文工作12-14
• 1.3 文章結(jié)構(gòu)14-16
• 第二章 多模態(tài)問(wèn)題與情感分析相關(guān)研究16-23
• 2.1 多模態(tài)問(wèn)題研究現(xiàn)狀16-19
• 2.1.1 跨模態(tài)統(tǒng)一表示16-17
• 2.1.2 多模態(tài)融合分析17-19
• 2.2 情感分析研究現(xiàn)狀19-23
• 2.2.1 基于音頻的音樂(lè)情感分類19-20
• 2.2.2 基于文本的情感分類20-21
• 2.2.3 多模態(tài)音樂(lè)情感分類21-22
• 2.2.4 多模態(tài)微博數(shù)據(jù)情感分類22-23
• 第三章 多模態(tài)音樂(lè)特征表示23-40
• 3.1 引言23-25
• 3.2 歌詞文本特征表示25-32
• 3.2.1 基于TF-IDF的詞袋模型特征25-26
• 3.2.2 單詞的分布式表示26-28
• 3.2.3 半監(jiān)督的遞歸式Autoencoder28-30
• 3.2.4 基于情感區(qū)分度與稀疏情感詞擴(kuò)展的文本預(yù)處理方法30-32
• 3.3 音頻特征表示32-35
• 3.4 融合音頻與文本模態(tài)的音樂(lè)隱式空間表示35-38
• 3.5 本章小結(jié)38-40
• 第四章 多模態(tài)音樂(lè)情感分類方法40-52
• 4.1 引言40-41
• 4.2 傳統(tǒng)多模態(tài)情感分類方法41
• 4.3 基于多模態(tài)的Hough森林的音樂(lè)情感分類方法41-46
• 4.3.1 針對(duì)句子層次音樂(lè)表示的Hough森林分類模型42-43
• 4.3.2 基于特征融合的多模態(tài)Hough投票機(jī)制43-44
• 4.3.3 基于模型融合的多模態(tài)Hough投票機(jī)制44-46
• 4.4 基于多模態(tài)K近鄰與圖學(xué)習(xí)的音樂(lè)情感分類方法46-50
• 4.4.1 多模態(tài)音樂(lè)數(shù)據(jù)的圖模型表示46-48
• 4.4.2 基于K近鄰的圖學(xué)習(xí)算法48-49
• 4.4.3 基于多模態(tài)K近鄰與圖學(xué)習(xí)的音樂(lè)情感類別預(yù)測(cè)49-50
• 4.5 本章小結(jié)50-52
• 第五章 實(shí)驗(yàn)結(jié)果與分析52-65
• 5.1 實(shí)驗(yàn)數(shù)據(jù)集52-54
• 5.1.1 實(shí)驗(yàn)數(shù)據(jù)收集52-53
• 5.1.2 數(shù)據(jù)集組成53-54
• 5.2 歌詞預(yù)處理有效性評(píng)估54-56
• 5.3 音樂(lè)多模態(tài)隱式空間表示評(píng)估56-59
• 5.4 基于多模態(tài)Hough森林的音樂(lè)情感分類方法評(píng)估59-60
• 5.5 基于多模態(tài)K近鄰與圖學(xué)習(xí)的情感分類方法評(píng)估60-63
• 5.6 相關(guān)方法比較63-64
• 5.7 本章小結(jié)64-65
• 第六章 總結(jié)與展望65-67
• 6.1 論文工作總結(jié)65
• 6.2 未來(lái)展望65-67
• 參考文獻(xiàn)67-73
• 簡(jiǎn)歷與科研成果73-74
• 致謝74-75

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 彭建武;于曉燕;齊偉;;圖書館中的多模態(tài)應(yīng)用[J];圖書館界;2011年01期

2 保羅·范登侯汶;楊穎;;多模態(tài)論辯話語(yǔ)重構(gòu):以美國(guó)廣播公司一則新聞為例[J];國(guó)際新聞界;2013年04期

3 王學(xué)東;胡宋敏;謝輝;丁帥;曹高輝;;多模態(tài)網(wǎng)絡(luò)主題資源聚合與實(shí)證研究[J];情報(bào)科學(xué);2014年07期

4 胡壯麟;;談多模態(tài)小品中的主體模態(tài)[J];符號(hào)與傳媒;2011年01期

5 張薇;徐筱秋;;基于云教育平臺(tái)的多模態(tài)輸入優(yōu)化模型建構(gòu)[J];校園英語(yǔ)(教研版);2012年05期

6 郭志斌;;網(wǎng)絡(luò)環(huán)境下的新聞聽力多模態(tài)教學(xué)模式[J];新聞愛(ài)好者;2010年14期

7 ;《媽祖文化的多模態(tài)語(yǔ)篇研究》簡(jiǎn)介[J];莆田學(xué)院學(xué)報(bào);2011年01期

8 王瑜;穆志純;徐正光;;多模態(tài)生物特征識(shí)別技術(shù)進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2009年02期

9 胡阿旭;陳貴萍;于洪志;;多模態(tài)語(yǔ)音實(shí)驗(yàn)室在語(yǔ)言研究中的應(yīng)用[J];西北民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

10 黃戎;肖超;;多模態(tài)策略在復(fù)雜控制過(guò)程中的應(yīng)用(英文)[J];機(jī)床與液壓;2012年24期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 王愛(ài)東;谷珍;楊燕平;白鶴;;多媒體多模態(tài)教學(xué)在民辦高校大學(xué)英語(yǔ)教學(xué)中的適用性及效果研究[A];語(yǔ)言與文化研究（第十四輯）[C];2014年

2 張霄軍;;多模態(tài)語(yǔ)料庫(kù):搶救瀕危語(yǔ)言的有效途徑[A];民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

3 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標(biāo)注方法與實(shí)現(xiàn)[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2005）論文集[C];2005年

4 趙賢;;多模態(tài)基底系統(tǒng)性質(zhì)研究[A];2010年全國(guó)應(yīng)用邏輯研討會(huì)會(huì)議論文集[C];2010年

5 張友安;胡云安;周紹磊;;Hammerstein系統(tǒng)的多模態(tài)模型及其兩步辨識(shí)法[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

6 鐘若飛;郭華東;王為民;朱博勤;;SZ-4多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)處理與應(yīng)用評(píng)價(jià)研究[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

7 康志峰;;口譯中多模態(tài)的AA研究[A];第十四屆全國(guó)科技翻譯研討會(huì)論文匯編[C];2011年

8 黃俊輝;李文政;李學(xué)軍;;基于多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)的計(jì)算機(jī)輔助醫(yī)療設(shè)計(jì)與腫瘤精確治療[A];中國(guó)腫瘤內(nèi)科進(jìn)展 中國(guó)腫瘤醫(yī)師教育（2014）[C];2014年

9 孟祥亮;史元春;楊欣;;基于分層原語(yǔ)的多模態(tài)輸入統(tǒng)一訪問(wèn)接口[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2008年

10 郭華東;王為民;朱博勤;;多模態(tài)傳感器輻射模態(tài)數(shù)據(jù)在SZ-4飛船模擬驗(yàn)證研究[A];全國(guó)國(guó)土資源與環(huán)境遙感技術(shù)應(yīng)用交流會(huì)論文文集[C];2004年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 記者 劉垠;在分子水平上認(rèn)識(shí)疾病[N];大眾科技報(bào);2009年

2 羅綿衛(wèi) 王建成;中國(guó)航天科工高分專項(xiàng)實(shí)現(xiàn)零突破[N];中國(guó)航天報(bào);2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 高靜;信息物理融合系統(tǒng)中基于多模態(tài)數(shù)據(jù)的事件監(jiān)測(cè)問(wèn)題研究[D];哈爾濱工業(yè)大學(xué);2015年

2 侯濤;多信息融合濾波的多模態(tài)智能控制在高速列車速度控制中的研究[D];蘭州交通大學(xué);2015年

3 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

4 劉鵬;慢性傷口光學(xué)仿體的多尺度多模態(tài)醫(yī)學(xué)影像技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

5 張征;英語(yǔ)課堂多模態(tài)讀寫能力實(shí)證研究[D];山東大學(xué);2011年

6 李寶磊;多元優(yōu)化過(guò)程記憶算法及動(dòng)靜條件下多模態(tài)尋優(yōu)研究[D];云南大學(xué);2015年

7 潘鳴威;多模態(tài)視角下的口語(yǔ)交際能力：重構(gòu)與探究[D];上海外國(guó)語(yǔ)大學(xué);2011年

8 逯波;多模態(tài)媒體信息檢索技術(shù)研究[D];東北大學(xué);2013年

9 譚帥;多模態(tài)過(guò)程統(tǒng)計(jì)建模及在線監(jiān)測(cè)方法研究[D];東北大學(xué);2012年

10 王洋;多模態(tài)圖像檢索技術(shù)[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 蔣迪;計(jì)劃生育宣傳畫的多模態(tài)語(yǔ)篇分析[D];天津商業(yè)大學(xué);2015年

2 宋康利;概念整合理論視角下平面廣告中的多模態(tài)隱喻研究[D];湖南工業(yè)大學(xué);2015年

3 仲麗娜;譯林版初中英語(yǔ)教材的多模態(tài)語(yǔ)篇分析[D];揚(yáng)州大學(xué);2015年

4 歐陽(yáng)素珍;多模態(tài)輸入對(duì)英語(yǔ)專業(yè)學(xué)生聽力理解影響的實(shí)證研究[D];湖南師范大學(xué);2015年

5 鄧林霞;多模態(tài)話語(yǔ)分析理論下的初中英語(yǔ)語(yǔ)法教學(xué)實(shí)證研究[D];湖南師范大學(xué);2015年

6 劉丹彤;基于多模態(tài)隱喻理論的家用空氣凈化器設(shè)計(jì)研究[D];華東理工大學(xué);2015年

7 鐘帆;平面環(huán)保公益廣告的多模態(tài)隱喻研究[D];北京林業(yè)大學(xué);2016年

8 郭浩東;普適計(jì)算環(huán)境下多模態(tài)信息融合的活動(dòng)識(shí)別研究[D];浙江大學(xué);2016年

9 張瀚之;基于多模態(tài)特征的人體運(yùn)動(dòng)識(shí)別系統(tǒng)[D];浙江大學(xué);2016年

10 馬林涓;《今日中國(guó)》封面構(gòu)圖意義的多模態(tài)語(yǔ)篇分析[D];西南民族大學(xué);2015年

，

本文編號(hào)：1068150