近年來,多媒體數(shù)據(jù)呈爆炸式增長且以不同形態(tài)呈現(xiàn)在互聯(lián)網(wǎng)中,多媒體數(shù)據(jù)的關(guān)聯(lián)分析和處理已成為重要研究課題。其中,跨模態(tài)檢索技術(shù)更是受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。與傳統(tǒng)單模態(tài)信息檢索技術(shù)不同,跨模態(tài)檢索通常使用任意模態(tài)的查詢數(shù)據(jù)檢索來自其它模態(tài)語義相關(guān)的實例。然而,不同模態(tài)數(shù)據(jù)通常存在于不同的特征空間且底層特征和高層語義之間難以關(guān)聯(lián),這就導(dǎo)致了跨模態(tài)檢索任務(wù)中的基本挑戰(zhàn):如何對齊底層“異構(gòu)表征”及橋接高層“語義鴻溝”。除此之外,在實際應(yīng)用中,多媒體數(shù)據(jù)往往呈現(xiàn)出多而雜的特性,這也衍生出一系列數(shù)據(jù)標(biāo)注困難、數(shù)據(jù)缺失及檢索效率低下等問題。因此本文在關(guān)注跨模態(tài)檢索技術(shù)中基本問題的同時,還在數(shù)據(jù)自動標(biāo)注、缺失數(shù)據(jù)補齊及檢索效率提升等方面進(jìn)行了相關(guān)研究。具體研究內(nèi)容概括如下:1、針對跨模態(tài)檢索中異構(gòu)表征及語義鴻溝問題,本文提出了一種基于多類別聯(lián)合子空間學(xué)習(xí)的跨模態(tài)檢索算法。鑒于現(xiàn)有跨模態(tài)檢索算法普遍忽略了不同類別的語義分布差異,本算法提出針對特定任務(wù)和特定類別學(xué)習(xí)特定的投影矩陣,并通過一種聯(lián)合學(xué)習(xí)策略,盡可能區(qū)分語義分布差異的同時充分挖掘類間語義重疊信息。在檢索階段,結(jié)合具體樣例通過一個預(yù)訓(xùn)練的線性... 

【文章頁數(shù)】：83 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖像-文本間跨模態(tài)檢索示例

MJSL算法基本框架

Wikipedia和PascalSentence數(shù)據(jù)集上每一類mAP得分

【參考文獻(xiàn)】：
期刊論文
[1]多媒體內(nèi)容理解的研究現(xiàn)狀與展望[J]. 彭宇新,綦金瑋,黃鑫.  計算機研究與發(fā)展. 2019(01)
[2]跨模態(tài)檢索研究綜述[J]. 歐衛(wèi)華,劉彬,周永輝,宣瑞晟.  貴州師范大學(xué)學(xué)報(自然科學(xué)版). 2018(02)
[3]跨媒體分析與推理:研究進(jìn)展與發(fā)展方向（英文）[J]. Yu-xin PENG,Wen-wu ZHU,Yao ZHAO,Chang-sheng XU,Qing-ming HUANG,Han-qing LU,Qing-hua ZHENG,Tie-jun HUANG,Wen GAO.  Frontiers of Information Technology ＆ Electronic Engineering. 2017(01)
[4]半監(jiān)督學(xué)習(xí)方法[J]. 劉建偉,劉媛,羅雄麟.  計算機學(xué)報. 2015(08)

博士論文
[1]跨媒體數(shù)據(jù)的語義分類和檢索[D]. 魏云超.北京交通大學(xué) 2016

碩士論文
[1]基于判別子空間學(xué)習(xí)的跨媒體檢索算法研究[D]. 王粒.山東師范大學(xué) 2019
[2]弱監(jiān)督跨模態(tài)哈希檢索方法研究[D]. 尚斌.西安電子科技大學(xué) 2019



本文編號：3669188