【摘要】：隨著信息技術(shù)和社交網(wǎng)絡(luò)的迅猛發(fā)展,數(shù)字圖像、文本、音頻、視頻等跨媒體數(shù)據(jù)正在改變著人們的生活和工作方式。如何使計(jì)算機(jī)理解跨媒體數(shù)據(jù)的語(yǔ)義內(nèi)容和分析跨媒體數(shù)據(jù)之間的關(guān)聯(lián),已經(jīng)成為跨媒體和模式識(shí)別領(lǐng)域的重要研究課題。本文以跨媒體數(shù)據(jù)為研究對(duì)象,針對(duì)跨媒體語(yǔ)義增強(qiáng)、跨媒體檢索和多標(biāo)簽屬性學(xué)習(xí)等關(guān)鍵問(wèn)題開(kāi)展了深入的研究工作,論文的主要?jiǎng)?chuàng)新性研究成果包括：1.提出一種跨媒體語(yǔ)義增強(qiáng)框架,并應(yīng)用于基于內(nèi)容的圖像檢索�？缑襟w語(yǔ)義增強(qiáng)的目標(biāo)是通過(guò)利用視覺(jué)特征和文本特征之間的對(duì)應(yīng)關(guān)系,尋求一種有效的映射機(jī)制�；谶@種映射,視覺(jué)特征的雜亂分布特性可以通過(guò)具有顯著判別分布特性的文本特征進(jìn)行改善。實(shí)驗(yàn)結(jié)果表明該方法可以有效地提升圖像檢索任務(wù)的性能。2.提出一種任務(wù)驅(qū)動(dòng)的跨媒體檢索算法(Task-specific Cross-media Retrieval,簡(jiǎn)稱TSCR). TSCR通過(guò)聯(lián)合優(yōu)化成對(duì)圖像和文本之間的相關(guān)性以及某種模態(tài)(文本或圖像)特征向其對(duì)應(yīng)語(yǔ)義空間的線性回歸,從而獲得兩組將文本和圖像原始特征投影到同構(gòu)空間中的映射矩陣,分別用于圖像檢索文本和文本檢索圖像。實(shí)驗(yàn)結(jié)果驗(yàn)證了TSCR算法的有效性。3.提出一種深度語(yǔ)義匹配(deep Semantic Matching,簡(jiǎn)稱deep-SM)算法用來(lái)解決跨媒體檢索問(wèn)題。deep-SM通過(guò)兩種不同的深度神經(jīng)網(wǎng)絡(luò)將圖像和文本映射到同構(gòu)的語(yǔ)義空間中,進(jìn)而實(shí)現(xiàn)兩種模態(tài)數(shù)據(jù)之間的跨媒體檢索。同時(shí)對(duì)比分析深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡(jiǎn)稱CNN)的視覺(jué)特征對(duì)跨媒體檢索的影響。實(shí)驗(yàn)結(jié)果驗(yàn)證了deep-SM算法和CNN視覺(jué)特征對(duì)跨媒體檢索的有效性。4.提出一種HCP (Hypotheses-CNN-Pooling)深度學(xué)習(xí)框架用于解決多標(biāo)簽屬性分類問(wèn)題。HCP利用一種似物性推薦框(Hypotheses)篩選方法對(duì)每張多標(biāo)簽圖片選取了少量具有代表性的Hypotheses,并通過(guò)共享的CNN和跨Hypotheses的池化(Pooling)策略構(gòu)建了一個(gè)有效的多標(biāo)簽預(yù)測(cè)框架.HCP通過(guò)端到端的方式進(jìn)行訓(xùn)練并在Pascal VOC 2007和VOC 2012兩個(gè)數(shù)據(jù)集上獲得了國(guó)際領(lǐng)先的分類性能。
【圖文】：

及心心及互聯(lián)網(wǎng)技術(shù)和社交網(wǎng)絡(luò)的飛速發(fā)展，人們?cè)絹?lái)越習(xí)慣于在互聯(lián)網(wǎng)中通過(guò)逡逑各種社交網(wǎng)絡(luò)（如Q啠椋悖耄頡ⅲ裕鰨椋簦簦澹頡ⅲ疲幔悖澹猓錚錚�、ＹｅP酰簦酰猓�、优酷、袇嗡微博谍x├村義戲⒉枷喙氐畝嗝教迨蕁Ｍ跡保哺雋說(shuō)鼻耙恍┲計(jì)窒磽鏡淖⒉崛嗽筆義狹�？。据统计，删|煌紓疲幔悖澹猓錚錚朊刻斕鈉驕洗計(jì)吭冢幣謖派�，其总辶x鮮考壕�，０００抑q�；知名陀�(jì)窒磽荊疲歟椋悖耄蠔停桑睿螅歟幔紓潁幔淼納洗計(jì)芾镥義弦卜直鶇锏攪隋澹叮耙謖藕停保耙謖�；Ｔｖ嶉ｔｔｅＯ牽天发布的Ｔｖ嶅ｅｔｓ数量超过１．４抑@酰誨義希伲錚蹩郟猓迕糠種由洗氖悠凳背こ保埃靶∈�。�些大規(guī)模的多媒體數(shù)據(jù)在高層逡逑語(yǔ)義上通常具有較強(qiáng)關(guān)聯(lián)性，同時(shí)與其相關(guān)的標(biāo)注信息和用戶評(píng)論信息也可ｔＵ反逡逑映出這些數(shù)據(jù)的語(yǔ)義內(nèi)容。逡逑在跨媒體數(shù)據(jù)飛速發(fā)展的背景下，利用跨媒體之間的關(guān)聯(lián)性，深入理解和挖逡逑掘數(shù)據(jù)中所包含的信息，，對(duì)人們的生活和社會(huì)的發(fā)展都具有重要意義。首先，通逡逑過(guò)對(duì)社交網(wǎng)絡(luò)中網(wǎng)民發(fā)布的圖片和評(píng)論等跨媒體數(shù)據(jù)進(jìn)行分析，可有效了解群逡逑眾對(duì)當(dāng)前一些熱點(diǎn)話題的看法或預(yù)測(cè)出影響公共安全的社會(huì)問(wèn)題，幫助政府部口逡逑或相關(guān)機(jī)構(gòu)制定相應(yīng)的應(yīng)對(duì)策略。其次

用于解決文本和圖像之間的跨媒體檢索問(wèn)題。文獻(xiàn)ＵＷ通過(guò)引入第Ｈ種高層語(yǔ)義逡逑的視角信息，使得具有相同語(yǔ)義的文本和圖巧在同構(gòu)空間中具有良好的聚集性。逡逑圖２．２給出了三視角ＣＣＡ方法的示意圖。假設(shè)共有ｎ姐訓(xùn)練數(shù)據(jù)，每一組訓(xùn)練逡逑數(shù)據(jù)包含一個(gè)Ｖ維的視覺(jué)特征，一個(gè)／維的文本特征和一個(gè)Ｃ維的氋層語(yǔ)義特逡逑征。令訓(xùn)練數(shù)據(jù)中的圖像、文本和語(yǔ)義信息對(duì)應(yīng)的特征矩陣分別是ＸｉｅＲ＂ｘｖ，逡逑NB２邋６邋Ｒ＂ｗ和Ａ邋ｅ及定義的？）為將特征從原始空間映射到另外一個(gè)非線性核空逡逑間的核函數(shù)，進(jìn)而三視角ＣＣＡ的目標(biāo)是通過(guò)優(yōu)化映射矩陣Ｗ，片＝１，２，３）將文本逡逑和圖像從巧維的非線性空間中映射到低維的同構(gòu)空間中，使得具有同樣語(yǔ)義的文逡逑本和困像在同構(gòu)空間中的距離最小。其對(duì)應(yīng)的優(yōu)化公式為，逡逑熱Ｖ乏ＪＩａ化）Ｗ邋－的斯Ｗ｜倍邐口邋７）逡逑王Ｗｆ邋完ａＷ邋＝邐＝邋０，１．邋Ｊ邋＝邋１，…，３，邋＊邋NB邋＊，；邋＝邋１，邋－邋．．邋，邋ｄ，邋Ａ邋幸邋／逡逑其中２：ｙ為化）巧e�？（与）的协分v罹卣螅鰨崾牽

本文編號(hào)：2578257