當今世界,信息的表現(xiàn)形式越來越多樣化,每天都有成千上萬的信息尤其是多種模態(tài)的信息在網(wǎng)絡(luò)媒體上發(fā)布�？缑襟w檢索面向大數(shù)據(jù)應(yīng)用和網(wǎng)絡(luò)空間安全等國家戰(zhàn)略需求,多媒體內(nèi)容理解技術(shù)及其應(yīng)用對于有害信息識別、智能醫(yī)療、熱點事件分析、多模態(tài)數(shù)據(jù)利用和軍事戰(zhàn)略分析等領(lǐng)域具有重要意義。海量的多種模態(tài)的數(shù)據(jù)“怎么管”和“怎么用”是目前人們需要考慮的難題�？缑襟w檢索是指提交任何一種模態(tài)的數(shù)據(jù),獲得相似語義的不同模態(tài)的數(shù)據(jù)�，F(xiàn)在跨媒體檢索仍然面臨許多挑戰(zhàn),一方面,不同形式的跨媒體數(shù)據(jù)的底層特征維度和屬性差異很大,很難直接度量數(shù)據(jù)之間在底層特征上的相似度。另一方面,媒體數(shù)據(jù)的語義信息是抽象的,不同形式的媒體數(shù)據(jù)之間的語義關(guān)聯(lián)是抽象的。為了解決上述問題,本文針對不同的檢索任務(wù)做了深入研究,綜合分析了不同媒體特征之間的語義信息和相關(guān)性,提出了嵌入空間特征表示思想和模態(tài)依賴思想。嵌入空間特征表示具體來講就是對底層的多模態(tài)數(shù)據(jù)特征通過一定的方式進行優(yōu)化,形成一個嵌入空間表示。然后從嵌入文本增強空間投影,得到更有效的目標矩陣。在嵌入空間中,不僅可以進行更準確的跨媒體檢索任務(wù),還可進行細粒度檢索的研究。模態(tài)依賴是指針對不同... 

【文章來源】：山東師范大學(xué)山東省

【文章頁數(shù)】：49 頁

【學(xué)位級別】：碩士

【部分圖文】：

018-2019中國電信統(tǒng)計網(wǎng)民各類應(yīng)用使用時長占比跨媒體檢索面向大數(shù)據(jù)應(yīng)用和網(wǎng)絡(luò)空間安全等國家戰(zhàn)略需求，多媒體內(nèi)容理解技術(shù)及

山東師范大學(xué)碩士學(xué)位論文5第二章跨媒體檢索相關(guān)概述本節(jié)中敘述的內(nèi)容適用于任意模態(tài)的跨媒體數(shù)據(jù)，其中部分案例以文本模態(tài)和圖像模態(tài)之間的檢索為例。本章首先總結(jié)了當前跨媒體檢索的基本概念與挑戰(zhàn)。然后介紹了主流的方法（共同學(xué)習(xí)方法和相似性度量方法）以及其他性能優(yōu)越的方法。最后介紹了常用的基礎(chǔ)數(shù)據(jù)集及其相關(guān)知識。2.1跨媒體檢索的基本概念與挑戰(zhàn)跨媒體數(shù)據(jù)也叫跨模態(tài)數(shù)據(jù)，這類數(shù)據(jù)源跨越數(shù)據(jù)類型，來自不同時間和空間，從不同的方面描述同一個具象。譬如，如圖2-1所示，世界乒乓球錦標賽中，包含了文本描述，精彩鏡頭的圖片特寫以及比賽時的視頻直播和錄像等表達形式。多樣的表達形式能夠使表達內(nèi)容形象而富于表現(xiàn)力和生動力，方便讀者了解。過去的研究工作主要集中在基于內(nèi)容的多媒體檢索上[5]。在這個檢索階段，許多方法都集中在單一媒體檢索上，如文本檢索[6,7,8]、圖像檢索[9,10]、音頻檢索[11,12]、視頻檢索[13,14,15,16]等。然而這些研究工作忽視了兩種以上模態(tài)數(shù)據(jù)之間復(fù)雜的相關(guān)性，對于跨模態(tài)檢索任務(wù)難以高效靈活處理。圖2-1世界乒乓球錦標賽的多媒體展示跨媒體檢索也稱跨模態(tài)檢索，是指將一種模態(tài)的數(shù)據(jù)進行檢索后能夠輸出另一種模態(tài)數(shù)據(jù)的檢索形式。例如，當從未見過牛油果的人想要搜索牛油果的外形時，他就可以通過文本檢索圖像的方式來獲取牛油果的圖片。以任意兩種媒體類型I和T為例，語義標簽為Y，則訓(xùn)練數(shù)據(jù)為trtrtrSI,T。其中1trntrppIi，1trntrppTt。trn為用于訓(xùn)練的媒體數(shù)據(jù)的數(shù)量，pI和pT為成對的第p對多媒體數(shù)據(jù)，訓(xùn)練數(shù)據(jù)的語義標簽為1trnIppy和

山東師范大學(xué)碩士學(xué)位論文13圖3-2線性判別分析分類過程設(shè)m為所有文本特征的均值，第j類中文本的均值為jm，共有i行的每對圖像特征ii和文本特征ti的語義矩陣為yi[1,2,...n]，那么文本的整體散度矩陣（TotalScatterMatrix，簡稱TSM）為11()()nTtiiiUtmtmn，類內(nèi)散度矩陣（Within-classScatterMatrix，簡稱WSM）為11()()nTjjwiijyijUtmtmn，線性判別分析的目標函數(shù)即：()min()TTwTUUEttrWUWtrWUW(3-1)其中，tr()à′V為矩陣的跡，kqWR為投影矩陣，它由k個基向量組成，E是單位矩陣。(2)跨媒體距離保持投影對于I2T算法，利用不同媒體類型數(shù)據(jù)間的跨媒體相關(guān)性，挖掘具有同一語義的，不同媒體類型數(shù)據(jù)之間的相關(guān)性，最大化同一語義媒體數(shù)據(jù)之間的關(guān)系，最小化不同語義的媒體數(shù)據(jù)之間的關(guān)系，保證特征與語義之間的相關(guān)性，學(xué)習(xí)距離保持投影矩陣�？紤]到求解的有效性和方便性，采用歐幾里得距離度量距離，采用線性投影得到投影矩陣的統(tǒng)一表示。具體為，則跨媒體距離保持投影矩陣f(V,W)定義為：2211(,)||nnijijijfVWstWiV(3-2)定義文本特征it與圖像特征ji的相似度矩陣ijs，定義語義向量iy和jy，則ijs為：1,1ijswhenwhenijijyyyy(3-3)定義單一媒體相似行矩陣TTS和IIS，跨媒體相似性矩陣TTS和ITS，則整體相似度矩陣

【參考文獻】：
博士論文
[1]圖像檢索中的特征學(xué)習(xí)和索引技術(shù)研究[D]. 劉若愚.北京交通大學(xué) 2019
[2]跨媒體數(shù)據(jù)的語義分類和檢索[D]. 魏云超.北京交通大學(xué) 2016

碩士論文
[1]基于字典學(xué)習(xí)的跨媒體檢索技術(shù)研究[D]. 戚玉丹.山東師范大學(xué) 2019



本文編號：3473614