【摘要】：隨著大數(shù)據(jù)時代的到來,多媒體數(shù)據(jù)呈現(xiàn)爆炸性增長趨勢,單模態(tài)數(shù)據(jù)檢索技術(shù)已不能滿足人們對信息獲取的需求,跨模態(tài)檢索技術(shù)應(yīng)時而生,且日益成為信息檢索領(lǐng)域的主流,具有理論和實際應(yīng)用意義�？缒B(tài)檢索的基本內(nèi)容是建立跨模態(tài)數(shù)據(jù)之間的配對關(guān)系,實現(xiàn)利用某一模態(tài)數(shù)據(jù),檢索具有近似語義的其它模態(tài)數(shù)據(jù)。本文主要研究如何為圖像文本對建模,實現(xiàn)跨模態(tài)數(shù)據(jù)到潛在語義空間的轉(zhuǎn)換,從而縮小跨模態(tài)數(shù)據(jù)之間的語義鴻溝,實現(xiàn)已知某一數(shù)據(jù)的文本模態(tài)能檢索出相關(guān)的圖像模態(tài)數(shù)據(jù),或者已知圖像模態(tài)檢索出相關(guān)的文本模態(tài)數(shù)據(jù)。為了實現(xiàn)大規(guī)模高特征維度多媒體數(shù)據(jù)之間的相互檢索,本文提出了如下三種基于潛在語義空間學(xué)習(xí)的跨模態(tài)檢索技術(shù):1.提出一種全相似性保留的哈希跨模態(tài)檢索方法(All Similarity Preserving Cross-Modal Hashing,ASPCH)。該方法利用映射矩陣將圖像和文本映射到潛在語義空間的同時利用標(biāo)簽的監(jiān)督性質(zhì)對模態(tài)內(nèi)和模態(tài)間的語義表示進行相應(yīng)的約束,來提高檢索精度。其中模態(tài)內(nèi)相似性的保留采用了K近鄰的算法,在數(shù)據(jù)的局部幾何結(jié)構(gòu)上考慮了數(shù)據(jù)的聯(lián)系,對于模態(tài)間則是考慮同一對象不同模態(tài)數(shù)據(jù)之間具有同一語義標(biāo)簽作為約束,以此來增強了語義表示之間的關(guān)聯(lián)性。2.提出一種有監(jiān)督鑒別跨模態(tài)哈希檢索方法(Supervised Discriminative Hashing Cross-Modal Hashing,SDCH)。該算法在利用映射矩陣將圖像和文本數(shù)據(jù)映射到潛在語義空間的同時將語義表示的學(xué)習(xí)轉(zhuǎn)化為可分類問題,在保留模態(tài)間語義表示的一致性的同時,考慮約束語義表示在潛在語義空間中線性可分,使得語義表示更加具有鑒別力,從而提高跨模態(tài)檢索精度。3.提出一種深度語義匹配跨模態(tài)檢索算法(Deep Semantic Matching,DSM)。該方法通過微調(diào)AlexNet圖像深度神經(jīng)網(wǎng)絡(luò)以及訓(xùn)練文本深度神經(jīng)網(wǎng)絡(luò)來分別提取圖像和文本的頂層特征表示,將最終的類別概率貢獻向量作為圖像和文本的潛在語義特征表示,從而實現(xiàn)圖像和文本在語義空間中的直接語義匹配。深度語義匹配利用深度學(xué)習(xí)的方法將底層特征頂層化,且在特征層面實現(xiàn)了跨模態(tài)數(shù)據(jù)之間的潛在語義相關(guān)性,實現(xiàn)圖文互檢。本文在Wiki單標(biāo)簽數(shù)據(jù)集以及NUS-WIDE多標(biāo)簽數(shù)據(jù)集上進行了圖文互檢實驗,結(jié)果表明本文所提方法與其它前沿算法相比具有一定的優(yōu)越性。
【圖文】：

在監(jiān)督學(xué)習(xí)下，如果給定么就可以根據(jù)這種已知條件[20]，學(xué)，模型能夠給出正確的輸出結(jié)果。監(jiān)器學(xué)習(xí)任務(wù)。訓(xùn)練數(shù)據(jù)是一套訓(xùn)練示入對象和期望輸出值的數(shù)據(jù)組成。監(jiān)生一個推斷的功能，即能夠用于映射且最簡單的算法之一。它的思路是：在特征空間中最鄰近）中的大多數(shù)屬樣本數(shù)據(jù)，分別表示為藍色的小正則代表的是待分類的樣本數(shù)據(jù)。換句于哪一個類別（或者使藍色小正方形圓形分類。

圖 2.2 哈希學(xué)習(xí)義空間學(xué)習(xí)跨模態(tài)檢索算法都假設(shè)擁有相同語義標(biāo)簽的異構(gòu)數(shù)據(jù)共享一個共潛在語義空間的子空間。在潛在語義空間中，來自不同模態(tài)的相接近[25]，且近年來跨模態(tài)檢索中考慮潛在語義空間思想得到了很態(tài)檢索中潛在語義空間學(xué)習(xí)，是不依賴訓(xùn)練數(shù)據(jù)的，它旨在隨機圖像數(shù)據(jù)和文本數(shù)據(jù)映射到同構(gòu)的潛在語義空間中，進行跨模態(tài)表示分別為1(1) d nX R 和2(2) d nX R ，假設(shè)對應(yīng)的映射矩陣分別征向量的長度為k ，則有：(1)I IS = P X(2)S = P X
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.3;TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 張全;陸長德;余隋懷;于明玖;;基于多維情感語義空間的色彩表征方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2006年02期

2 張海波;張春艷;商書元;張穎;;男T恤圖像情感語義空間研究[J];紡織科技進展;2016年06期

3 蔡碧霞;論語料庫為基礎(chǔ)的潛在語義空間內(nèi)詞義的量化分析[J];西安外國語學(xué)院學(xué)報;2005年03期

4 鄭帥;齊向明;;基于多維語義空間的垃圾短信過濾算法[J];自動化技術(shù)與應(yīng)用;2018年07期

5 倪宇超;張志軍;;萊蒙托夫抒情詩語義空間中的“幸福”概念[J];綏化學(xué)院學(xué)報;2009年02期

6 張德;王子瑋;張峰;;基于語義空間統(tǒng)一表征的視頻多模態(tài)內(nèi)容分析技術(shù)[J];電視技術(shù);2017年Z2期

7 楊曉航;張曉林;;語義空間系統(tǒng):語義Web技術(shù)的新應(yīng)用——基于語義整合Web資源與服務(wù)[J];數(shù)字圖書館論壇;2006年05期

8 楊山;楊雅婷;溫正陽;米成剛;;基于語義空間的抽取式單文檔摘要方法[J];廈門大學(xué)學(xué)報(自然科學(xué)版);2019年02期

9 劉云峰,齊歡,代建民;潛在語義分析在中文信息處理中的應(yīng)用[J];計算機工程與應(yīng)用;2005年03期

10 段紅偉;孟令奎;黃長青;李穎;李繼園;;面向SPARQL查詢的地理語義空間索引構(gòu)建方法[J];測繪學(xué)報;2014年02期

相關(guān)會議論文 前4條

1 任海平;李偉忠;姚誠偉;;基于深度學(xué)習(xí)的智能寫稿輔助服務(wù)設(shè)計[A];中國新聞技術(shù)工作者聯(lián)合會2017年學(xué)術(shù)年會論文集（學(xué)術(shù)論文篇）[C];2017年

2 陳浩彬;汪鳳炎;;基于智慧德才兼?zhèn)淅碚摰闹腔鄯诸愌芯縖A];第十五屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2012年

3 張海濤;張書亮;姜杰;顧燕;;基于EKR+的GML整體索引[A];第四屆海峽兩岸GIS發(fā)展研討會暨中國GIS協(xié)會第十屆年會論文集[C];2006年

4 喬百友;謝可心;王國仁;;TH-Ring:一種基于語義的結(jié)構(gòu)化P2P網(wǎng)絡(luò)[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

相關(guān)博士學(xué)位論文 前3條

1 蒲強;基于獨立分量分析的語義聚類技術(shù)在信息檢索中的應(yīng)用研究[D];電子科技大學(xué);2010年

2 段紅偉;地理語義查詢關(guān)鍵技術(shù)研究[D];武漢大學(xué);2013年

3 林梓佳;圖像語義標(biāo)注方法研究[D];清華大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 白雪峰;基于共享語義空間的無監(jiān)督雙語詞典抽取[D];哈爾濱工業(yè)大學(xué);2019年

2 朱治蘭;基于潛在語義空間學(xué)習(xí)的跨模態(tài)檢索研究[D];南京郵電大學(xué);2019年

3 李志堅;社交網(wǎng)絡(luò)多模態(tài)語義空間學(xué)習(xí)與國民安全突發(fā)事件檢測研究[D];北京郵電大學(xué);2019年

4 李虹磊;基于語義空間和神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)事件抽取[D];大連理工大學(xué);2017年

5 陳磊;空間構(gòu)型對語篇連貫的解釋[D];東華大學(xué);2012年

6 畢臣;基于語段的潛在語義分析技術(shù)研究[D];沈陽航空航天大學(xué);2014年

7 鄭偉;基于潛在語義索引的文本聚類技術(shù)研究[D];沈陽航空工業(yè)學(xué)院;2009年

8 郭東波;基于偽文檔的潛在語義索引優(yōu)化技術(shù)的研究[D];沈陽航空工業(yè)學(xué)院;2010年

9 周昊;個體 形象[D];中國美術(shù)學(xué)院;2015年

10 于霽月;基于產(chǎn)品語義學(xué)的服務(wù)機器人造型設(shè)計研究與應(yīng)用[D];沈陽工業(yè)大學(xué);2017年

，

本文編號：2595123