本文選題：典型相關(guān)性分析　切入點(diǎn)：語義模態(tài)　出處：《北京郵電大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：在過去的幾年中,互聯(lián)網(wǎng)上的多媒體數(shù)據(jù)呈現(xiàn)爆炸式地增長�？缒B(tài)檢索(Cross-modal retrieval)由于融合了圖像、文本等多個模態(tài)而成為多媒體信息檢索中的一個研究熱點(diǎn)。但其仍存在多模態(tài)表示、跨模態(tài)關(guān)聯(lián)機(jī)制等多個挑戰(zhàn)性的問題,因此,跨模態(tài)檢索具有重要的理論意義和應(yīng)用價(jià)值。針對當(dāng)前跨模態(tài)檢索的難點(diǎn),即如何有效構(gòu)建圖像和對應(yīng)文本的相關(guān)性,本文從典型相關(guān)性分析(canonical correlation analysis,CCA)出發(fā),利用深度學(xué)習(xí)對跨模態(tài)檢索進(jìn)行了深入研究,文本的主要工作如下:1.將語義一致性引入圖像和文本的相關(guān)性學(xué)習(xí)中。為了增強(qiáng)隱空間中的語義一致性,將傳統(tǒng)的2模態(tài)CCA擴(kuò)展到3模態(tài)CCA,同時最大化圖像、文本和語義的相關(guān)性。提出了 4種類型的語義模態(tài):有監(jiān)督的類別標(biāo)簽,無監(jiān)督的超圖語義、局部近鄰和局部保持。針對超圖語義,提出了一種快速生成超邊的方法。實(shí)驗(yàn)結(jié)果證明了這4種語義模態(tài)對于提高跨模態(tài)檢索性能的有效性。2.提出了兩種防止過擬合的技術(shù):(1)自編碼器。在相關(guān)性學(xué)習(xí)之后加入一個重構(gòu)層,以重構(gòu)模態(tài)內(nèi)的輸入。通過反向傳播機(jī)制回傳到相關(guān)層的重構(gòu)損失可以看作是一種正則項(xiàng),進(jìn)而克服過擬合。(2)遞進(jìn)框架。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)框架中加入一個線性的損失層,聯(lián)合優(yōu)化線性投影和非線性損失來學(xué)習(xí)更好的特征表示。為了驗(yàn)證遞進(jìn)框架的一般性,在3種不同的應(yīng)用中嵌入遞進(jìn)框架。實(shí)驗(yàn)結(jié)果證明遞進(jìn)框架可以為更多神經(jīng)網(wǎng)絡(luò)優(yōu)化的問題提供更好更快的解決方案。3.提出了兩種相似度的度量優(yōu)化方式:(1)基于檢索的相似度。傳統(tǒng)的基于CCA的算法在獲得隱空間后直接采用人工設(shè)計(jì)的度量方式計(jì)算模態(tài)間的相似度。受PageRank算法的啟發(fā),提出了一種間接度量隱空間中圖像和文本對相似度的方法。(2)度量學(xué)習(xí)。我們試圖將行人再辨識中的度量學(xué)習(xí)方法遷移到跨模態(tài)檢索中。本文利用大規(guī)模相似度學(xué)習(xí)度量相似度,并結(jié)合跨模態(tài)檢索語義一致性的特點(diǎn),提出了一種相似對的構(gòu)建方法。實(shí)驗(yàn)結(jié)果表明兩種度量方法都是有效的,在提高跨模態(tài)檢索性能方面是互補(bǔ)的。4.綜合語義一致性、防止過擬合技術(shù)以及度量優(yōu)化提出了兩種和當(dāng)前最好算法相比具有競爭力的跨模態(tài)檢索模型。對于無監(jiān)督跨模態(tài)檢索,提出了一種改進(jìn)的CCA。傳統(tǒng)的CCA不能建模隱空間中的語義一致性,難以學(xué)習(xí)模態(tài)間的非線性相關(guān)性。由于傳統(tǒng)度量學(xué)習(xí)不直接優(yōu)化隱空間中的度量,所以在相似度比較方面存在問題。為了解決這些問題,改進(jìn)的CCA方法引入局部近鄰和局部保持來改善隱空間的語義一致性,將CCA從2視角擴(kuò)展到4視角。為了學(xué)習(xí)非線性相關(guān)性,將4視角CCA嵌入遞進(jìn)框架。用大規(guī)模相似度學(xué)習(xí)方法改善CCA在度量方面存在的不足。對于有監(jiān)督的跨模態(tài)檢索,提出了兩階段深度學(xué)習(xí)算法。為了最大化有監(jiān)督語義信息的作用,在兩個階段都采用有監(jiān)督的學(xué)習(xí)。為了克服過擬合,在第一階段的訓(xùn)練加入重構(gòu)損失來約束相關(guān)性學(xué)習(xí)。在第二個階段,提出了一個利用對比損失和中心損失聯(lián)合優(yōu)化的全卷積網(wǎng)絡(luò)。最后應(yīng)用到微軟必應(yīng)的圖像檢索競賽中,驗(yàn)證了算法的有效性。
[Abstract]:......
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅美;;論網(wǎng)絡(luò)教育環(huán)境下學(xué)習(xí)者學(xué)習(xí)動機(jī)的激發(fā)[J];繼續(xù)教育;2006年11期

2 李秀英;;網(wǎng)絡(luò)環(huán)境下學(xué)生學(xué)習(xí)的特點(diǎn)[J];教師;2009年04期

3 夏定海,黃智英;教會學(xué)習(xí) 學(xué)會學(xué)習(xí) 終身學(xué)習(xí)[J];發(fā)明與革新;2000年06期

4 黃啟兵;汪芳;;論網(wǎng)絡(luò)時代學(xué)習(xí)與創(chuàng)新的統(tǒng)一[J];教學(xué)研究;2002年03期

5 陳相安;把檔案部門建成學(xué)習(xí)型組織[J];中國檔案;2003年09期

6 顧新,蔡兵,李久平;學(xué)習(xí)與學(xué)習(xí)型社會[J];軟科學(xué);2004年02期

7 鄭軍;試論編輯的學(xué)習(xí)特征[J];中國編輯;2005年06期

8 邱曉榮,孔一童;試論網(wǎng)絡(luò)環(huán)境中的合作學(xué)習(xí)[J];當(dāng)代教育論壇;2005年02期

9 冷平,王仁蓉,刁永鋒;網(wǎng)絡(luò)學(xué)習(xí)的成功要素探析[J];教育信息化;2005年03期

10 張建光;朱秀娥;張笑雙;;網(wǎng)絡(luò)學(xué)習(xí)社區(qū)的特征和構(gòu)建[J];中國教育技術(shù)裝備;2006年03期

相關(guān)會議論文 前10條

1 韓文;;讓合作學(xué)習(xí)在逆境中重生[A];中華教育理論與實(shí)踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學(xué)數(shù)學(xué)中的小組合作學(xué)習(xí)[A];2014年1月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

3 杜俊娟;;用學(xué)習(xí)動機(jī)培養(yǎng)策略課題的學(xué)習(xí)對體育教師進(jìn)行研究性學(xué)習(xí)培養(yǎng)的實(shí)驗(yàn)研究[A];第七屆全國體育科學(xué)大會論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學(xué)習(xí)之誤區(qū)[A];校園文學(xué)編輯部寫作教學(xué)年會論文集[C];2007年

5 時龍;;把握分析學(xué)情是改進(jìn)教學(xué)和促進(jìn)學(xué)習(xí)的基礎(chǔ)[A];2012·學(xué)術(shù)前沿論叢——科學(xué)發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學(xué)生共享學(xué)習(xí)成果[A];中華教育理論與實(shí)踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學(xué)生學(xué)習(xí)物理的興趣[A];2014年5月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

8 鈕榮榮;;關(guān)于小學(xué)數(shù)學(xué)教學(xué)中小組合作學(xué)習(xí)的幾點(diǎn)思考[A];2014年6月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

9 陳妙;;讓數(shù)學(xué)課堂效率得到真正的提高——淺談新課改下學(xué)生學(xué)習(xí)興趣的培養(yǎng)[A];中華教育理論與實(shí)踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談?wù)Z文課堂合作學(xué)習(xí)的有效把握[A];中華教育理論與實(shí)踐科研論文成果選編（第3卷）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 農(nóng)行浙江東陽支行 吳新國 周龍飛;銀行如何創(chuàng)建學(xué)習(xí)型組織[N];上海金融報(bào);2003年

2 西北師范大學(xué) 李瑾瑜;校長：如何引領(lǐng)和促進(jìn)教師學(xué)習(xí)[N];中國教育報(bào);2008年

3 永壽縣店頭中學(xué) 劉俊鋒;大力提倡合作學(xué)習(xí) 全面促進(jìn)有效教學(xué)[N];咸陽日報(bào);2009年

4 本報(bào)評論員;要在真學(xué)習(xí)上下功夫[N];酒泉日報(bào);2009年

5 本報(bào)記者 李天然;學(xué)習(xí)應(yīng)該是一種終身行為[N];大連日報(bào);2010年

6 劉繼芳;淺議建設(shè)學(xué)習(xí)型黨組織中的“學(xué)習(xí)”內(nèi)涵[N];伊犁日報(bào)(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學(xué)習(xí)型黨組織[N];黑龍江日報(bào);2010年

8 翟愛霞;淺談如何深入推進(jìn)學(xué)習(xí)型黨組織建設(shè)[N];太行日報(bào);2011年

9 李振 上海交通大學(xué)國際與公共事務(wù)學(xué)院;制度變遷中的制度學(xué)習(xí)[N];中國社會科學(xué)報(bào);2012年

10 重慶市教育評估院院長、中國高等教育學(xué)會學(xué)習(xí)科學(xué)研究分會常務(wù)副會長 龔春燕;實(shí)施新學(xué)習(xí)，建設(shè)學(xué)習(xí)型社會[N];中國教育報(bào);2013年

相關(guān)博士學(xué)位論文 前10條

1 邵杰;基于深度學(xué)習(xí)的跨模態(tài)檢索[D];北京郵電大學(xué);2017年

2 徐峰;基于社會網(wǎng)絡(luò)的大學(xué)生學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)研究[D];江西財(cái)經(jīng)大學(xué);2014年

3 付亦寧;本科生深層學(xué)習(xí)過程及其教學(xué)策略研究[D];蘇州大學(xué);2014年

4 馮子勇;基于深度學(xué)習(xí)的圖像特征學(xué)習(xí)和分類方法的研究及應(yīng)用[D];華南理工大學(xué);2016年

5 王星;關(guān)系分類模型的學(xué)習(xí)界限與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2015年

6 潘劍寒;基于多潛在空間的遷移學(xué)習(xí)算法研究[D];合肥工業(yè)大學(xué);2016年

7 楊春;反饋類型對大學(xué)生學(xué)習(xí)成績的影響：自我調(diào)節(jié)學(xué)習(xí)的中介作用[D];東北師范大學(xué);2016年

8 王浩宇;資源整合、創(chuàng)業(yè)學(xué)習(xí)與新創(chuàng)企業(yè)創(chuàng)新的關(guān)系研究[D];吉林大學(xué);2017年

9 田青;有序?qū)W習(xí)及在圖像分析中的應(yīng)用研究[D];南京航空航天大學(xué);2016年

10 鄒朋成;有監(jiān)督的相似性度量學(xué)習(xí)研究與應(yīng)用[D];南京航空航天大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 王以宣;感知教師支持、基本心理需要滿足與初中學(xué)生英語學(xué)習(xí)倦怠的關(guān)系[D];上海師范大學(xué);2015年

2 李榮敬;不同情緒狀態(tài)對學(xué)習(xí)判斷的影響[D];河北師范大學(xué);2015年

3 李蘭翠;M00C學(xué)習(xí)平臺的應(yīng)用研究[D];上海師范大學(xué);2015年

4 孫航;農(nóng)民工隨遷子女學(xué)習(xí)生態(tài)研究[D];上海師范大學(xué);2015年

5 左揚(yáng)揚(yáng);碎片化時代下企業(yè)微課程設(shè)計(jì)與應(yīng)用[D];上海師范大學(xué);2015年

6 戚政霞;基于翻轉(zhuǎn)課堂的小學(xué)語文教學(xué)設(shè)計(jì)研究[D];上海師范大學(xué);2015年

7 蘇治芳;小學(xué)中高年級“微課題式”語文學(xué)習(xí)的實(shí)踐研究[D];上海師范大學(xué);2015年

8 張華;提高中職生語文課堂學(xué)習(xí)動力的策略研究[D];上海師范大學(xué);2015年

9 強(qiáng)敏;“學(xué)困生”的現(xiàn)狀調(diào)查與教育轉(zhuǎn)化途徑研究[D];寧夏師范學(xué)院;2015年

10 謝平;對初中學(xué)困生學(xué)習(xí)素質(zhì)提高的情感教育研究[D];河北大學(xué);2014年

，

本文編號：1561999