【摘要】：為了更加符合人腦對(duì)視覺、聽覺等不同感官認(rèn)知和感知外界信息的綜合處理模式,使計(jì)算機(jī)能夠模擬人腦對(duì)不同類型的多媒體數(shù)據(jù)進(jìn)行認(rèn)知、學(xué)習(xí)以及推理決策等一些信息加工的過程,于是“跨媒體”技術(shù)應(yīng)運(yùn)而生。隨著互聯(lián)網(wǎng)上多媒體數(shù)據(jù)的多樣化和復(fù)雜化,實(shí)現(xiàn)跨媒體數(shù)據(jù)間準(zhǔn)確有效地的相互檢索變得愈發(fā)重要�？缑襟w檢索目前主要面臨兩方面的挑戰(zhàn):一方面,由于不同類型的多媒體數(shù)據(jù)在其底層特征表示上存在特征維數(shù)和屬性上的不同,導(dǎo)致彼此之間存在異構(gòu)性問題,即跨媒體異構(gòu)鴻溝;另一方面,不同類型多媒體數(shù)據(jù)的底層特征與其高層語(yǔ)義間可能存在不一致性問題,即跨媒體語(yǔ)義鴻溝。為了解決這兩個(gè)難題,需要針對(duì)跨媒體數(shù)據(jù)間存在的復(fù)雜關(guān)聯(lián)關(guān)系進(jìn)行深度挖掘與分析。本文對(duì)深度典型相關(guān)性分析進(jìn)行結(jié)構(gòu)改進(jìn),并將其應(yīng)用在跨媒體數(shù)據(jù)上構(gòu)建跨媒體相關(guān)性學(xué)習(xí)模型。深度典型相關(guān)性分析(DCCA)是一種將文本和圖像對(duì)映射到公共潛在子空間進(jìn)行相似性度量的深度方法。本文采用的方法對(duì)傳統(tǒng)的DCCA進(jìn)行結(jié)構(gòu)改進(jìn),將網(wǎng)絡(luò)中第一層隱藏層改造為線性投影損失層。線性投影層的訓(xùn)練是同非線性隱藏層的訓(xùn)練結(jié)合在一起的,以確保線性投影能夠很好地與非線性處理階段進(jìn)行匹配,同時(shí),能夠從網(wǎng)絡(luò)的輸出端獲取原始輸入數(shù)據(jù)的更加抽象和更加準(zhǔn)確的表示。然后通過跨媒體相關(guān)性分析挖掘出跨媒體數(shù)據(jù)間存在的復(fù)雜相關(guān)關(guān)系。在跨媒體檢索的潛在空間中,語(yǔ)義上一致的圖像和文本應(yīng)該是彼此互相靠近的,但是CCA及其擴(kuò)展方法僅僅最大化圖像及對(duì)應(yīng)文本之間的相關(guān)性并不能滿足這個(gè)要求。因此,本文提出了一個(gè)基于深度相關(guān)性分析的跨媒體檢索方法(CMSCR)。其通過自動(dòng)探索語(yǔ)義標(biāo)簽對(duì)跨媒體相關(guān)性學(xué)習(xí)所得到的圖像與文本最大相關(guān)子空間訓(xùn)練語(yǔ)義映射,從而得到圖像語(yǔ)義空間及文本語(yǔ)義空間。然后通過相似性度量方法來(lái)計(jì)算文本和圖像之間的相關(guān)性,從而實(shí)現(xiàn)跨媒體檢索。本文最后對(duì)跨媒體系統(tǒng)的各個(gè)方面分別進(jìn)行設(shè)計(jì)與介紹,對(duì)跨媒體檢索的各種流行算法進(jìn)行分類和整理。此外設(shè)計(jì)了一個(gè)跨媒體相關(guān)性檢索引擎并通過示例展示其用戶界面及檢索結(jié)果。
[Abstract]:In order to accord with the integrated processing mode of human brain to different senses, such as vision and hearing, and to perceive the external information, the computer can simulate the human brain's cognition of different types of multimedia data. Learning and reasoning decision-making and other processes of information processing, so "cross-media" technology came into being. With the diversification and complexity of multimedia data on the Internet, it becomes more and more important to realize the accurate and effective cross-media data retrieval. Cross-media retrieval is currently facing two challenges: on the one hand, due to the difference of feature dimension and attribute in the underlying feature representation of different types of multimedia data, there is heterogeneity between them. That is, cross-media heterogeneity gap; On the other hand, there may be inconsistency between the underlying features of different types of multimedia data and their high-level semantics, that is, the cross-media semantic gap. In order to solve these two problems, it is necessary to deeply mine and analyze the complex association relationship between cross-media data. In this paper, the depth canonical correlation analysis is improved and applied to cross-media data to construct cross-media correlation learning model. Depth canonical correlation analysis (DCCA) is a depth method for measuring similarity between text and image pairs mapping to a common potential subspace. The method adopted in this paper improves the structure of the traditional DCCA and transforms the first hidden layer of the network into the linear projection loss layer. The training of the linear projection layer is combined with the training of the nonlinear hidden layer to ensure that the linear projection can be well matched with the nonlinear processing stage, at the same time, A more abstract and accurate representation of the original input data can be obtained from the output of the network. Then, the complex correlation between cross-media data is mined through cross-media correlation analysis. In the potential space of cross-media retrieval, semantically consistent images and texts should be close to each other, but CCA and its extension methods can not satisfy this requirement only by maximizing the correlation between images and corresponding texts. Therefore, a cross-media retrieval method based on depth correlation analysis (CMSCR).) is proposed in this paper. By automatically exploring semantic tags for cross-media relevance learning, the image and text maximal correlation subspace is trained to train the semantic mapping, thus the image semantic space and the text semantic space are obtained. Then the correlation between text and image is calculated by similarity measurement, and cross-media retrieval is realized. In the end, this paper designs and introduces each aspect of cross media system, classifies and arranges the popular algorithms of cross-media retrieval. In addition, a cross-media correlation retrieval engine is designed and its user interface and retrieval results are demonstrated by an example.
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張靜君;黃煜池;;網(wǎng)站與跨媒體戰(zhàn)略[J];新經(jīng)濟(jì);2001年11期

2 劉韜,帥彥茹;迎接跨媒體的藝術(shù)新生兒──“電腦劇”[J];電子出版;2001年07期

3 皮卓丁;數(shù)字出版與跨媒體解決方案[J];中國(guó)傳媒科技;2005年07期

4 ;網(wǎng)絡(luò)開辟跨媒體時(shí)代[J];廣告人;2008年02期

5 王琪琦;李海燕;;試論“跨媒體”內(nèi)容創(chuàng)作的策略[J];河北師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2011年05期

6 王琪琦;李海燕;;試論“跨媒體”內(nèi)容創(chuàng)作的策略[J];重慶交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2011年05期

7 周洋;;融媒時(shí)代跨媒體新聞編輯部的角色轉(zhuǎn)變與實(shí)踐探索[J];電視研究;2012年12期

8 黃丹俞;;跨媒體信息素養(yǎng)的概念、特點(diǎn)及對(duì)圖書館的意義[J];圖書情報(bào)工作;2013年14期

9 羅建輝;;視聽新媒體是電視劇傳播的重要平臺(tái)——在“2013‘飛天獎(jiǎng)’創(chuàng)作與跨媒體傳播高峰論壇”上的致辭[J];中國(guó)電視;2014年02期

10 陶然;跨媒體在國(guó)內(nèi)的發(fā)展現(xiàn)狀和前景──由新浪網(wǎng)并購(gòu)陽(yáng)光文化引起的思考[J];新聞知識(shí);2002年02期

相關(guān)會(huì)議論文 前3條

1 郭之文;;跨媒體科學(xué)傳播初探[A];第十一屆中國(guó)科協(xié)年會(huì)第33分會(huì)場(chǎng)新媒體與科技傳播研討會(huì)論文集[C];2009年

2 黃敏;劉浩學(xué);;不同光源照度對(duì)跨媒體顏色復(fù)制的影響研究[A];中國(guó)光學(xué)學(xué)會(huì)2010年光學(xué)大會(huì)論文集[C];2010年

3 李幸;;在欠發(fā)達(dá)地區(qū)建立跨媒體集團(tuán)的啟示——紅河新聞傳媒集團(tuán)觀察記[A];求異與趨同——中國(guó)影視文化主體性追求與現(xiàn)代性建構(gòu)：中國(guó)高等院校影視學(xué)會(huì)第十二屆年會(huì)暨第五屆中國(guó)影視高層論壇文集[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 辛健;李穎：跨媒體的高級(jí)操盤手[N];中華工商時(shí)報(bào);2001年

2 本報(bào)記者盧思宇;賽迪影視鐘情跨媒體模式[N];中國(guó)經(jīng)營(yíng)報(bào);2002年

3 李希光;媒體的融合與跨媒體記者[N];中華新聞報(bào);2001年

4 國(guó)金證券 毛崢嶸　唐建偉;博瑞傳播 跨媒體產(chǎn)業(yè)布局日漸清晰[N];中國(guó)證券報(bào);2009年

5 克里斯托夫·合洛瓦提Christoph Holowaty 德英GamesIndustry.biz網(wǎng)站主編;跨媒體故事講述[N];中國(guó)圖書商報(bào);2012年

6 本報(bào)記者 冰蕭;跨媒體的暢想[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 記者 虞寶竹;跨媒體、跨區(qū)域 合力打造新媒體[N];中華新聞報(bào);2007年

8 畢磊;由“迷失”現(xiàn)象探析跨媒體大傳媒運(yùn)作[N];中國(guó)新聞出版報(bào);2006年

9 本報(bào)記者 裴秋菊;跨媒體傳媒帝國(guó)如何形成[N];中國(guó)文化報(bào);2014年

10 李明;佛山市新聞中心正式投入使用[N];中華新聞報(bào);2007年

相關(guān)博士學(xué)位論文 前2條

1 張磊;跨媒體語(yǔ)義共享子空間學(xué)習(xí)理論與方法研究[D];北京交通大學(xué);2015年

2 張鴻;基于相關(guān)性挖掘的跨媒體檢索研究[D];浙江大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 孟媛媛;跨媒體熱點(diǎn)追蹤系統(tǒng)的研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

2 楊濤;基于近鄰可逆性的跨媒體檢索研究[D];北京交通大學(xué);2016年

3 陳婧琳;基于特征學(xué)習(xí)和關(guān)聯(lián)學(xué)習(xí)的在線商品跨媒體檢索研究[D];華東交通大學(xué);2016年

4 鄒輝;基于深度學(xué)習(xí)與中心相關(guān)性度量算法的跨媒體檢索方法研究[D];華僑大學(xué);2016年

5 王甜甜;《秦時(shí)明月》的跨媒體敘事研究[D];西華師范大學(xué);2016年

6 王燁;基于隱藏層語(yǔ)義關(guān)聯(lián)的跨媒體檢索方法研究[D];華中科技大學(xué);2015年

7 王述;基于相關(guān)性分析的跨媒體檢索[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院);2017年

8 蔣益秀;新聞信息的跨媒體傳播研究[D];中國(guó)社會(huì)科學(xué)院研究生院;2002年

9 劉凱;基于語(yǔ)義的跨媒體一致性研究[D];北京交通大學(xué);2015年

10 侯曉文;從使用與滿足理論探析傳統(tǒng)雜志與微博的跨媒體合作[D];山東師范大學(xué);2013年

，

本文編號(hào)：2302386