本文關鍵詞：社交多媒體數(shù)據(jù)語義理解和關聯(lián)表達　出處：《中國科學技術大學》2017年博士論文　論文類型：學位論文

  更多相關文章： 弱監(jiān)督深度學習 特征選取 模型簡化 照片集故事化表達 視頻自動剪輯

【摘要】：近年來,智能手機及其它移動智能設備呈現(xiàn)出了爆發(fā)式的增長與普及。高清攝像頭、大容量存儲和高速的網(wǎng)絡連接為用戶創(chuàng)造了極其便利的拍攝和分享條件,用戶幾乎可以在任意時間、任意地點拍攝照片或視頻,并將它們分享到社交網(wǎng)絡上,產(chǎn)生了海量的社交多媒體數(shù)據(jù)。然而,這些數(shù)據(jù)都以碎片化的形式存在,當前的社交多媒體系統(tǒng)缺乏智能的工具或服務將它們組織起來,并選取符合用戶個性化需求的數(shù)據(jù)呈現(xiàn)給用戶,用戶也很難快速準確地檢索到他們需要的數(shù)據(jù)。因此,如何充分挖掘和利用社交多媒體數(shù)據(jù)成為了當前重要的研究問題。本論文針對社交多媒體數(shù)據(jù)的語義理解和關聯(lián)表達做了深入研究,目標是實現(xiàn)一個能夠理解社交多媒體數(shù)據(jù)、根據(jù)用戶需求選取有關聯(lián)的數(shù)據(jù)并以豐富的表達形式呈現(xiàn)給用戶的關聯(lián)表達系統(tǒng)。由于社交多媒體數(shù)據(jù)的語義內(nèi)容豐富多樣,收集并標注每個語義的訓練數(shù)據(jù)的難度和成本很高,因此語義理解首先需要解決標注難的問題。其次,由于社交多媒體數(shù)據(jù)的規(guī)模龐大,語義理解需要解決處理慢的問題。社交多媒體數(shù)據(jù)的關聯(lián)表達是基于社交多媒體數(shù)據(jù)的語義理解,根據(jù)用戶個性化的需求選取有關聯(lián)的數(shù)據(jù),并以豐富的表達形式呈現(xiàn)給用戶。本論文分別從照片和視頻兩個角度研究了關聯(lián)表達的具體應用。語義理解和關聯(lián)表達構成了挖掘和利用社交多媒體數(shù)據(jù)相對完整的框架。針對上述問題,本論文的主要研究工作和創(chuàng)新成果包括:1.對于語義理解標注難的問題,提出了一種直接從社交多媒體數(shù)據(jù)學習目標識別模型的弱監(jiān)督相關反饋深度學習算法。傳統(tǒng)深度學習算法對于訓練數(shù)據(jù)中的標注噪音十分敏感,本論文基于感知連續(xù)性,利用數(shù)據(jù)在特征空間的相互關系,使得不同數(shù)據(jù)在訓練過程中有不同的貢獻加權,從而抑制標注噪音的影響。實驗結果表明,與已有算法相比,本論文提出的弱監(jiān)督相關反饋深度學習算法具有更好的噪聲魯棒性。2.對于語義理解處理慢的問題,論文首先從減少數(shù)據(jù)特征種類和數(shù)目的角度提出了一種從大規(guī)模高維數(shù)據(jù)中選取特征的高效算法。本論文基于二階在線學習算法,利用特征的置信度選取特征,并提出了基于堆結構的快速在線特征選取算法。由于置信度的單調(diào)遞增特性,本論文進一步將算法的復雜度降低為與非零特征數(shù)目成正比。實驗結果表明,該算法能夠極大減少特征選取的計算時間,并達到接近甚至超過當前最好特征選取算法的準確率。其次,論文從加快提取深度特征速度的角度提出了基于在線特征選取的深度卷積神經(jīng)網(wǎng)絡模型簡化算法。算法增加了對應卷積層輸出特征圖每個通道的權重層,通過在權重層上進行特征選取,將三維卷積核的組稀疏優(yōu)化問題轉(zhuǎn)化為一維特征選取問題。實驗結果表明,該模型簡化算法在幾乎不影響模型準確率的情況下極大減少了模型的參數(shù)個數(shù)。3.對于照片關聯(lián)表達問題,設計并實現(xiàn)了一個基于主題的照片集故事化表達系統(tǒng)Monet。系統(tǒng)首先檢測照片集中的事件并選取一部分代表性的照片子集,完成對照片集的分析與梳理。其次,系統(tǒng)根據(jù)對照片的語義理解結果賦予不同照片不同的主題,并針對每個主題的照片運用可計算的風格模板生成具有關聯(lián)表達能力和豐富表達效果的音樂視頻。實驗結果表明,Monet系統(tǒng)提供了更好的照片集分析與梳理和故事合成效果。4.對于視頻關聯(lián)表達問題,設計并實現(xiàn)了一個全自動移動多攝像頭視頻自動剪輯系統(tǒng)MoVieUp。論文從音頻剪輯和視頻剪輯兩個角度解決自動剪輯問題。音頻剪輯評估所有音頻流的質(zhì)量,在最少切換次數(shù)準則下選取高質(zhì)量的音頻流片段,并拼接成單一音頻流。視頻剪輯首先根據(jù)音頻的節(jié)奏和語義選取鏡頭切換點,其次在保證鏡頭運動一致性的條件下最大化鏡頭質(zhì)量和鏡頭多樣性,完成鏡頭選取和拼接,得到單一視頻流。實驗結果表明,MoVieUp系統(tǒng)達到了當前最好的移動多攝像頭視頻自動剪輯效果,提供了更好的用戶體驗。
[Abstract]:......
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王海濤;多媒體數(shù)據(jù)的網(wǎng)絡傳輸概述[J];當代通信;2004年08期

2 鄧偉;媒體數(shù)據(jù)的處理與管理[J];電視字幕(特技與動畫);2002年04期

3 鄧偉;媒體數(shù)據(jù)的處理與管理[J];現(xiàn)代電視技術;2002年05期

4 孫清偉;邵國金;;信息技術中多媒體數(shù)據(jù)的類型及作用[J];貴陽學院學報(自然科學版);2006年01期

5 徐翔;;淺析電視行業(yè)媒體數(shù)據(jù)中心建設[J];現(xiàn)代電視技術;2012年07期

6 李曉明,李偉;多媒體數(shù)據(jù)會議應用[J];通信技術;1997年02期

7 李正浩;曾智洪;曾曉贏;史振寧;付仕清;;農(nóng)村信息化建設中多媒體數(shù)據(jù)的并行管理框架設計[J];重慶大學學報;2013年12期

8 林志斌 ,羅偉濂;多媒體數(shù)據(jù)資源的采集和處理[J];電腦;1996年06期

9 孫寅;;媒體數(shù)據(jù)表述中的矛盾與重復[J];新聞導刊;2004年02期

10 董淑珍,鞏志國;多媒體數(shù)據(jù)基于內(nèi)容的查詢[J];計算機工程;1999年01期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 楊曉蓉;王文生;;基于內(nèi)容的農(nóng)業(yè)科技多媒體數(shù)據(jù)的存儲與檢索技術研究[A];中國農(nóng)業(yè)信息科技創(chuàng)新與學科發(fā)展大會論文匯編[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前3條

1 ;新媒體數(shù)據(jù)是最重要的核心資產(chǎn)[N];企業(yè)家日報;2013年

2 童木;海量多媒體數(shù)據(jù)的有效備份[N];中國計算機報;2003年

3 四川 鄒肇輝;利用Delphi處理SQL Serve中的多媒體數(shù)據(jù)[N];電腦報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前4條

1 魏云超;跨媒體數(shù)據(jù)的語義分類和檢索[D];北京交通大學;2016年

2 吳岳;社交多媒體數(shù)據(jù)語義理解和關聯(lián)表達[D];中國科學技術大學;2017年

3 余林琛;對等流媒體系統(tǒng)中媒體數(shù)據(jù)管理機制的研究[D];華中科技大學;2012年

4 劉衡;海量多媒體數(shù)據(jù)的地理信息標注技術及其應用[D];中國科學技術大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王菁;電視媒體數(shù)據(jù)新聞研究[D];天津師范大學;2016年

2 趙月;我國網(wǎng)絡媒體數(shù)據(jù)新聞研究[D];渤海大學;2016年

3 孟宇;批判視角下網(wǎng)絡媒體數(shù)據(jù)新聞研究[D];南京師范大學;2016年

4 杜曉軍;基于互聯(lián)網(wǎng)對其傳輸多媒體數(shù)據(jù)性能的研究[D];山東大學;2007年

5 張曄華;可視的多媒體數(shù)據(jù)語義標注[D];天津大學;2014年

6 羅文靜;基于ARM11的井下多媒體數(shù)據(jù)處理終端[D];西安科技大學;2010年

7 許坤;多媒體數(shù)據(jù)在IP分組網(wǎng)絡上的傳輸技術研究[D];河海大學;2001年

8 楊瑞亞;基于RTP的MPEG-4封裝技術研究與設計[D];暨南大學;2006年

9 鄧鴿;國內(nèi)網(wǎng)絡媒體數(shù)據(jù)新聞操作流程與技術應用研究[D];暨南大學;2015年

10 譚羅生;基于MPEG-7的視頻內(nèi)容描述及在檢索應用中的研究[D];江西師范大學;2004年

，

本文編號：1425523