發(fā)布時間：2021-03-17 20:03

　　短視頻作為一種新興社交媒介,具有時長短,入門簡單,易于分享等特點,更加滿足當前網絡社交的需求。使其在十年之內得到了快速發(fā)展,經歷萌芽期,成長期,如今已進入爆發(fā)期。然而,伴隨著用戶數,短視頻庫存量,以及市場規(guī)模的快速增長,如何管理和組織好海量的短視頻是當前短視頻行業(yè)發(fā)展所面臨的一個巨大的挑戰(zhàn)。本學位論文旨在通過使用機器學習技術進行自動化的短視頻表示學習,促進海量短視頻的自動化、智能化地組織和管理,解決實際應用中存在的關鍵問題。同時,該研究成果也可以被推廣至其他相關科學領域,如傳統長視頻的理解,多媒體內容推薦,社交網絡分析等,一定程度上解決相關理論研究中存在的科學問題。雖然國內外學者對于短視頻表示學習的研究已經取得一系列優(yōu)秀成果,但是這些工作都未充分考慮短視頻的自身特點,孤立的考慮內容信息對于表示學習的影響,忽略了其中所涉及的復雜關系。因此,本課題從短視頻自身特點出發(fā),探索短視頻表示學習過程中存在的復雜關系,并對其進行建模以優(yōu)化短視頻表示學習。因此,本學位論文以短視頻表示學習過程中存在的復雜關系為主要研究對象,并結合實際應用進行深入挖掘與分析,將短視頻應用中存在的復雜關系由內及外歸納為三個... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：121 頁

【學位級別】：博士

【部分圖文】：

圖１－１短視頻特點及其發(fā)展歷史??

１??模的短Ｍ表小學習＾＾頻共現關系趣Ｉ??基于復雜關系建模＿?１???＾——????????????＿——＿?＿?＿１??的短視頻表示學習???－－－－－－－－，??４?“ＩＳＳＳ?—?釅個”??賺木學ｄ?！；簽人？系狐?化推＃??，一一?一一一一?一?一一一?一?—?）??￥Ｈ．混合關系讓設的視頻－ｗ戶ｍ（同投１??Ｉ????????????Ｉ??圖１－３木學位論文研究Ｓ標及研宂內容??上限制了短視頻表示向量的表達能力。具體地，對于短視頻不同模態(tài)間的關系，??現有的方法僅僅考慮不同模態(tài)之間存在的一致性部分，而對于存在的其他關系??鮮有涉獵；對短視頻間存在的相互關聯，尚沒有工作進行探索；除此之外，作??為短視頻重要組成部分的社交信息也遠遠沒有得到充分研宂；進而，對于多種??不同關系同時＃在的混合關系更是Ａ前方法所沒行探索的屯要研宄內容。ｗ此，??本論文結合短視頻特點提出貓ｒｓ雜關系建模的短視頻表示學習技術研究是非??常有必要的。??１．３研究目標、研究內容及主要創(chuàng)新點??１．３．１研究＠標??本論文旨在研究短視頻應用中存在的復雜關系對于短視頻表示學習的作用，??針對＋同關系的特點進行建模并將其融入短視頻表示中，以加強表示向量的表??達能力。除此之外，本論文將理論方法與具體任務相結合以驗證本論文所提出??方法的有效性，具體目標如圖１－３，具體研究目標如下：??１．研究并實現一種關系敏感的神經協同學習模型，該方法可以自動的發(fā)現、建??模不同模態(tài)信息間的一致性關系以及互補性關系，并利用這

視頻??中音頻質量低的問題，并利用不同模態(tài)間的一致性關系進行多模態(tài)的融合，最??終獲得更好的實驗結果。綜合以上方法不難發(fā)現，各學者通過引入共空間并將??異構數據投影到該空間中以期獲得多模態(tài)信息的融合表示。然而，在投影過程??中，不可避免地造成單一模態(tài)所特有信息的損失，這很大程度上影響了短視頻??的表達學習。??ＭＭ－?－Ｈ＆ｉＪｉｌ??Ａｉｇｉｒｌｊｆｅｅｄｓ?ｔｈｅ?ｃｕｔｅｊｄｏｇｊｗｉｔｈ?ａ?ｇｉａｎｔｐｏｌｌｉｐｏｑｊｏｎ?ｔｈｅ［ｃａｍｐｕ４??了?爭???｜??圖２－１視覺模態(tài)與文本模態(tài)之間的關系示意圖??進一步分析可知，現有的方法在多模態(tài)融合中僅考慮了不同模態(tài)間存在的共??同部分，即一致信息，而忽略了構成多模態(tài)間復雜關系的其他部分。事實上，多??模態(tài)之間的關系不僅是一致性關系，它是更復雜的，例如，互補性關系是存在??于不同模態(tài)間的另一種與一致性關系同樣重要的關系類型。在本章的研宄內容??中，將進一步闡明由一致性和互補性關系組成的協同關系。本章中將一致性部??分定義為以不同形式存在于多個模態(tài)中的相同信息，如圖２－１所示，視覺模態(tài)中??紅色的糖以及文本模態(tài)中的單詞“ｌｏｌｌｉｐｏｐ”可以被認為是屬于一致性信息。相??反地，互補信息表示為僅以一種形式出現的排他性信息。例如，圖２－１文本模態(tài)??中的“ｇｉｒｌ”和視覺模態(tài)中的草地，很難找到他們在其他模態(tài)中的對應信息。因??＂１２??

【參考文獻】：
期刊論文
[1]聯合場景和行為特征的短視頻行為識別[J]. 董旭,譚勵,周麗娜,宋艷艷.  計算機科學與探索. 2020(10)

碩士論文
[1]融合視覺和文本的短標注視頻情感分析研究[D]. 萬俊偉.南京郵電大學 2019
[2]基于深度學習的分類預測算法研究及實現[D]. 高旭旭.北京郵電大學 2019
[3]融合社交關系的人像短視頻推薦系統的研究與實現[D]. 鄔桐.遼寧大學 2019
[4]面向短視頻的自然語言生成描述方法[D]. 艾江波.電子科技大學 2019
[5]基于內容的短視頻拷貝檢測系統的設計與實現[D]. 李東浩.北京交通大學 2018



本文編號：3087640