本文選題：人物行為語(yǔ)義　切入點(diǎn)：社交關(guān)系　出處：《南京郵電大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：識(shí)別視頻中人物行為與社交關(guān)系是理解視頻語(yǔ)義的重要任務(wù),其主要難點(diǎn)在于如何通過(guò)運(yùn)用深度學(xué)習(xí)等算法來(lái)分析和整合與人物行為相關(guān)的視頻語(yǔ)義線索。近年來(lái)傳統(tǒng)的深度學(xué)習(xí)算法在簡(jiǎn)單靜態(tài)圖片識(shí)別方面取得了突出成就,但是仍不能滿足視頻中復(fù)雜的人物行為與社交關(guān)系識(shí)別要求。本學(xué)位論文以識(shí)別視頻中的人物行為語(yǔ)義與社交關(guān)系為研究目標(biāo),首先提出一種基于長(zhǎng)短期記憶(LSTM)模型的語(yǔ)義識(shí)別算法來(lái)識(shí)別視頻中人物行為,再通過(guò)一種基于無(wú)向有權(quán)圖的節(jié)點(diǎn)聚類算法來(lái)完成視頻中人物社交分組,最后通過(guò)部分標(biāo)記因子圖模型(SPLP-FGM)來(lái)推斷視頻中人物的社交關(guān)系。此外,本文在微軟視頻描述語(yǔ)料、電影描述的語(yǔ)料庫(kù)兩個(gè)數(shù)據(jù)集上進(jìn)行人物行為語(yǔ)義識(shí)別實(shí)驗(yàn),在電視劇Friends數(shù)據(jù)集上進(jìn)行人物社交關(guān)系識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文提出的基于LSTM模型的語(yǔ)義識(shí)別算法能夠高效和全面地識(shí)別視頻中人物的行為語(yǔ)義,部分標(biāo)記因子圖模型能夠有效地識(shí)別視頻中人物之間的社交關(guān)系。本文的工作創(chuàng)新主要體現(xiàn)在以下三個(gè)方面:(1)利用卷積神經(jīng)網(wǎng)絡(luò)并行地抽取每個(gè)視頻場(chǎng)景中的人物身份、人物動(dòng)作和上下文等三個(gè)方面的中層語(yǔ)義特征,通過(guò)兩層循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)融合這三個(gè)方面的語(yǔ)義信息來(lái)完成視頻中人物行為語(yǔ)義的識(shí)別;(2)將視頻中的人物社交映射成無(wú)向有權(quán)圖,通過(guò)一種基于無(wú)向有權(quán)圖的節(jié)點(diǎn)聚類算法來(lái)完成視頻中人物的社交分組;(3)在完成視頻中人物的社交分組和行為語(yǔ)義識(shí)別的基礎(chǔ)上,通過(guò)構(gòu)建和學(xué)習(xí)部分標(biāo)記因子圖模型來(lái)推斷視頻中所有的未知人物社交關(guān)系。
[Abstract]:It is an important task to understand the meaning of video to identify the relationship between the behavior and social relationship of the characters in the video. The main difficulty lies in how to analyze and integrate the video semantic clues related to the behavior of characters by using deep learning algorithms. In recent years, traditional depth learning algorithms have made outstanding achievements in simple static image recognition. However, it still can not meet the requirements of complex character behavior and social relationship recognition in video. This dissertation aims to identify the semantic and social relationship of character behavior in video. Firstly, a semantic recognition algorithm based on LSTM (long and short memory) model is proposed to identify the behavior of characters in video. Then, a node clustering algorithm based on undirected weighted graph is proposed to realize the social grouping of characters in video. Finally, the social relationship of the characters in the video is inferred by the partial tagging factor graph model (SPLP-FGM). In addition, the experiment of character behavior semantic recognition is carried out on the two data sets of Microsoft video description corpus and movie description corpus. The experiment of character social relationship recognition on TV series Friends dataset shows that the proposed semantic recognition algorithm based on LSTM model can effectively and comprehensively recognize the behavioral semantics of the characters in the video. Part of the tagging factor graph model can effectively identify the social relationship between the characters in the video. The work innovation of this paper is mainly reflected in the following three aspects: 1) using convolution neural network to extract the identity of the characters in each video scene in parallel. The middle semantic features of character action and context, The two-layer cyclic neural network is used to fuse the semantic information of these three aspects to realize the semantic recognition of the behavior of the characters in the video. (2) the social interaction of the characters in the video is mapped into an undirected weighted graph. In this paper, a node clustering algorithm based on undirected weighted graph is used to realize the social grouping of the characters in the video, which is based on the recognition of the social grouping and behavioral semantics of the characters in the video. By constructing and learning partial marker factor graph model, we infer the social relationship of all unknown characters in the video.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;四款微視頻服務(wù)介紹:微視頻時(shí)代即將到來(lái)?[J];硅谷;2011年10期

2 楊富強(qiáng);愛(ài)維德在中國(guó)拓展新視頻領(lǐng)域[J];今日電子;1996年04期

3 王縵縵;愛(ài)維德技術(shù)公司在中國(guó)拓展新視頻領(lǐng)域[J];現(xiàn)代電信科技;1996年04期

4 陳永東;;2010年網(wǎng)絡(luò)視頻領(lǐng)域發(fā)展趨勢(shì)[J];軟件工程師;2010年Z1期

5 蘇巖;;微視頻發(fā)展歷史研究[J];軟件導(dǎo)刊(教育技術(shù));2011年11期

6 瞬雨;;視頻突破:聚合的開(kāi)放性意義[J];軟件工程師;2009年06期

7 吳勇毅;;以創(chuàng)新破困局——2012視頻網(wǎng)業(yè)之嬗變[J];軟件工程師;2012年05期

8 李蕭然;;三視頻巨頭棄成見(jiàn)結(jié)盟 二三線陣營(yíng)面臨生死抉擇[J];IT時(shí)代周刊;2012年10期

9 賈志宏 ,康文萱;1993年《國(guó)際音視頻》雜志視頻大獎(jiǎng)賽[J];今日電子;1994年01期

10 莫黎,方驊;多媒體技術(shù)在視頻領(lǐng)域中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2002年05期

相關(guān)會(huì)議論文 前10條

1 楊黎娟;秦榮;;淺談研究生學(xué)位論文檔案管理及開(kāi)發(fā)利用[A];陜西省檔案學(xué)會(huì)第八次檔案學(xué)術(shù)討論會(huì)論文選輯[C];2004年

2 龔樂(lè)年;;芻議影響研究生業(yè)務(wù)培養(yǎng)質(zhì)量的幾個(gè)原因[A];第二屆全國(guó)高校電氣工程及其自動(dòng)化專業(yè)教學(xué)改革研討會(huì)論文集（下冊(cè)）[C];2004年

3 蔡妙花;曹春;趙乃良;;優(yōu)化管理提升研究生培養(yǎng)質(zhì)量的探索和實(shí)踐[A];電子高等教育學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集[C];2008年

4 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

5 周樹(shù)德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

6 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

7 郭愛(ài)克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

9 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

10 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

相關(guān)重要報(bào)紙文章 前10條

1 西平;億萬(wàn)財(cái)富百日造 網(wǎng)絡(luò)視頻的現(xiàn)實(shí)抉擇[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2006年

2 薛娟;網(wǎng)絡(luò)視頻：燒錢(qián)不賺錢(qián)？[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2007年

3 張牧涵;網(wǎng)絡(luò)視頻挑戰(zhàn)電視[N];市場(chǎng)報(bào);2007年

4 張亞萍;“新規(guī)”加速視頻業(yè)健康發(fā)展[N];光明日?qǐng)?bào);2009年

5 本報(bào)記者 黃智軍;第一視頻 出擊微視頻 打造明星團(tuán)隊(duì)[N];計(jì)算機(jī)世界;2010年

6 本報(bào)記者 劉燕;第一視頻主推微視頻[N];科技日?qǐng)?bào);2010年

7 實(shí)習(xí)記者 俞悅;網(wǎng)絡(luò)視頻試圖聯(lián)姻傳統(tǒng)行業(yè) 基因成本眾多因素左右其抉擇[N];中國(guó)計(jì)算機(jī)報(bào);2008年

8 商報(bào)實(shí)習(xí)記者 魏蔚;新浪推微視頻趕搭行業(yè)末班車[N];北京商報(bào);2011年

9 本報(bào)記者 王榮;激動(dòng)網(wǎng)首推視頻云計(jì)劃[N];中國(guó)證券報(bào);2011年

10 本報(bào)記者 任曉寧;微視頻一路升溫：產(chǎn)業(yè)前景日見(jiàn)清晰[N];中國(guó)新聞出版報(bào);2012年

相關(guān)博士學(xué)位論文 前10條

1 趙敏丞;無(wú)線網(wǎng)絡(luò)中視頻跨層傳輸關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

2 耿杰;視頻概念檢測(cè)中的領(lǐng)域自適應(yīng)和語(yǔ)義關(guān)聯(lián)研究[D];北京交通大學(xué);2016年

3 劉桂清;視頻摘要技術(shù)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2004年

4 梅濤;家用視頻內(nèi)容分析方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

5 宋彥;視頻語(yǔ)義標(biāo)注方法和理論的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

6 付暢儉;基于內(nèi)容的視頻結(jié)構(gòu)挖掘方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

7 于翔;國(guó)家可持續(xù)發(fā)展實(shí)驗(yàn)區(qū)能力評(píng)估及示范效應(yīng)實(shí)證研究[D];西南交通大學(xué);2015年

8 Akanand Singh;[D];重慶醫(yī)科大學(xué);2016年

9 AJAY KUMAR MISHRA;[D];重慶醫(yī)科大學(xué);2016年

10 PRIYANKA SHUKLA;[D];重慶醫(yī)科大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 高翔;基于視頻深度學(xué)習(xí)的人物行為分析與社交關(guān)系識(shí)別[D];南京郵電大學(xué);2017年

2 王俊;隨機(jī)步長(zhǎng)無(wú)向環(huán)網(wǎng)通信延遲的研究[D];安徽工業(yè)大學(xué);2017年

3 王嫣然;視頻的美學(xué)和有趣性計(jì)算角度[D];復(fù)旦大學(xué);2014年

4 陳倬;3D視頻c\索引擎中3D視頻識(shí)別和聚類的研究[D];電子科技大學(xué);2014年

5 范玉憲;視頻監(jiān)控中人體跟蹤的研究與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2015年

6 姜麗秋;視頻網(wǎng)站傳播模式及發(fā)展策略研究[D];湖南師范大學(xué);2015年

7 張艷茹;視頻網(wǎng)站成本費(fèi)用控制分析[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2016年

8 尹路通;基于隱語(yǔ)義模型的網(wǎng)絡(luò)視頻推薦系統(tǒng)研究[D];新疆大學(xué);2016年

9 王浩宇;特效在微視頻領(lǐng)域的應(yīng)用研究[D];上海師范大學(xué);2016年

10 任曉琴;鬼畜視頻的“熱傳播”現(xiàn)象研究[D];四川師范大學(xué);2016年

，

本文編號(hào)：1565196