自風(fēng)格遷移算法被提出以來(lái),相關(guān)的研究層出不窮,該研究在圖像渲染、上色、藝術(shù)創(chuàng)作以及實(shí)際應(yīng)用問(wèn)題中具有重要的需求。而在視頻風(fēng)格遷移問(wèn)題中,人們發(fā)現(xiàn)生成的風(fēng)格化視頻常常出現(xiàn)重影、偽影以及閃爍現(xiàn)象,并且具有算法速度緩慢、效率低下的問(wèn)題。因此,研究如何同時(shí)提高視頻風(fēng)格遷移算法的時(shí)域穩(wěn)定性和算法速度具有重要的研究意義。傳統(tǒng)的視頻風(fēng)格遷移算法基于迭代優(yōu)化,通過(guò)相鄰兩幀之間的正反向光流來(lái)約束風(fēng)格化視頻的時(shí)域一致性,雖然能生成效果較好的風(fēng)格化視頻,但耗時(shí)較長(zhǎng),算法速度遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際應(yīng)用的需求。而現(xiàn)有的基于深度學(xué)習(xí)的視頻風(fēng)格遷移算法,利用前饋卷積網(wǎng)絡(luò)對(duì)視頻進(jìn)行風(fēng)格化,這樣雖然可以實(shí)時(shí)地生成風(fēng)格化視頻,然而生成的風(fēng)格化視頻的時(shí)域連續(xù)性較低,閃爍現(xiàn)象嚴(yán)重,因此,本文主要針對(duì)基于深度學(xué)習(xí)的視頻風(fēng)格遷移算法進(jìn)行研究,并提出改進(jìn)。本文主要的研究點(diǎn)和貢獻(xiàn)如下:1.提出了一種基于光流約束和前饋卷積神經(jīng)網(wǎng)絡(luò)的視頻風(fēng)格遷移方法。本文將傳統(tǒng)方法與基于深度學(xué)習(xí)的視頻風(fēng)格遷移方法相結(jié)合,利用傳統(tǒng)方法中使用光流約束前后視頻時(shí)域一致性的思想,設(shè)計(jì)時(shí)域損失函數(shù)以增強(qiáng)網(wǎng)絡(luò)模型對(duì)視頻相鄰幀之間時(shí)域相關(guān)性的學(xué)習(xí)能力,從而提高風(fēng)格化視頻的連...

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3.3Septuplets視頻組示例

后的結(jié)果做均方誤差，采用逐像素計(jì)算的方法約束時(shí)域損失。該網(wǎng)絡(luò)僅在訓(xùn)練過(guò)程中需要用到光流計(jì)算以約束時(shí)域損失，由于訓(xùn)練時(shí)已經(jīng)加入了對(duì)時(shí)域一致性的限制，訓(xùn)練出的風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)可以直接應(yīng)用于各種視頻序列，產(chǎn)生連貫的風(fēng)格化視頻。因此，在測(cè)試階段直接通過(guò)風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)便可以實(shí)時(shí)得到轉(zhuǎn)換后的結(jié)果，....

圖3.4DAVIS數(shù)據(jù)集視頻示例

西安電子科技大學(xué)碩士學(xué)位論文包括90組視頻，每組視頻大概有70幀，這樣既可以用來(lái)對(duì)比風(fēng)格化視頻的短時(shí)一致性，又可以對(duì)比長(zhǎng)時(shí)一致性。從DAVIS數(shù)據(jù)集和MPI-Sintel數(shù)據(jù)集中各選取五組視頻，視頻樣例如圖3.4、圖3.5所示。

圖3.5MPI-Sintel數(shù)據(jù)集視頻示例

視頻樣例如圖3.4、圖3.5所示。圖3.4DAVIS數(shù)據(jù)集視頻示例

圖3.6不同風(fēng)格的藝術(shù)作品示例

(c)Shipwreck(d)RainPrincess(e)CompositionVII(f)TheStarryNight圖3.6不同風(fēng)格的藝術(shù)作品示例

本文編號(hào)：3911415