以限域擬牛頓法為導(dǎo)向的風(fēng)格遷移算法研究
發(fā)布時(shí)間:2020-12-15 23:58
隨著深度學(xué)習(xí)在人工智能領(lǐng)域技術(shù)的不斷發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域取得巨大成功。卷積神經(jīng)網(wǎng)絡(luò)不僅在語(yǔ)音識(shí)別、圖像識(shí)別、圖像分割、自然語(yǔ)言處理上研究成果豐碩,而且在風(fēng)格遷移技術(shù)上不斷提升。在圖像處理方面,圖像風(fēng)格遷移技術(shù)的趣味性就是將一張照片在內(nèi)容度不變的情況下被渲染成有藝術(shù)特性的新畫(huà)作。圖像風(fēng)格遷移主要是指利用機(jī)器學(xué)習(xí)算法學(xué)習(xí)具有藝術(shù)代表性畫(huà)作的風(fēng)格,并將這種風(fēng)格遷移到給定圖片上的技術(shù)。通過(guò)對(duì)當(dāng)前已研究的基于深度學(xué)習(xí)的風(fēng)格藝術(shù)化算法的設(shè)計(jì)與實(shí)現(xiàn),發(fā)現(xiàn)存在著一些問(wèn)題,比如:卷積神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)圖像風(fēng)格遷移中出現(xiàn)的圖像失真及精度較差問(wèn)題、將風(fēng)格遷移傳輸至文字上時(shí),文體的風(fēng)格化結(jié)果辨別不清。本文針對(duì)這些問(wèn)題提出如下解決方案:(1)針對(duì)卷積神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)圖像風(fēng)格遷移中出現(xiàn)的準(zhǔn)確度下降及圖像失真的問(wèn)題,提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法。首先分析了傳統(tǒng)的紋理重構(gòu)算法,采用擬牛頓法之一的L-BFGS優(yōu)化方法對(duì)其進(jìn)行改進(jìn);然后利用Gram矩陣計(jì)算圖片中的紋理、顏色和視覺(jué)信息,并提取一張普通圖片和一張具有代表性的藝術(shù)性圖像的兩種高層抽象特征表示,從而生成具有原內(nèi)容和藝術(shù)性風(fēng)格的合成圖像。在以Ten...
【文章來(lái)源】:沈陽(yáng)師范大學(xué)遼寧省
【文章頁(yè)數(shù)】:45 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Prima效果圖
實(shí)鬧?建。DumoulinV[9]在卷積層權(quán)重相同的條件下根據(jù)不同的樣式設(shè)計(jì)不同的模型,提出多個(gè)模型可共用一個(gè)模型,實(shí)現(xiàn)實(shí)時(shí)風(fēng)格差補(bǔ)并緩解空間問(wèn)題。在國(guó)內(nèi)的圖像風(fēng)格遷移中,眾多學(xué)者同樣在風(fēng)格遷移算法上做出許多貢獻(xiàn)。王通平[10]解決了監(jiān)控人臉數(shù)據(jù)在風(fēng)格遷移上的域間差異問(wèn)題,區(qū)別于基于特征的域適應(yīng)方法,在現(xiàn)有帶標(biāo)簽的數(shù)據(jù)下進(jìn)行風(fēng)格遷移。姚可欣教授等[11]設(shè)計(jì)一種基于遷移學(xué)習(xí)技術(shù)的簡(jiǎn)筆畫(huà)識(shí)別模型,解決樣本庫(kù)數(shù)據(jù)量小的問(wèn)題,利用風(fēng)格遷移提高了識(shí)別簡(jiǎn)筆畫(huà)的識(shí)別準(zhǔn)確度。下圖為Gatys算法所產(chǎn)生的圖像遷移效果圖:圖1.2基于Gatys提出算法的圖像遷移化在文字風(fēng)格遷移技術(shù)上的早期研究中,中文漢字字體中間的風(fēng)格差異主要在于線條與結(jié)構(gòu)之間的差異。字體合成的使用在以前主要基于輪廓的幾何建模,而由Gatys提出的創(chuàng)新點(diǎn)[5]不僅用于圖像遷移,還可運(yùn)用在文字遷移上。借助人工智能技術(shù)實(shí)現(xiàn)文字風(fēng)格的設(shè)計(jì)逐漸成為研究熱點(diǎn),研究人員已經(jīng)研究了從圖像中建模字形的方法。滕少華[12]提出一種基于生成式對(duì)抗網(wǎng)絡(luò)的中文字體風(fēng)格遷移的新方法,使用基于殘差結(jié)構(gòu)的生成式模型,在均方誤差約束下,實(shí)現(xiàn)不同中文字體間一對(duì)一和多對(duì)多的風(fēng)格遷移。肖奮溪[13]采用編碼器-解碼器的模型并引入連通橋結(jié)構(gòu)、加入標(biāo)簽控制多種風(fēng)格訓(xùn)練和生成文字,在個(gè)人手動(dòng)控制的基礎(chǔ)上實(shí)現(xiàn)圓滑過(guò)渡及小樣本風(fēng)格遷移。AzadiS[14]中的多內(nèi)容GAN模型由GlyphNet網(wǎng)絡(luò)用于預(yù)測(cè)粗略的字形形狀、以及OrnaNet網(wǎng)絡(luò)預(yù)測(cè)最終字形的顏色和紋理。ZhangXY[15]設(shè)計(jì)映射函數(shù),區(qū)分了對(duì)抗損失函數(shù)和循環(huán)一致?lián)p失函數(shù),強(qiáng)調(diào)多重循環(huán)一致性,無(wú)
以限域擬牛頓法為導(dǎo)向的風(fēng)格遷移算法研究-4-需像卷積神經(jīng)網(wǎng)絡(luò)一樣將手寫(xiě)軌跡轉(zhuǎn)化為圖像表示,最終提出一種基于生成對(duì)抗網(wǎng)絡(luò)來(lái)識(shí)別和生成文字。國(guó)內(nèi)外學(xué)者在文字遷移上的研究越來(lái)越多。如今,深度學(xué)習(xí)與圖像的結(jié)合越來(lái)越廣泛,谷歌推出的畫(huà)簡(jiǎn)筆畫(huà)的工具Autodraw,任意畫(huà)幾筆,算法便可識(shí)別出想要畫(huà)什么圖案。再如谷歌2015年研究并發(fā)行的“深夢(mèng)”技術(shù),展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域的不斷創(chuàng)新。下圖1.3為深夢(mèng)效果圖:圖1.3深夢(mèng)之終夢(mèng)效果圖從近年來(lái)層出不窮的圖像及文字處理方面來(lái)看,人們?cè)陲L(fēng)格化算法方面有著越來(lái)越多的研究與想法。深度學(xué)習(xí)不僅在圖像識(shí)別、圖像處理有重大創(chuàng)新,尤其是在風(fēng)格化遷移技術(shù)方面,深度學(xué)習(xí)為圖像處理帶來(lái)更多的創(chuàng)新。而且,基于深度學(xué)習(xí)的風(fēng)格化不僅可應(yīng)用在圖像和文字上,現(xiàn)已應(yīng)用在視頻上進(jìn)行創(chuàng)新。RuderM[16]等提出一種以神經(jīng)網(wǎng)絡(luò)為原理傳輸?shù)揭曨l的幀中,并以暫時(shí)一致性損失函數(shù)為約束實(shí)現(xiàn)視頻中圖像的快速藝術(shù)風(fēng)格化。微軟研究員[17]提出第一個(gè)端到端的在線視頻風(fēng)格遷移模型,實(shí)現(xiàn)于單風(fēng)格和多風(fēng)格的圖像遷移網(wǎng)絡(luò)上,實(shí)現(xiàn)了風(fēng)格化視頻的連續(xù)性和穩(wěn)定性,在視頻風(fēng)格遷移上作出很大貢獻(xiàn)。1.3本文主要研究?jī)?nèi)容通過(guò)對(duì)國(guó)內(nèi)外研究現(xiàn)狀及風(fēng)格遷移算法的相關(guān)研究和理論結(jié)果,發(fā)現(xiàn)眾多學(xué)者提出的風(fēng)格遷移算法在實(shí)現(xiàn)上還存在很多問(wèn)題。所以本文算法主要對(duì)基于VGGNet的風(fēng)格遷移提出相應(yīng)的補(bǔ)充和改進(jìn),最終利用VGG19卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了圖像風(fēng)格藝術(shù)遷移、單種文字風(fēng)格遷移和兩種文字風(fēng)格遷移;谝陨戏治,本文主要的研究?jī)?nèi)容為:首先,實(shí)現(xiàn)Gatys提出的基于VGG19的卷積神經(jīng)網(wǎng)絡(luò)在圖像上的風(fēng)格遷移,在該算法的基礎(chǔ)上發(fā)現(xiàn)問(wèn)題后改進(jìn)并降低損失度。在實(shí)現(xiàn)圖像風(fēng)格遷移中,輸入的內(nèi)容圖像經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后,以選定的?
本文編號(hào):2919130
【文章來(lái)源】:沈陽(yáng)師范大學(xué)遼寧省
【文章頁(yè)數(shù)】:45 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Prima效果圖
實(shí)鬧?建。DumoulinV[9]在卷積層權(quán)重相同的條件下根據(jù)不同的樣式設(shè)計(jì)不同的模型,提出多個(gè)模型可共用一個(gè)模型,實(shí)現(xiàn)實(shí)時(shí)風(fēng)格差補(bǔ)并緩解空間問(wèn)題。在國(guó)內(nèi)的圖像風(fēng)格遷移中,眾多學(xué)者同樣在風(fēng)格遷移算法上做出許多貢獻(xiàn)。王通平[10]解決了監(jiān)控人臉數(shù)據(jù)在風(fēng)格遷移上的域間差異問(wèn)題,區(qū)別于基于特征的域適應(yīng)方法,在現(xiàn)有帶標(biāo)簽的數(shù)據(jù)下進(jìn)行風(fēng)格遷移。姚可欣教授等[11]設(shè)計(jì)一種基于遷移學(xué)習(xí)技術(shù)的簡(jiǎn)筆畫(huà)識(shí)別模型,解決樣本庫(kù)數(shù)據(jù)量小的問(wèn)題,利用風(fēng)格遷移提高了識(shí)別簡(jiǎn)筆畫(huà)的識(shí)別準(zhǔn)確度。下圖為Gatys算法所產(chǎn)生的圖像遷移效果圖:圖1.2基于Gatys提出算法的圖像遷移化在文字風(fēng)格遷移技術(shù)上的早期研究中,中文漢字字體中間的風(fēng)格差異主要在于線條與結(jié)構(gòu)之間的差異。字體合成的使用在以前主要基于輪廓的幾何建模,而由Gatys提出的創(chuàng)新點(diǎn)[5]不僅用于圖像遷移,還可運(yùn)用在文字遷移上。借助人工智能技術(shù)實(shí)現(xiàn)文字風(fēng)格的設(shè)計(jì)逐漸成為研究熱點(diǎn),研究人員已經(jīng)研究了從圖像中建模字形的方法。滕少華[12]提出一種基于生成式對(duì)抗網(wǎng)絡(luò)的中文字體風(fēng)格遷移的新方法,使用基于殘差結(jié)構(gòu)的生成式模型,在均方誤差約束下,實(shí)現(xiàn)不同中文字體間一對(duì)一和多對(duì)多的風(fēng)格遷移。肖奮溪[13]采用編碼器-解碼器的模型并引入連通橋結(jié)構(gòu)、加入標(biāo)簽控制多種風(fēng)格訓(xùn)練和生成文字,在個(gè)人手動(dòng)控制的基礎(chǔ)上實(shí)現(xiàn)圓滑過(guò)渡及小樣本風(fēng)格遷移。AzadiS[14]中的多內(nèi)容GAN模型由GlyphNet網(wǎng)絡(luò)用于預(yù)測(cè)粗略的字形形狀、以及OrnaNet網(wǎng)絡(luò)預(yù)測(cè)最終字形的顏色和紋理。ZhangXY[15]設(shè)計(jì)映射函數(shù),區(qū)分了對(duì)抗損失函數(shù)和循環(huán)一致?lián)p失函數(shù),強(qiáng)調(diào)多重循環(huán)一致性,無(wú)
以限域擬牛頓法為導(dǎo)向的風(fēng)格遷移算法研究-4-需像卷積神經(jīng)網(wǎng)絡(luò)一樣將手寫(xiě)軌跡轉(zhuǎn)化為圖像表示,最終提出一種基于生成對(duì)抗網(wǎng)絡(luò)來(lái)識(shí)別和生成文字。國(guó)內(nèi)外學(xué)者在文字遷移上的研究越來(lái)越多。如今,深度學(xué)習(xí)與圖像的結(jié)合越來(lái)越廣泛,谷歌推出的畫(huà)簡(jiǎn)筆畫(huà)的工具Autodraw,任意畫(huà)幾筆,算法便可識(shí)別出想要畫(huà)什么圖案。再如谷歌2015年研究并發(fā)行的“深夢(mèng)”技術(shù),展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)在圖像領(lǐng)域的不斷創(chuàng)新。下圖1.3為深夢(mèng)效果圖:圖1.3深夢(mèng)之終夢(mèng)效果圖從近年來(lái)層出不窮的圖像及文字處理方面來(lái)看,人們?cè)陲L(fēng)格化算法方面有著越來(lái)越多的研究與想法。深度學(xué)習(xí)不僅在圖像識(shí)別、圖像處理有重大創(chuàng)新,尤其是在風(fēng)格化遷移技術(shù)方面,深度學(xué)習(xí)為圖像處理帶來(lái)更多的創(chuàng)新。而且,基于深度學(xué)習(xí)的風(fēng)格化不僅可應(yīng)用在圖像和文字上,現(xiàn)已應(yīng)用在視頻上進(jìn)行創(chuàng)新。RuderM[16]等提出一種以神經(jīng)網(wǎng)絡(luò)為原理傳輸?shù)揭曨l的幀中,并以暫時(shí)一致性損失函數(shù)為約束實(shí)現(xiàn)視頻中圖像的快速藝術(shù)風(fēng)格化。微軟研究員[17]提出第一個(gè)端到端的在線視頻風(fēng)格遷移模型,實(shí)現(xiàn)于單風(fēng)格和多風(fēng)格的圖像遷移網(wǎng)絡(luò)上,實(shí)現(xiàn)了風(fēng)格化視頻的連續(xù)性和穩(wěn)定性,在視頻風(fēng)格遷移上作出很大貢獻(xiàn)。1.3本文主要研究?jī)?nèi)容通過(guò)對(duì)國(guó)內(nèi)外研究現(xiàn)狀及風(fēng)格遷移算法的相關(guān)研究和理論結(jié)果,發(fā)現(xiàn)眾多學(xué)者提出的風(fēng)格遷移算法在實(shí)現(xiàn)上還存在很多問(wèn)題。所以本文算法主要對(duì)基于VGGNet的風(fēng)格遷移提出相應(yīng)的補(bǔ)充和改進(jìn),最終利用VGG19卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了圖像風(fēng)格藝術(shù)遷移、單種文字風(fēng)格遷移和兩種文字風(fēng)格遷移;谝陨戏治,本文主要的研究?jī)?nèi)容為:首先,實(shí)現(xiàn)Gatys提出的基于VGG19的卷積神經(jīng)網(wǎng)絡(luò)在圖像上的風(fēng)格遷移,在該算法的基礎(chǔ)上發(fā)現(xiàn)問(wèn)題后改進(jìn)并降低損失度。在實(shí)現(xiàn)圖像風(fēng)格遷移中,輸入的內(nèi)容圖像經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后,以選定的?
本文編號(hào):2919130
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/2919130.html
最近更新
教材專著