對抗生成網(wǎng)絡表情生成研究
發(fā)布時間：2021-04-15 11:47
臉部表情生成技術持續(xù)的研究,在圖形、視頻、動畫方面取得了長久的進步。人的臉部特征提供了大量豐富的信息,是身份識別與情感表達的重要關注部分。在實際生活中臉部表情生成技術有廣泛的應用,如娛樂影視制作、計算機動畫合成,以及醫(yī)療美容模擬等,得益于圖像變形技術的發(fā)展,以及深度神經(jīng)網(wǎng)絡模型的發(fā)展,只需要建立生成式模型就可以減少人工建模的繁雜操作,所以臉部表情生成技術有著廣闊的發(fā)展前景。本文的主要工作圍繞表情生成技術研究中存在難點展開,本論文的研究對表情生成的三個方面進行了改進。一是連續(xù)性的表情生成控制方法;二是支持類別間轉化（不同表情）和不同類型轉化（不同風格）的方法;三是圖像效果評價的量化方法與生成質量的優(yōu)化策略。對于傳統(tǒng)臉部動畫表情生成技術金錢人力成本高,后期修改維護困難的問題。在框架中采用類似于對抗生成網(wǎng)絡中的CycleGAN的結構,并在其結構的不同部分加入表情參數(shù)的控制。在模型參數(shù)上設計的結構較為簡單,運行速度快。生成對抗網(wǎng)絡開創(chuàng)性地結合生成式網(wǎng)絡和生成式網(wǎng)絡進行數(shù)據(jù)生成,但生成對抗網(wǎng)絡的生成方式限制較少,導致大量圖像像素的情況下網(wǎng)絡易失控。對于這一問題,本文設計了一種弱監(jiān)督的控制的機制,...
【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學位級別】：碩士
【部分圖文】：
本論文研究表情生成問題的框圖表達
喑�。那用晋�?先生的武俠技法，就是左右互搏。從概率統(tǒng)計的角度解釋就是在這個對抗生成的訓練過程中，使得生成器的輸出分布與真實原始域的分布一致。從常見的判別模型和生成模型，理解對抗生成網(wǎng)絡。判別模型較多見，比如二分類器會有一個判別分界線，通過這個判別分界線去區(qū)分樣本的屬性。從概率角度分析就是獲得樣本屬于類別的概率，即是一個條件概率(|)。而生成模型代表的是在搜索空間內去學習一個數(shù)據(jù)的分布，就像正太分布一樣，通過訓練擬合整個分布，就是樣本數(shù)據(jù)集在整個分布中的產生的概率，即是聯(lián)合概率()。圖2-1基礎對抗生成網(wǎng)絡結構圖[8]基于判別模型和生成模型，對抗網(wǎng)絡只是提出了一種對抗訓練的網(wǎng)絡結構。用兩個模型，一個生成模型和一個判別模型形成對抗。判別模型用于判斷一個輸入的圖像是不是真實的圖像(來自真實數(shù)據(jù)集的采樣圖像)，生成模型的任務是去模擬出一個似真的圖像。而在剛開始兩模型都是沒有經(jīng)過訓練的，這兩個模型一起交替對抗訓練，生成模型生成一張圖像去測試判別模型，然后判別模型去判斷這張圖像是真是假，最終在這兩個模型訓練的過程中，兩個模型的判別抑或生成的能力越來越顯著，最終達到穩(wěn)態(tài)。GAN在計算機視覺方面的應用豐富，當然不單單是圖像，其他方向，譬如文本、語音，或者任何只要含有規(guī)律的數(shù)據(jù)合成，都能可以用GAN實現(xiàn)。見DavidFoster的這本[36]教程，教機器來學畫畫、寫作、譜曲、游戲。
sedModel)的認知方法，對于GAN的認知還有另外一個角度，即從能量角度來展開。那就是把GAN視作一種EBM(EnergyBasedModel)模型，如EBGAN[37]。本文中將按照概率模型的這個認識的視角來對各個模型展開說明，其他視角這里就不展開了。2.2基于對抗生成網(wǎng)絡的表情生成的發(fā)展進程2014年GAN提出以來，GAN出現(xiàn)了爆發(fā)式的增長，文獻[30]中回顧了對抗生成網(wǎng)絡的算法、理論應用，文中給出了一個對抗生成網(wǎng)絡的時間表。本文對此時間表刪去本文無關的算法，同時添加與本文相關且最新的方法，畫出了表情生成相關的對抗生成網(wǎng)絡的歷史進程圖2-2。本文將對抗生成網(wǎng)絡，按主題分為三個方向，一個是圖像的控制生成，包括CGAN[10]、Pix2Pix[10]、StarGAN[20]、GANimation[22]、UFDN[24]，一個是圖像的高清生成，包括DCGAN[40]、CycleGAN[19]、PGGAN[16]、StyleGAN[17]、StyleGAN2[18]，最后一個是對抗生成網(wǎng)絡的優(yōu)化問題。其中還有控制以及高清生成的合并分支，包括StackGAN[14]、StackGAN++[15]。這些網(wǎng)絡會在本文的第二、三章結合本文的課題進行說明。在圖2-2中，我們也梳理了上面框架之間的繼承關系，方便我們了解現(xiàn)在主流的進展。圖2-2表情生成相關的對抗生成網(wǎng)絡的歷史進程對抗生成網(wǎng)絡的常用優(yōu)化。對于判別器來說，問題是在原始的GAN損失和結構下，其得到的真實數(shù)據(jù)和生成數(shù)據(jù)之間的分布差異，等效于生成分布與真實分布的JS散度，而JS散度存在嚴重的梯度彌散問題，當達到這一狀態(tài)的時候，判別器就不能對生成器給出明確的優(yōu)化方向。JS散度只有兩個分布重合時才能度量分布距離的大校針對上面的問題，WGAN[41]中提出Wassertein距離，有些文獻也稱EM距離去取代JS距離，能更好的衡量兩個分布之間的距離，且處處連
【參考文獻】：
期刊論文
[1]無參考圖像質量評價綜述[J]. 王志明. 自動化學報. 2015(06)
碩士論文
[1]人臉表情遷移與分析方法研究[D]. 蒲倩.西安電子科技大學 2014
本文編號：3139276
【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學位級別】：碩士
【部分圖文】：
本論文研究表情生成問題的框圖表達
喑�。那用晋�?先生的武俠技法，就是左右互搏。從概率統(tǒng)計的角度解釋就是在這個對抗生成的訓練過程中，使得生成器的輸出分布與真實原始域的分布一致。從常見的判別模型和生成模型，理解對抗生成網(wǎng)絡。判別模型較多見，比如二分類器會有一個判別分界線，通過這個判別分界線去區(qū)分樣本的屬性。從概率角度分析就是獲得樣本屬于類別的概率，即是一個條件概率(|)。而生成模型代表的是在搜索空間內去學習一個數(shù)據(jù)的分布，就像正太分布一樣，通過訓練擬合整個分布，就是樣本數(shù)據(jù)集在整個分布中的產生的概率，即是聯(lián)合概率()。圖2-1基礎對抗生成網(wǎng)絡結構圖[8]基于判別模型和生成模型，對抗網(wǎng)絡只是提出了一種對抗訓練的網(wǎng)絡結構。用兩個模型，一個生成模型和一個判別模型形成對抗。判別模型用于判斷一個輸入的圖像是不是真實的圖像(來自真實數(shù)據(jù)集的采樣圖像)，生成模型的任務是去模擬出一個似真的圖像。而在剛開始兩模型都是沒有經(jīng)過訓練的，這兩個模型一起交替對抗訓練，生成模型生成一張圖像去測試判別模型，然后判別模型去判斷這張圖像是真是假，最終在這兩個模型訓練的過程中，兩個模型的判別抑或生成的能力越來越顯著，最終達到穩(wěn)態(tài)。GAN在計算機視覺方面的應用豐富，當然不單單是圖像，其他方向，譬如文本、語音，或者任何只要含有規(guī)律的數(shù)據(jù)合成，都能可以用GAN實現(xiàn)。見DavidFoster的這本[36]教程，教機器來學畫畫、寫作、譜曲、游戲。
sedModel)的認知方法，對于GAN的認知還有另外一個角度，即從能量角度來展開。那就是把GAN視作一種EBM(EnergyBasedModel)模型，如EBGAN[37]。本文中將按照概率模型的這個認識的視角來對各個模型展開說明，其他視角這里就不展開了。2.2基于對抗生成網(wǎng)絡的表情生成的發(fā)展進程2014年GAN提出以來，GAN出現(xiàn)了爆發(fā)式的增長，文獻[30]中回顧了對抗生成網(wǎng)絡的算法、理論應用，文中給出了一個對抗生成網(wǎng)絡的時間表。本文對此時間表刪去本文無關的算法，同時添加與本文相關且最新的方法，畫出了表情生成相關的對抗生成網(wǎng)絡的歷史進程圖2-2。本文將對抗生成網(wǎng)絡，按主題分為三個方向，一個是圖像的控制生成，包括CGAN[10]、Pix2Pix[10]、StarGAN[20]、GANimation[22]、UFDN[24]，一個是圖像的高清生成，包括DCGAN[40]、CycleGAN[19]、PGGAN[16]、StyleGAN[17]、StyleGAN2[18]，最后一個是對抗生成網(wǎng)絡的優(yōu)化問題。其中還有控制以及高清生成的合并分支，包括StackGAN[14]、StackGAN++[15]。這些網(wǎng)絡會在本文的第二、三章結合本文的課題進行說明。在圖2-2中，我們也梳理了上面框架之間的繼承關系，方便我們了解現(xiàn)在主流的進展。圖2-2表情生成相關的對抗生成網(wǎng)絡的歷史進程對抗生成網(wǎng)絡的常用優(yōu)化。對于判別器來說，問題是在原始的GAN損失和結構下，其得到的真實數(shù)據(jù)和生成數(shù)據(jù)之間的分布差異，等效于生成分布與真實分布的JS散度，而JS散度存在嚴重的梯度彌散問題，當達到這一狀態(tài)的時候，判別器就不能對生成器給出明確的優(yōu)化方向。JS散度只有兩個分布重合時才能度量分布距離的大校針對上面的問題，WGAN[41]中提出Wassertein距離，有些文獻也稱EM距離去取代JS距離，能更好的衡量兩個分布之間的距離，且處處連
【參考文獻】：
期刊論文
[1]無參考圖像質量評價綜述[J]. 王志明. 自動化學報. 2015(06)
碩士論文
[1]人臉表情遷移與分析方法研究[D]. 蒲倩.西安電子科技大學 2014
本文編號：3139276
本文鏈接：http://www.sikaile.net/wenyilunwen/dongmansheji/3139276.html
教材專著
