人臉表情驅(qū)動通過表演者的面部運動來控制虛擬模型,使之產(chǎn)生與前者相似的表情效果,在電影、游戲、虛擬主播、會話代理等領(lǐng)域具有廣泛的應(yīng)用。表情驅(qū)動過程涵蓋了虛擬模型制作、表情識別和表情動畫等方面。其中,寫實的虛擬模型制作需要預(yù)先對真實人臉進(jìn)行三維重建,再進(jìn)行繁復(fù)的手工表情編輯工作。這使得在實時表情驅(qū)動系統(tǒng)中使用即時創(chuàng)建的寫實人臉模型受到了較大限制,因而現(xiàn)有的系統(tǒng)通常使用預(yù)先準(zhǔn)備好的、帶有多種表情基的三維角色作為被驅(qū)動者。對表情驅(qū)動過程涉及的關(guān)鍵技術(shù)進(jìn)行探究,設(shè)計并實現(xiàn)了一個集成可形變?nèi)四樐Ｐ椭亟�、表情識別和表情動畫于一體的自動化系統(tǒng)。該系統(tǒng)包含兩條數(shù)據(jù)通道,一是以單張人臉RGB圖像為輸入,輸出帶有表情基的可形變?nèi)四樐Ｐ?二是以人臉視頻為輸入,捕獲表情參數(shù)來控制重建的人臉模型,從而輸出與輸入人臉相似的表情動畫。主要工作包括:對現(xiàn)有的基于深度學(xué)習(xí)的人臉重建網(wǎng)絡(luò)模型進(jìn)行改進(jìn),提升其重建速度,將形變傳遞和表情融合算法作用于重建結(jié)果,實現(xiàn)了基于單張輸入圖像的自動化可形變?nèi)四樦亟?集成可形變?nèi)四樦亟�、表情識別和表情動畫三個模塊,實現(xiàn)了實時的人臉表情驅(qū)動效果。實驗結(jié)果表明,改進(jìn)的可形變?nèi)四樦亟夹g(shù)具有更優(yōu)... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

虛擬新聞主播

華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文]。也有基于精確解剖學(xué)的方法，使用皮膚組織的體積有限thod，F(xiàn)EM）[24]來控制較為精確的面部運動。基于物理的方之上，能產(chǎn)生符合面部運動規(guī)律的皮膚運動，但在實踐中卻很hapes 是一組具有不同表情的面部三維模型的集合[25]，其中拓?fù)浣Y(jié)構(gòu)，相同頂點的不同三維位置產(chǎn)生不同的形狀效果，右分別為：正常表情，張嘴，微笑。Lewis 等人[25]將 Blend臉模型，其中的個體基向量不是正交的，通過調(diào)整 BlendSh基向量相加的表情效果。但這種線性相加可能會導(dǎo)致幾何形形狀造成不正常表情，因此，一些在表情擬合過程中加入正ol 等人[26]提出了基于非負(fù)權(quán)重的順序擬合方法，Bouaziz 等人-1 范數(shù)正則化來保證其稀疏性。Lewis 等人[25]對一些權(quán)重對應(yīng)同一時刻最多只激活其中一個 BlendShape。

圖 2.1 三維點云到二維圖像的投影圖 2.2 輸入圖像和其對應(yīng)的 UV 位置圖RNet 網(wǎng)絡(luò)結(jié)構(gòu)圖回歸網(wǎng)絡(luò)為編碼-解碼結(jié)構(gòu)，使用包含一個卷積層和包含 17 個轉(zhuǎn)置卷積層的解碼器，將輸入的二維臉幾何結(jié)構(gòu)的 UV 位置映射圖像來實現(xiàn)人臉重建。于更輕量級網(wǎng)絡(luò) MobileNet[52]中的深度可分離卷積


本文編號：3401069