人臉識(shí)別技術(shù)近年來(lái)得到了顯著的發(fā)展。但識(shí)別有部分遮擋的人臉對(duì)于現(xiàn)存的人臉識(shí)別技術(shù)依舊是一個(gè)挑戰(zhàn)。在實(shí)際應(yīng)用中,對(duì)于有遮擋的人臉圖像修復(fù)的需求越來(lái)越多,如監(jiān)控和公共安全領(lǐng)域。為了能更好的識(shí)別人臉圖像,提高識(shí)別效率,需要在識(shí)別前對(duì)有遮擋的人臉圖像進(jìn)行修復(fù)還原,因?yàn)楸徽趽醪糠滞ǔ０杏绊懻麄�(gè)面部變化的關(guān)鍵特征信息(例如鼻子、眼睛、嘴巴等)。人臉圖像的修復(fù)是圖像復(fù)原領(lǐng)域研究中的一個(gè)重要課題。圖像復(fù)原作為一種常見(jiàn)的圖像編輯操作,旨在用合理的內(nèi)容填充圖像中的缺失區(qū)域。生成的內(nèi)容既需要與原始內(nèi)容保持相似,也要完全符合整體圖像,使得復(fù)原的圖像看上去是真實(shí)的。在過(guò)去的幾十年里,由于其固有的模糊性和自然圖像的復(fù)雜性,圖像復(fù)原(圖像修復(fù))一直是計(jì)算機(jī)視覺(jué)和圖像圖形界具有挑戰(zhàn)性的研究熱點(diǎn)。本文結(jié)合傳統(tǒng)的基于結(jié)構(gòu)和紋理的圖像修復(fù)、基于深度學(xué)習(xí)的圖像修復(fù)和生成對(duì)抗網(wǎng)絡(luò)的相關(guān)知識(shí),分析了人臉的關(guān)鍵點(diǎn)和結(jié)構(gòu)特征信息,提出了一種改進(jìn)的邊界均衡生成對(duì)抗網(wǎng)絡(luò)(BEGAN)模型對(duì)遮擋的人臉圖像進(jìn)行生成修復(fù),首先在CelebA數(shù)據(jù)集上訓(xùn)練BEGAN生成對(duì)抗網(wǎng)絡(luò),接著將遮擋的人臉圖像輸入BEGAN中,嘗試將遮擋部分進(jìn)行生成修復(fù);其次為了使得生成的圖像與原臉圖像更相似和更自然,算法中定義了兩個(gè)判別網(wǎng)絡(luò):全局的結(jié)構(gòu)判別網(wǎng)絡(luò)負(fù)責(zé)優(yōu)化人臉修復(fù)圖像全局的邊緣結(jié)構(gòu)信息和特征信息以保證修復(fù)的人臉圖像結(jié)果符合視覺(jué)認(rèn)知;而局部的紋理判別網(wǎng)絡(luò)則負(fù)責(zé)優(yōu)化所生成的遮擋區(qū)域與原臉圖像的其它面部?jī)?nèi)容相似(例如皮膚紋理、色澤等),使生成的人臉圖像更加自然連貫。最后綜合全局和局部?jī)蓚�(gè)判別網(wǎng)絡(luò)的損失函數(shù),利用反向傳播算法,把待修復(fù)的人臉圖像映射到較小的潛在空間,將映射后的矢量數(shù)據(jù)輸入到BEGAN中生成最佳的人臉修復(fù)圖像,從而實(shí)現(xiàn)人臉遮擋圖像的生成修復(fù)。本文在CelebA人臉圖像數(shù)據(jù)集中進(jìn)行了大量的實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析對(duì)比,主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)。在主觀評(píng)價(jià)上,主要是讓行內(nèi)和行外人員在視覺(jué)感官上對(duì)人臉圖像修復(fù)效果進(jìn)行評(píng)分;在客觀評(píng)價(jià)上,將本文模型與PatchMatch模型和Context Encoder模型做對(duì)比實(shí)驗(yàn),使用峰值信噪比和結(jié)構(gòu)相似性指數(shù)來(lái)比較模型修復(fù)效果的優(yōu)劣。結(jié)果表明,本模型能對(duì)遮擋的人臉圖像實(shí)現(xiàn)良好的修復(fù),并優(yōu)于進(jìn)行對(duì)比實(shí)驗(yàn)的兩個(gè)模型。
【學(xué)位單位】：南寧師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TP183
【部分圖文】：

2.1.1 生成對(duì)抗原理多層感知機(jī)是對(duì)抗模型框架最直接的應(yīng)用。為了在數(shù)據(jù) 上學(xué)習(xí)生成器的分布 ，在入噪聲變量 ( )上定義了一個(gè)先驗(yàn)，然后將數(shù)據(jù)空間的映射表示為 ( ; )，其中 表示是一個(gè)可微函數(shù)，由多層感知機(jī)來(lái)求解，參數(shù)為 。也定義了第二個(gè)多層感知器 ( ; )其輸出一個(gè)標(biāo)量。 ( )表示 來(lái)自數(shù)據(jù)而不是 的概率。通過(guò)不斷的訓(xùn)練 ，優(yōu)化訓(xùn)練樣本標(biāo)簽來(lái)自 的樣本和判別出來(lái)自訓(xùn)練樣本的概率。同時(shí)訓(xùn)練 來(lái)最小化log(1 ( ( )))換句話說(shuō)， 和 使用值函數(shù)V( , )來(lái)進(jìn)行下面的二元極小極大博弈：minmax ( , ) = E~ ( )[ ( | )] +~ ( )[ (1  ( ( | )))]. (2-在實(shí)際訓(xùn)練中，公式(2-4)并沒(méi)有能為生成器 提供一個(gè)好的梯度。在訓(xùn)練的前期階段由于生成器 訓(xùn)練狀況是很糟糕的，判別器 能夠很容易判斷出 生成的偽造數(shù)據(jù)并以高信度拒絕樣本，因?yàn)樗鼈兒陀?xùn)練數(shù)據(jù)有明顯的不同。在這種情況下，log(1 ( ( )))是和的�？梢宰畲蠡痩og ( ( ))來(lái)訓(xùn)練 ，而不是最小化log(1 ( ( )))。這個(gè)目標(biāo)函數(shù)能夠使得生成器 和判別器 擁有一個(gè)相同固定點(diǎn)，在訓(xùn)練的前期就能夠提供健壯的梯度

即 ( ) = 。圖 2-4 GAN 網(wǎng)絡(luò)算法流程圖圖 2-4 展示了 GAN 訓(xùn)練的偽代碼，首先在迭代次數(shù)范圍內(nèi)，對(duì)隨機(jī)噪聲 和真實(shí)樣本進(jìn)行一個(gè)批次的采樣，分析它們之間的數(shù)據(jù)分布關(guān)系，然后通過(guò)隨機(jī)梯度下降(SGD)的方法先對(duì)判別器 做 k 次更新，之后才對(duì)生成器 做一次更新，這樣做的作用是使得訓(xùn)練前期判別器 就擁有一定的判別能力去分辨真假。但在實(shí)踐的網(wǎng)絡(luò)訓(xùn)練中，我們會(huì)做相反的事情，是要多更新幾次生成器 ，才更新一次判別器 ，這樣才能讓網(wǎng)絡(luò)訓(xùn)練下去，而不是一開(kāi)始就崩潰了

這種似然估計(jì)法擁有偏高的方差，并且在高維空間性能不好，但是就我們所知它仍然是最好的方法�？梢圆蓸拥荒苤苯庸烙�(jì)似然的生成模型的進(jìn)步直接激發(fā)了如何評(píng)估此類模型的進(jìn)一步研究。圖2-5展示了訓(xùn)練完成后，生成器G所產(chǎn)生的數(shù)據(jù)樣本。盡管從整體上看，這些數(shù)據(jù)樣本并沒(méi)有比現(xiàn)有的模型所生成的樣本更好，但是相信這些樣本也是和現(xiàn)有最好的生成模型的效果相當(dāng)?shù)�，并且�?duì)抗模型更具有潛力。圖2-5 模型中樣本的可視化a)MNIST b)CIFAR-10(全連接模型) c,d)CIFAR-10(卷積判別器和解卷積生成器)

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 任澍;唐向宏;康佳倫;;紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2013年11期

本文編號(hào)：2816520