人臉識(shí)別技術(shù)被視為當(dāng)前人工智能領(lǐng)域的關(guān)鍵技術(shù),由于其享有不同于傳統(tǒng)生物識(shí)別技術(shù)的優(yōu)勢(shì),在安全防范領(lǐng)域中扮演著重要角色,并從單一場(chǎng)景使用迅速普及到各行各業(yè)中。當(dāng)前人臉識(shí)別的應(yīng)用場(chǎng)景多為用戶配合下的圖像采集,但實(shí)際更多的應(yīng)用場(chǎng)景為被采集者非配合狀態(tài)。人臉圖像信息的采集常具有不確定性、隨機(jī)性,攝像機(jī)捕獲到的人臉信息會(huì)呈現(xiàn)出扭轉(zhuǎn)、傾斜等干擾。在這樣的狀態(tài)下人臉圖像直接放入人臉識(shí)別系統(tǒng)或相關(guān)應(yīng)用中,無(wú)法順利進(jìn)行識(shí)別和比對(duì),常常會(huì)出現(xiàn)識(shí)別速度和識(shí)別率下降的情況。為了解決這一問(wèn)題,人臉正面化算法,具有一定的研究?jī)r(jià)值和廣泛的應(yīng)用前景。針對(duì)這個(gè)問(wèn)題,本文提出了一種基于3D重建的人臉正面化算法,對(duì)輸入的非正向人臉圖像進(jìn)行正面化。分別完成深度學(xué)習(xí)的方法訓(xùn)練網(wǎng)絡(luò)模型完成人臉檢測(cè)、人臉關(guān)鍵點(diǎn)檢測(cè)等步驟,并使用圖形學(xué)的方法進(jìn)行仿射變換,基本實(shí)現(xiàn)了一般條件下的非正向人臉圖像正面化。本文主要工作如下:1.總結(jié)了當(dāng)前人臉識(shí)別和正面化研究現(xiàn)狀和應(yīng)用場(chǎng)景面臨的挑戰(zhàn)。從人臉正面化的流程步驟上進(jìn)行了梳理,分別闡述了人臉檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、人臉正向化、人臉重建的主要研究成果和方法,并對(duì)主流的算法及網(wǎng)絡(luò)模型進(jìn)行了分析、對(duì)比。2.在詳細(xì)分析當(dāng)前主要的人臉正面化算法的基礎(chǔ)上,本文提出了一種基于3D重建的人臉正面化方法。該算法首先對(duì)輸入的人臉圖像進(jìn)行了預(yù)處理,使用深度學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)模型,并且在不同階段中采用了不同的網(wǎng)絡(luò)模型,獲得人臉關(guān)鍵點(diǎn)信息。同時(shí),將網(wǎng)絡(luò)模型與仿射變換相結(jié)合,運(yùn)用獲得的二維人臉關(guān)鍵點(diǎn)信息,計(jì)算二維人臉圖像和實(shí)際人臉模型之間的旋轉(zhuǎn)矩陣,生成與輸入人臉圖像對(duì)應(yīng)的正向的,利于進(jìn)一步識(shí)別的人臉模型。實(shí)驗(yàn)結(jié)果表明,通過(guò)該方法生成的人臉圖像與真實(shí)人臉具有身份一致性,有助于提升人臉識(shí)別對(duì)側(cè)面人臉的識(shí)別準(zhǔn)確性。
【學(xué)位單位】：中國(guó)人民公安大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TP391.41
【部分圖文】：

在計(jì)算機(jī)中,為了簡(jiǎn)便計(jì)算,采集的圖像是以數(shù)字形式存儲(chǔ)的。因此圖像處理過(guò)程中不會(huì)直接使用圖像圖層進(jìn)行計(jì)算,通常是通過(guò)提取人臉的標(biāo)志性器官,例如眉毛、嘴巴、眼睛、鼻子等器官的位置,然后完成對(duì)人臉輪廓和上述器官的刻畫(huà)。這一描述人臉器官信息的過(guò)程就是檢測(cè)人臉關(guān)鍵點(diǎn)的過(guò)程。人臉關(guān)鍵點(diǎn)檢測(cè)是指,在完成人臉檢測(cè)得到人臉區(qū)域的前提下,根據(jù)輸入的人臉圖像,自動(dòng)定位出臉部輪廓以及眉毛、眼、鼻、嘴角等面部關(guān)鍵特征的點(diǎn)（landmark）。人臉關(guān)鍵點(diǎn)檢測(cè)效果示意圖,如圖1-1。人臉關(guān)鍵點(diǎn)檢測(cè)的主要有主觀形狀模型ASM(Active Shape Model)[21]和主動(dòng)外觀模型AAM (Active Appearnce Model)[22]等傳統(tǒng)方法,基于級(jí)聯(lián)形狀回歸（Cascaded regression）[23]的方法,如3000fps[24]。以及基于深度學(xué)習(xí)的方法,如MTCNN[25]等。

（3）正面人臉的3D重建： 根據(jù)前面得到的人臉關(guān)鍵點(diǎn)坐標(biāo),根據(jù)PnP算法計(jì)算攝像機(jī)外參,對(duì)非正面人臉進(jìn)行Delaunay三角剖分并映射到正面人臉,最終實(shí)現(xiàn)將輸入的人臉圖像轉(zhuǎn)換為正向人臉的目標(biāo)。隨著人臉識(shí)別領(lǐng)域的發(fā)展,已經(jīng)可以明確人臉姿態(tài)、面部表情、拍攝時(shí)光照條件、背景復(fù)雜程度等因素會(huì)影響人臉識(shí)別。具體難點(diǎn)在于：

（1）P-Net(Proposal Network),網(wǎng)絡(luò)結(jié)構(gòu)如圖3-1所示,是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò),得到一般精確度的人臉候選框與它的邊框回歸向量（bounding box regression）,隨后再由候選框依據(jù)邊框回歸向量來(lái)完成修正。此步驟是為了將實(shí)現(xiàn)圖像多尺寸的輸入,使用較少層數(shù),盡可能多的、較快的生成人臉目標(biāo)候選框,寧愿出現(xiàn)一定錯(cuò)誤也不漏掉一個(gè)。P-Net網(wǎng)絡(luò)將人臉特征輸入卷積層后,根據(jù)人臉?lè)诸惼髋袆e確定此區(qū)域是否出現(xiàn)人臉,同時(shí)利用邊框回歸和人臉關(guān)鍵點(diǎn)的定位器來(lái)實(shí)現(xiàn)人臉區(qū)域的粗定義,最后將會(huì)輸出多張有機(jī)會(huì)存在人臉的目標(biāo)區(qū)域,并將以上區(qū)域送入R-Net網(wǎng)絡(luò)完成下一步操作。（2）R-Net（Refine Network）,網(wǎng)絡(luò)結(jié)構(gòu)如圖3-2所示。使用一個(gè)相對(duì)P-Net更為復(fù)雜的網(wǎng)絡(luò)來(lái)對(duì)前面候選窗口進(jìn)行再選擇和高度過(guò)濾,從而實(shí)現(xiàn)人臉區(qū)域優(yōu)化的效果。具體做法是：該網(wǎng)絡(luò)將前期的全部預(yù)測(cè)目標(biāo)候選框候都送入R-Net(Refine Network)網(wǎng)絡(luò),通過(guò)R-Net后可以篩除大部分效果較差的預(yù)測(cè)目標(biāo)候選框,隨后對(duì)篩選后的精細(xì)化目標(biāo)候選框進(jìn)行目標(biāo)候選框回歸向量（Bounding-Box Regression）矯正,并執(zhí)行非極大值抑制（NMS）操作進(jìn)一步優(yōu)化預(yù)測(cè)結(jié)果。由于P-Net網(wǎng)絡(luò)僅是粗略的、效果較差的目標(biāo)人臉區(qū)域,因此在第二層的這個(gè)網(wǎng)絡(luò)中,將二次細(xì)化候選框,過(guò)濾掉較差輸入,同時(shí)網(wǎng)絡(luò)分為三部分,分別完成三個(gè)任務(wù)：人臉目標(biāo)分類、人臉目標(biāo)候選邊框回歸矯正以及人臉關(guān)鍵點(diǎn)定位,最終獲得修正后的相對(duì)可靠的正方形人臉目標(biāo)候選框送入O-Net網(wǎng)絡(luò)。
【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 鄢瓊;;引入PnP問(wèn)題的多姿態(tài)人臉旋轉(zhuǎn)角度計(jì)算方法研究[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年13期

2 孫寧;冀貞海;鄒采榮;趙力;;基于2維偏最小二乘法的圖像局部特征提取及其在面部表情識(shí)別中的應(yīng)用[J];中國(guó)圖象圖形學(xué)報(bào);2007年05期

3 吳福朝,胡占義;PnP問(wèn)題的線性求解算法[J];軟件學(xué)報(bào);2003年03期

4 夏建云,邸元;基于散點(diǎn)及邊建立數(shù)字地面模型的研究及實(shí)現(xiàn)[J];貴州工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);1999年04期

相關(guān)碩士學(xué)位論文 前1條

1 李澤東;基于圖像序列的目標(biāo)跟蹤及三維重建技術(shù)研究[D];沈陽(yáng)理工大學(xué);2011年

本文編號(hào)：2866974