基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別方法
發(fā)布時(shí)間:2020-12-05 15:06
面部表情識(shí)別是生物信息識(shí)別、模式識(shí)別、人機(jī)交互與人工智能等領(lǐng)域的重要研究課題,深度神經(jīng)網(wǎng)絡(luò)的興起為高精度面部表情識(shí)別的研究提供了新的契機(jī)。以紋理信息挖掘及關(guān)聯(lián)為牽引,以視覺信息智能處理策略為基礎(chǔ),構(gòu)建輕量化卷積神經(jīng)網(wǎng)絡(luò)面部表情識(shí)別模型,探索復(fù)雜環(huán)境下高精度二維目標(biāo)識(shí)別機(jī)理,對(duì)于揭示復(fù)雜環(huán)境條件下的特征提取等關(guān)鍵基礎(chǔ)問題,豐富和發(fā)展現(xiàn)有目標(biāo)識(shí)別理論,拓寬深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用范疇,并建立面部表情識(shí)別機(jī)理與實(shí)施算法的本征關(guān)系具有重要的科學(xué)意義;通過引入輕量化技術(shù),高效地獲得高精度的識(shí)別結(jié)果對(duì)新一代人工智能的研發(fā)具有重要的科學(xué)價(jià)值。自然環(huán)境下的面部表情具有姿態(tài)變化大和光照情況復(fù)雜等特點(diǎn),由于目標(biāo)并不是處于實(shí)驗(yàn)室環(huán)境中,面部可能存在裝飾品和周圍環(huán)境的遮擋,所以自然環(huán)境下的面部表情識(shí)別比實(shí)驗(yàn)室環(huán)境更加困難。面部表情識(shí)別的傳統(tǒng)框架為“人臉檢測(cè)—人臉校正—面部特征提取—表情識(shí)別”,但從公開發(fā)表的文獻(xiàn)來看,該框架在面部表情識(shí)別,尤其是自發(fā)面部表情識(shí)別性能方面的提升非常有限。近年,在深度學(xué)習(xí)領(lǐng)域的發(fā)展推動(dòng)下,自發(fā)面部表情識(shí)別研究又取得了一些突破性進(jìn)展。深度學(xué)習(xí)方法試圖模擬生物視覺的神經(jīng)傳導(dǎo)系統(tǒng),設(shè)計(jì)數(shù)層互相...
【文章來源】:北京建筑大學(xué)北京市
【文章頁數(shù)】:69 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
面部動(dòng)作編碼系統(tǒng)
輕量化模型,以優(yōu)化網(wǎng)絡(luò)的計(jì)算速度和參數(shù)量[39-41]。綜上所述,自動(dòng)人臉表情識(shí)別的研究始于1970年代末,但十多年來進(jìn)展緩慢,主要是因?yàn)槊娌繖z測(cè)和面部配準(zhǔn)算法的局限性以及缺乏足夠的計(jì)算能力。從靜態(tài)表示的有姿態(tài)RGB表情開始,研究方向朝著識(shí)別動(dòng)態(tài)表情和自發(fā)表情發(fā)展。為了應(yīng)對(duì)姿勢(shì)變化大,照明條件的多樣性和面部表情細(xì)微檢測(cè)所帶來的挑戰(zhàn),諸如3D和熱圖像之類的新型數(shù)據(jù)模態(tài)已經(jīng)被提出。盡管大多數(shù)研究都集中在基礎(chǔ)表情識(shí)別和動(dòng)作單元(AU)上,但對(duì)疼痛,疲勞,沮喪或認(rèn)知狀態(tài)的分析為表情識(shí)別的新應(yīng)用鋪平了道路。在圖1-2中介紹了自動(dòng)表情識(shí)別歷史演變的時(shí)間表。1.3國內(nèi)外研究現(xiàn)狀表情是人類心理活動(dòng)的表現(xiàn)形式,讀懂面部表情能夠幫助計(jì)算機(jī)更好的理解人,有助于人機(jī)交互應(yīng)用的開發(fā)。這引發(fā)了國內(nèi)外很多學(xué)者研究與表情識(shí)別有關(guān)的算法和機(jī)器人[42-47]。例如,英國BristolRobotics實(shí)驗(yàn)室研究的仿人機(jī)器人“Jules”能夠使用雙目攝像頭以25幀每秒的速度讀取并識(shí)別六種基礎(chǔ)表情,同時(shí)利用人工肌肉形成表情對(duì)目標(biāo)做出反應(yīng),如圖1-3(a)。美國漢森機(jī)器人公司的大衛(wèi)等人設(shè)計(jì)的愛因斯坦機(jī)器人擁有與Jules有相同的功能,還能模擬人類點(diǎn)頭等簡(jiǎn)單的動(dòng)作,如圖1-3(b)。麻省理工大學(xué)媒體實(shí)驗(yàn)室設(shè)計(jì)的“Nexi”機(jī)器人不僅能夠識(shí)別表情,還能夠通過轉(zhuǎn)動(dòng)、睜閉眼睛、皺眉、張嘴和打手勢(shì)的形式表達(dá)情感,是一款具備社交和移動(dòng)功能的機(jī)器人,如圖1-3(c)。索尼DSC-T70相機(jī)開發(fā)了笑臉快門模式,能夠檢測(cè)到圖像種的笑臉并自動(dòng)進(jìn)行拍攝,如圖1-3(d)。馬里蘭大學(xué)的自動(dòng)化研究所結(jié)合了表情、言語、目光和外設(shè)(鍵盤和鼠標(biāo))等交流方式,開發(fā)了能夠檢測(cè)用戶情感狀態(tài)的智能環(huán)境。南加利福尼亞大學(xué)的創(chuàng)新科技圖1-2自動(dòng)表情識(shí)別歷史演變時(shí)間表Fig.1-2Historica
第1章緒論4中心開發(fā)了虛擬現(xiàn)實(shí)(AR)終端SimSenseiKiosk,它能通過采訪的方式感受到用戶的心理狀態(tài),并進(jìn)行自然舒適的溝通交流。國內(nèi)高校和研究所在表情識(shí)別領(lǐng)域的研究雖然起步較晚,但是依然取得了很多優(yōu)秀成果[48-53]。清華大學(xué)、浙江大學(xué)和中科院大學(xué)等高校在人臉表情分析算法研究方面較為領(lǐng)先。哈爾濱工業(yè)大學(xué)和自動(dòng)化研究所在集成表情識(shí)別算法的機(jī)器人研制方面做出了突出貢獻(xiàn)。浙江大學(xué)的付曉峰等人提出基于中心化二元模式的表情特征提取算法,結(jié)合有監(jiān)督拉普拉斯面部訓(xùn)練機(jī)制訓(xùn)練出高效的表情成分分析模型。吉林大學(xué)的李棟等人以局部紋理特征提取為基礎(chǔ),以支持向量機(jī)和決策樹為分類器,提高了面部表情識(shí)別算法的魯棒性和準(zhǔn)確率。哈爾濱工業(yè)大學(xué)制造的仿人機(jī)器人GOROBOT能夠結(jié)合視覺、力覺和溫度感受器準(zhǔn)確識(shí)別人的六種基礎(chǔ)表情。1.4面部表情識(shí)別理論1.4.1理論框架一般的人臉表情識(shí)別方法包括四個(gè)步驟,即人臉檢測(cè)、人臉校正、特征提取和表情識(shí)別。但是由于存在不同的表情定義方式以及不同的表情數(shù)據(jù)形式(2D、3D和熱圖像),所以執(zhí)行流程有一些差異,如圖1-4所示。圖1-3國內(nèi)外表情識(shí)別前沿成果Fig.1-3Currentachivementsoftheresearcha)“Jules”(BristolRoboticsLaboratory),b)“Einstein”(HansonRobotics),c)“Nexi”(MITMediaLab),d)SmileShotofSonyDSC-T70Camera
【參考文獻(xiàn)】:
期刊論文
[1]具有視覺及面部表情的仿人頭像機(jī)器人系統(tǒng)設(shè)計(jì)與研制[J]. 鹿麟,吳偉國,孟慶梅. 機(jī)械設(shè)計(jì). 2007(07)
[2]人臉表情識(shí)別研究的新進(jìn)展[J]. 劉曉旻,譚華春,章毓晉. 中國圖象圖形學(xué)報(bào). 2006(10)
[3]面部表情圖像的分析與識(shí)別[J]. 高文,金輝. 計(jì)算機(jī)學(xué)報(bào). 1997(09)
博士論文
[1]基于局部紋理特征融合的面部表情識(shí)別方法研究[D]. 李棟.吉林大學(xué) 2014
[2]自動(dòng)人臉分析與識(shí)別的若干問題研究[D]. 黨力.中國科學(xué)技術(shù)大學(xué) 2012
[3]基于二元模式的人臉識(shí)別與表情識(shí)別研究[D]. 付曉峰.浙江大學(xué) 2008
[4]人臉圖像分析和識(shí)別方法研究[D]. 孫俊.清華大學(xué) 2001
本文編號(hào):2899646
【文章來源】:北京建筑大學(xué)北京市
【文章頁數(shù)】:69 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
面部動(dòng)作編碼系統(tǒng)
輕量化模型,以優(yōu)化網(wǎng)絡(luò)的計(jì)算速度和參數(shù)量[39-41]。綜上所述,自動(dòng)人臉表情識(shí)別的研究始于1970年代末,但十多年來進(jìn)展緩慢,主要是因?yàn)槊娌繖z測(cè)和面部配準(zhǔn)算法的局限性以及缺乏足夠的計(jì)算能力。從靜態(tài)表示的有姿態(tài)RGB表情開始,研究方向朝著識(shí)別動(dòng)態(tài)表情和自發(fā)表情發(fā)展。為了應(yīng)對(duì)姿勢(shì)變化大,照明條件的多樣性和面部表情細(xì)微檢測(cè)所帶來的挑戰(zhàn),諸如3D和熱圖像之類的新型數(shù)據(jù)模態(tài)已經(jīng)被提出。盡管大多數(shù)研究都集中在基礎(chǔ)表情識(shí)別和動(dòng)作單元(AU)上,但對(duì)疼痛,疲勞,沮喪或認(rèn)知狀態(tài)的分析為表情識(shí)別的新應(yīng)用鋪平了道路。在圖1-2中介紹了自動(dòng)表情識(shí)別歷史演變的時(shí)間表。1.3國內(nèi)外研究現(xiàn)狀表情是人類心理活動(dòng)的表現(xiàn)形式,讀懂面部表情能夠幫助計(jì)算機(jī)更好的理解人,有助于人機(jī)交互應(yīng)用的開發(fā)。這引發(fā)了國內(nèi)外很多學(xué)者研究與表情識(shí)別有關(guān)的算法和機(jī)器人[42-47]。例如,英國BristolRobotics實(shí)驗(yàn)室研究的仿人機(jī)器人“Jules”能夠使用雙目攝像頭以25幀每秒的速度讀取并識(shí)別六種基礎(chǔ)表情,同時(shí)利用人工肌肉形成表情對(duì)目標(biāo)做出反應(yīng),如圖1-3(a)。美國漢森機(jī)器人公司的大衛(wèi)等人設(shè)計(jì)的愛因斯坦機(jī)器人擁有與Jules有相同的功能,還能模擬人類點(diǎn)頭等簡(jiǎn)單的動(dòng)作,如圖1-3(b)。麻省理工大學(xué)媒體實(shí)驗(yàn)室設(shè)計(jì)的“Nexi”機(jī)器人不僅能夠識(shí)別表情,還能夠通過轉(zhuǎn)動(dòng)、睜閉眼睛、皺眉、張嘴和打手勢(shì)的形式表達(dá)情感,是一款具備社交和移動(dòng)功能的機(jī)器人,如圖1-3(c)。索尼DSC-T70相機(jī)開發(fā)了笑臉快門模式,能夠檢測(cè)到圖像種的笑臉并自動(dòng)進(jìn)行拍攝,如圖1-3(d)。馬里蘭大學(xué)的自動(dòng)化研究所結(jié)合了表情、言語、目光和外設(shè)(鍵盤和鼠標(biāo))等交流方式,開發(fā)了能夠檢測(cè)用戶情感狀態(tài)的智能環(huán)境。南加利福尼亞大學(xué)的創(chuàng)新科技圖1-2自動(dòng)表情識(shí)別歷史演變時(shí)間表Fig.1-2Historica
第1章緒論4中心開發(fā)了虛擬現(xiàn)實(shí)(AR)終端SimSenseiKiosk,它能通過采訪的方式感受到用戶的心理狀態(tài),并進(jìn)行自然舒適的溝通交流。國內(nèi)高校和研究所在表情識(shí)別領(lǐng)域的研究雖然起步較晚,但是依然取得了很多優(yōu)秀成果[48-53]。清華大學(xué)、浙江大學(xué)和中科院大學(xué)等高校在人臉表情分析算法研究方面較為領(lǐng)先。哈爾濱工業(yè)大學(xué)和自動(dòng)化研究所在集成表情識(shí)別算法的機(jī)器人研制方面做出了突出貢獻(xiàn)。浙江大學(xué)的付曉峰等人提出基于中心化二元模式的表情特征提取算法,結(jié)合有監(jiān)督拉普拉斯面部訓(xùn)練機(jī)制訓(xùn)練出高效的表情成分分析模型。吉林大學(xué)的李棟等人以局部紋理特征提取為基礎(chǔ),以支持向量機(jī)和決策樹為分類器,提高了面部表情識(shí)別算法的魯棒性和準(zhǔn)確率。哈爾濱工業(yè)大學(xué)制造的仿人機(jī)器人GOROBOT能夠結(jié)合視覺、力覺和溫度感受器準(zhǔn)確識(shí)別人的六種基礎(chǔ)表情。1.4面部表情識(shí)別理論1.4.1理論框架一般的人臉表情識(shí)別方法包括四個(gè)步驟,即人臉檢測(cè)、人臉校正、特征提取和表情識(shí)別。但是由于存在不同的表情定義方式以及不同的表情數(shù)據(jù)形式(2D、3D和熱圖像),所以執(zhí)行流程有一些差異,如圖1-4所示。圖1-3國內(nèi)外表情識(shí)別前沿成果Fig.1-3Currentachivementsoftheresearcha)“Jules”(BristolRoboticsLaboratory),b)“Einstein”(HansonRobotics),c)“Nexi”(MITMediaLab),d)SmileShotofSonyDSC-T70Camera
【參考文獻(xiàn)】:
期刊論文
[1]具有視覺及面部表情的仿人頭像機(jī)器人系統(tǒng)設(shè)計(jì)與研制[J]. 鹿麟,吳偉國,孟慶梅. 機(jī)械設(shè)計(jì). 2007(07)
[2]人臉表情識(shí)別研究的新進(jìn)展[J]. 劉曉旻,譚華春,章毓晉. 中國圖象圖形學(xué)報(bào). 2006(10)
[3]面部表情圖像的分析與識(shí)別[J]. 高文,金輝. 計(jì)算機(jī)學(xué)報(bào). 1997(09)
博士論文
[1]基于局部紋理特征融合的面部表情識(shí)別方法研究[D]. 李棟.吉林大學(xué) 2014
[2]自動(dòng)人臉分析與識(shí)別的若干問題研究[D]. 黨力.中國科學(xué)技術(shù)大學(xué) 2012
[3]基于二元模式的人臉識(shí)別與表情識(shí)別研究[D]. 付曉峰.浙江大學(xué) 2008
[4]人臉圖像分析和識(shí)別方法研究[D]. 孫俊.清華大學(xué) 2001
本文編號(hào):2899646
本文鏈接:http://www.sikaile.net/shoufeilunwen/xixikjs/2899646.html
最近更新
教材專著