基于深度多模態(tài)融合的視線追蹤技術(shù)
發(fā)布時間:2021-05-09 12:17
視線方向指示了一個人看什么,對什么感興趣。視線追蹤常被用來對人類的意圖進行分析,在計算機視覺、計算機圖形學、心理學、社會學和人機交互等領(lǐng)域應(yīng)用廣泛。因此,本文針對視線追蹤技術(shù)的研究不僅具有重要的理論價值,同時也具有廣闊的應(yīng)用前景。首先,本文設(shè)計了視線追蹤系統(tǒng)的總體方案,并對方案中的人臉檢測方法進行分析研究,選定基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Multi-task20Cascaded20Convolutional20Networks,MTCNN)的人臉檢測方法,同時得到五個人臉特征點(左右瞳孔、鼻尖、左右嘴角),并對檢測到的人臉進行尺度縮放操作。然后采用主動表觀模型(Active20Appearance20Model,AAM)和比例正交投影迭代變換算法(Pose20from20Orthography20and20Scaling20with20Iterations,POSIT)算法相結(jié)合對頭部姿態(tài)進行估計,在檢測到的人臉上采用AAM算法進行特征點定位,接著使用POSIT算法根據(jù)人臉圖像上的特征點和標準人臉模型對應(yīng)的三維數(shù)據(jù)點的關(guān)系確定頭部姿態(tài),并根據(jù)獲得的人眼角特征點來定位人眼區(qū)域,從而獲得人...
【文章來源】:重慶郵電大學重慶市
【文章頁數(shù)】:80 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
注釋表
第1章 緒論
1.1 研究背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 視線追蹤技術(shù)研究難點
1.4 章節(jié)安排
1.5 本章小結(jié)
第2章 視線追蹤系統(tǒng)總體方案
2.1 視線追蹤系統(tǒng)總體框架設(shè)計
2.2 人臉檢測
2.2.1 人臉檢測方法對比
2.2.2 基于MTCNN的人臉檢測
2.2.3 MTCNN人臉檢測算法實現(xiàn)
2.3 基于AAM和 POSIT算法的頭部姿態(tài)估計和人眼區(qū)域定位
2.3.1 基于AAM的人臉特征點定位和人眼區(qū)域定位
2.3.2 POSIT算法
2.3.3 頭部姿態(tài)估計實現(xiàn)
2.4 小結(jié)
第3章 基于深度多模態(tài)融合的視線追蹤
3.1 深度多模態(tài)融合理論
3.2 CNN
3.3 遷移學習
3.4 基于遷移學習的深度多模態(tài)融合視線追蹤模型
3.4.1 基于遷移學習的深度多模態(tài)融合視線追蹤模型的框架設(shè)計
3.4.2 預(yù)訓練的卷積神經(jīng)網(wǎng)絡(luò)
3.4.3 模型訓練算法
3.5 實驗結(jié)果及分析
3.5.1 實驗數(shù)據(jù)集
3.5.2 評價指標
3.5.3 實驗環(huán)境
3.5.4 實驗結(jié)果
3.6 小結(jié)
第4章 基于膨脹卷積的深度多模態(tài)融合視線追蹤
4.1 感受野
4.2 基于膨脹卷積的深度多模態(tài)融合視線追蹤模型
4.2.1 膨脹卷積
4.2.2 基于膨脹卷積的深度多模態(tài)融合視線追蹤模型的框架設(shè)計
4.2.3 模型訓練算法
4.3 實驗結(jié)果及分析
4.3.1 自建數(shù)據(jù)集
4.3.2 評價指標
4.3.3 實驗結(jié)果
4.4 本章小結(jié)
第5章 基于視線追蹤的服務(wù)機器人控制系統(tǒng)設(shè)計
5.1 基于視線追蹤的控制系統(tǒng)
5.2 系統(tǒng)軟件開發(fā)與硬件平臺的搭建
5.2.1 系統(tǒng)的硬件結(jié)構(gòu)
5.2.2 系統(tǒng)的軟件配置
5.3 基于視線追蹤的智能服務(wù)機器人運動控制實現(xiàn)
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
參考文獻
致謝
攻讀碩士學位期間從事的科研工作及取得的成果
【參考文獻】:
期刊論文
[1]一種融合改進型AdaBoost和膚色模型的人臉檢測方法[J]. 姚子怡,張清勇,李雪琪. 計算機與數(shù)字工程. 2018(04)
[2]融合YCbCr膚色模型與改進的Adaboost算法的人臉檢測[J]. 崔鵬,燕天天. 哈爾濱理工大學學報. 2018(02)
[3]基于膚色信息和模板匹配的人臉檢測與提取[J]. 邵虹,耿昊. 計算機技術(shù)與發(fā)展. 2016(11)
[4]基于嘴巴狀態(tài)約束的人臉特征點定位算法[J]. 師亞亭,李衛(wèi)軍,寧欣,董肖莉,張麗萍. 智能系統(tǒng)學報. 2016(05)
[5]基于改進HMM-RVM混合模型的人臉識別方法研究[J]. 楊敏,賴惠成,董九玲. 激光雜志. 2015(11)
[6]基于膚色和Haar方差特征的人臉檢測[J]. 李燕,王玲. 計算機工程與科學. 2015(01)
本文編號:3177290
【文章來源】:重慶郵電大學重慶市
【文章頁數(shù)】:80 頁
【學位級別】:碩士
【文章目錄】:
摘要
abstract
注釋表
第1章 緒論
1.1 研究背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 視線追蹤技術(shù)研究難點
1.4 章節(jié)安排
1.5 本章小結(jié)
第2章 視線追蹤系統(tǒng)總體方案
2.1 視線追蹤系統(tǒng)總體框架設(shè)計
2.2 人臉檢測
2.2.1 人臉檢測方法對比
2.2.2 基于MTCNN的人臉檢測
2.2.3 MTCNN人臉檢測算法實現(xiàn)
2.3 基于AAM和 POSIT算法的頭部姿態(tài)估計和人眼區(qū)域定位
2.3.1 基于AAM的人臉特征點定位和人眼區(qū)域定位
2.3.2 POSIT算法
2.3.3 頭部姿態(tài)估計實現(xiàn)
2.4 小結(jié)
第3章 基于深度多模態(tài)融合的視線追蹤
3.1 深度多模態(tài)融合理論
3.2 CNN
3.3 遷移學習
3.4 基于遷移學習的深度多模態(tài)融合視線追蹤模型
3.4.1 基于遷移學習的深度多模態(tài)融合視線追蹤模型的框架設(shè)計
3.4.2 預(yù)訓練的卷積神經(jīng)網(wǎng)絡(luò)
3.4.3 模型訓練算法
3.5 實驗結(jié)果及分析
3.5.1 實驗數(shù)據(jù)集
3.5.2 評價指標
3.5.3 實驗環(huán)境
3.5.4 實驗結(jié)果
3.6 小結(jié)
第4章 基于膨脹卷積的深度多模態(tài)融合視線追蹤
4.1 感受野
4.2 基于膨脹卷積的深度多模態(tài)融合視線追蹤模型
4.2.1 膨脹卷積
4.2.2 基于膨脹卷積的深度多模態(tài)融合視線追蹤模型的框架設(shè)計
4.2.3 模型訓練算法
4.3 實驗結(jié)果及分析
4.3.1 自建數(shù)據(jù)集
4.3.2 評價指標
4.3.3 實驗結(jié)果
4.4 本章小結(jié)
第5章 基于視線追蹤的服務(wù)機器人控制系統(tǒng)設(shè)計
5.1 基于視線追蹤的控制系統(tǒng)
5.2 系統(tǒng)軟件開發(fā)與硬件平臺的搭建
5.2.1 系統(tǒng)的硬件結(jié)構(gòu)
5.2.2 系統(tǒng)的軟件配置
5.3 基于視線追蹤的智能服務(wù)機器人運動控制實現(xiàn)
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
參考文獻
致謝
攻讀碩士學位期間從事的科研工作及取得的成果
【參考文獻】:
期刊論文
[1]一種融合改進型AdaBoost和膚色模型的人臉檢測方法[J]. 姚子怡,張清勇,李雪琪. 計算機與數(shù)字工程. 2018(04)
[2]融合YCbCr膚色模型與改進的Adaboost算法的人臉檢測[J]. 崔鵬,燕天天. 哈爾濱理工大學學報. 2018(02)
[3]基于膚色信息和模板匹配的人臉檢測與提取[J]. 邵虹,耿昊. 計算機技術(shù)與發(fā)展. 2016(11)
[4]基于嘴巴狀態(tài)約束的人臉特征點定位算法[J]. 師亞亭,李衛(wèi)軍,寧欣,董肖莉,張麗萍. 智能系統(tǒng)學報. 2016(05)
[5]基于改進HMM-RVM混合模型的人臉識別方法研究[J]. 楊敏,賴惠成,董九玲. 激光雜志. 2015(11)
[6]基于膚色和Haar方差特征的人臉檢測[J]. 李燕,王玲. 計算機工程與科學. 2015(01)
本文編號:3177290
本文鏈接:http://www.sikaile.net/kejilunwen/shengwushengchang/3177290.html
最近更新
教材專著