【摘要】：隨著人類對眼睛和注視運動的深入研究,借助日益先進的計算機技術和人工智能技術,視線跟蹤技術得以穩(wěn)步發(fā)展,且已經(jīng)被成功運用到諸多領域。然而視線跟蹤技術仍存在許多問題:苛刻的交互方式導致用戶體驗差,跟蹤的實時性、魯棒性和精度仍不能滿足實際應用場景。本文調(diào)研和分析了現(xiàn)有視線跟蹤系統(tǒng)存在的挑戰(zhàn)因素,選用瞳孔角膜反射法和基于3D眼球模型的方法實現(xiàn)桌面式視線跟蹤系統(tǒng)。為了提高系統(tǒng)的性能,本文研究并實現(xiàn)了瞳孔定位算法、光斑檢測算法和瞳孔檢測算法。瞳孔定位算法將傳統(tǒng)算法和深度學習結合,利用瞳孔區(qū)域的灰度特性做圖像的初步處理,并記錄候選區(qū)域,通過分類器識別瞳孔區(qū)域;光斑檢測算法利用圖像處理算法做瞳孔區(qū)域的閾值分割,并結合光源發(fā)射器的位置特性求解光斑中心;瞳孔檢測算法先采用Inpainting算法排除光斑等因素的干擾,然后利用形態(tài)學算子和橢圓擬合等技術求解瞳孔中心。采用基于目標檢測的方法進行瞳孔定位和基于暗瞳的方法進行瞳孔檢測,能夠實現(xiàn)高精度、高魯棒性的實時視線跟蹤。本文建立了實驗數(shù)據(jù)集,收集了18個測試人員的圖像數(shù)據(jù),光照變化、頭部姿勢、運動模糊等實際情況,通過標注每幀圖像的瞳孔中心和光斑中心驗證了注視特征檢測過程中三個算法的性能。結果表明,瞳孔定位算法的精度為97.89%(分類器的精度為99.94%),光斑檢測算法的精度為98.7%,瞳孔檢測算法的精度為98.94%。本文實現(xiàn)了實時的視線跟蹤系統(tǒng),并給出了系統(tǒng)的硬件架構和軟件架構。系統(tǒng)的硬件主要完成數(shù)據(jù)采集工作,由紅外光源發(fā)射器、CMOS圖像傳感器、FPGA數(shù)據(jù)處理板和USB3.0傳輸板組成。另外,基于QT框架和Opencv算法庫實現(xiàn)了軟件模塊(包含算法模塊),完成界面交互和算法處理,實現(xiàn)跨平臺開發(fā),具有可移植性。本系統(tǒng)由四個連續(xù)的過程組成:1)硬件設備采集圖像數(shù)據(jù)。傳感器捕獲暗瞳圖像后,利用FPGA做數(shù)據(jù)處理,通過USB3.0傳輸給軟件模塊。2)注視特征檢測過程對圖像數(shù)據(jù)進行處理,求解瞳孔中心和光斑中心。3)視線估計求解光軸向量。用Matlab軟件內(nèi)置的標定算法進行相機標定,求解相機的內(nèi)外參數(shù)。采用單相機雙光源的系統(tǒng)原理求解光軸向量的兩個參數(shù):角膜曲率中心C和瞳孔中心P。4)偏差校準求解注視點坐標。光軸向量和視軸向量存在一定的偏差角,本文研究了基于四點標定算法的注視點均值法和精度誤差法,準確的求解注視點坐標。通過真實的測試環(huán)境評估了系統(tǒng)的整體性能。系統(tǒng)的幀率為54fps,精度為0.67~o,并且抗干擾能力強,魯棒性好,可在實際的應用場景中發(fā)揮作用。
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP391.41;TP212
【圖文】：

極之間的電勢差保持不變。反之可以通過電勢變化判定眼球運動狀況。該方法具有高度侵入性，用戶體驗極差，且誤差較大。圖1.1 眼電圖法示意圖接觸鏡法[3][4]：如圖 1.2 所示，使用高頻電磁場，要求觀察者在鞏膜表面佩戴連接到設備的“隱形眼鏡”來判定眼球的運動狀況，盡管其精度高，但高侵入性和未解決的安全問題使得該方法未被廣泛應用。圖1.2 接觸鏡法示意圖普爾欽像法[5]：由于眼球和空氣中的介質不同，光線照射在角膜表面會發(fā)生反射現(xiàn)象和折射現(xiàn)象。同理，由于眼球內(nèi)部存在眾多組織，每個組織的內(nèi)部和外部介質各異，均會發(fā)生反射現(xiàn)象和折射現(xiàn)象。如圖 1.3 所示，給出了普爾欽像的原理圖，通常情況下，分別記錄四個普爾欽像：角膜外表面和角膜內(nèi)?

接到設備的“隱形眼鏡”來判定眼球的運動狀況，盡管其精度高，但高侵入性和未解決的安全問題使得該方法未被廣泛應用。圖1.2 接觸鏡法示意圖普爾欽像法[5]：由于眼球和空氣中的介質不同，光線照射在角膜表面會發(fā)生反射現(xiàn)象和折射現(xiàn)象。同理，由于眼球內(nèi)部存在眾多組織，每個組織的內(nèi)部和外部介質各異，均會發(fā)生反射現(xiàn)象和折射現(xiàn)象。如圖 1.3 所示，給出了普爾欽像的原理圖，通常情況下，分別記錄四個普爾欽像：角膜外表面和角膜內(nèi)表面反射所成像、晶狀體外表面和內(nèi)表面反射所成像。根據(jù)角膜外表面（第一普爾欽像）和晶狀體內(nèi)表面（第四普

3爾欽像）反射所成像的位移矢量來進行眼動分析，求解觀察者的注視點。圖1.3 普爾欽像法示意圖瞳孔角膜反射法[6]：如圖 1.4 所示，給出了該方法的原理示意圖。利用反射原理，在特定設備上使用紅外光源發(fā)射器，當有紅外光線射入人眼時，人眼的角膜表面會形成反射光斑。因特定設備位置固定，人眼未發(fā)生相對運動時，紅外光線反射到角膜表面的光斑位置相對不變。反之反射光斑的位置會隨著人眼的運動產(chǎn)生偏移，從而判定眼球的運動狀況。目前視線跟蹤系統(tǒng)主要是基于瞳孔角膜反射法來實現(xiàn)的，其使用一個或多個紅外光源發(fā)射器確定注視點。紅外光源發(fā)射器個數(shù)的增加使得參量隨之增多，有利于注視點的求解。但較多的紅外光源發(fā)射器會增大硬件設備的復雜性。最初的瞳孔反射法要求特定設備與觀察者頭部的相對位置不變，條件過于苛刻，不利用實際應用�；� 3D 的視線跟蹤技術突破了頭部位置不能變化的局限

【相似文獻】

相關期刊論文 前10條

1 戴艷玲;尤文澤;;美國提出建立全國犯罪團伙跟蹤系統(tǒng)[J];犯罪與改造研究;1991年04期

2 呂丹;姚一波;白榮麗;;一種新型雙軸跟蹤系統(tǒng)的研究及應用[J];太陽能;2017年04期

3 彭鵬;;探視跟蹤系統(tǒng)在新生兒重癥監(jiān)護病房的應用[J];繼續(xù)醫(yī)學教育;2011年09期

4 歐陽咸泰;時域和頻域設計模型跟蹤系統(tǒng)的等價性[J];武漢化工學院學報;1998年02期

5 鄭耀林;;重力儀平臺中間跟蹤系統(tǒng)的設計[J];華僑大學學報(自然科學版);1987年03期

6 葉家福,許仲仁;紅外調(diào)頻跟蹤系統(tǒng)的調(diào)制與掃描[J];艦船科學技術;1988年04期

7 彭永華,吳俊杰;采用自適應濾波技術的機載雷達跟蹤系統(tǒng)[J];航空學報;1988年04期

8 王磊,孔祥利,陽含和;人炮跟蹤系統(tǒng)動態(tài)特性分析及補償[J];信息與控制;1988年02期

9 郜憲林,張勇傳;前饋加反饋補償?shù)姆稚Ⅳ敯舾櫹到y(tǒng)研究[J];華中理工大學學報;1989年02期

10 周清泉 ,楊國勝;跟蹤系統(tǒng)的配點綜合法的改進研究[J];河南大學學報(自然科學版);1989年04期

相關會議論文 前10條

1 趙姝潁;;社區(qū)健康體測跟蹤系統(tǒng)[A];中國科普理論與實踐探索——第二十一屆全國科普理論研討會論文集[C];2014年

2 胡湘華;黃雙臨;劉曉萍;栗靖;孫偉杰;;問題跟蹤系統(tǒng)在衛(wèi)星導航運行管理中的應用探討[A];第三屆中國衛(wèi)星導航學術年會電子文集——S06北斗/GNSS測試評估技術[C];2012年

3 廖研;;寶鋼5m寬厚板軋機材料跟蹤系統(tǒng)[A];2006年全國軋鋼生產(chǎn)技術會議文集[C];2006年

4 張勇;;基于RFID技術的油漆車身跟蹤系統(tǒng)設計及應用[A];2010全國機械裝備先進制造技術(廣州)高峰論壇論文匯編[C];2010年

5 張勇;;基于RFID技術的油漆車身跟蹤系統(tǒng)設計及應用[A];節(jié)能減排 綠色制造 智能制造——低碳經(jīng)濟下高技術制造產(chǎn)業(yè)與智能制造發(fā)展論壇論文集[C];2010年

6 王永明;李興林;;船舶遠程識別與跟蹤系統(tǒng)的發(fā)展與應用[A];第五屆衛(wèi)星通信新業(yè)務新技術學術年會暨衛(wèi)星通信系統(tǒng)網(wǎng)間互聯(lián)互通與接口標準研討會論文集[C];2009年

7 黃建強;陳祥獻;汪樂宇;;面向情景自覺計算的人體識別跟蹤系統(tǒng)[A];第三次全國會員代表大會暨學術會議論文集[C];2002年

8 藺鳳琴;劉文仲;宋勇;荊豐偉;謝新亮;;日照1580mm熱連軋加熱爐數(shù)據(jù)跟蹤系統(tǒng)[A];2007中國鋼鐵年會論文集[C];2007年

9 許寶棟;高彬;孫毅;王國棟;李平忠;;基于CIMS的特鋼企業(yè)成本跟蹤系統(tǒng)設計與實現(xiàn)[A];1996年中國控制會議論文集[C];1996年

10 劉海濤;楊凌s

本文編號：2761963