廣視野域監(jiān)控任務(wù)人機(jī)界面的自適應(yīng)增強(qiáng)顯示研究
發(fā)布時(shí)間:2020-07-25 20:17
【摘要】:隨著計(jì)算機(jī)和信息技術(shù)的快速發(fā)展,智能運(yùn)行控制系統(tǒng)呈現(xiàn)出信息綜合數(shù)字化的趨勢(shì)。廣視野域多屏的數(shù)字化人機(jī)綜合監(jiān)控系統(tǒng)已經(jīng)被廣泛地應(yīng)用于軌道交通、軍事指揮、交通管理、航空航天、核電和醫(yī)院等各類安全苛求領(lǐng)域中。廣視野多屏的人機(jī)交互界面為用戶提供了集成化的數(shù)據(jù)顯示接口,提高了用戶對(duì)信息的感知能力。與此同時(shí),由于數(shù)字化技術(shù)帶來的人機(jī)界面信息量的劇增使得用戶對(duì)各種復(fù)雜的系統(tǒng)信息進(jìn)行實(shí)時(shí)有效的監(jiān)控變得異常困難,極易造成對(duì)關(guān)鍵的系統(tǒng)安全信息的遺漏。這將會(huì)對(duì)系統(tǒng)的運(yùn)行安全帶來嚴(yán)重潛在風(fēng)險(xiǎn)。如何解決上述的人機(jī)交互矛盾,保證監(jiān)控人員對(duì)重要信息的實(shí)時(shí)感知,構(gòu)建適應(yīng)于廣視野監(jiān)控任務(wù)的人機(jī)顯示界面成為了亟待解決的問題。本文以國(guó)家自然基金面上項(xiàng)目“基于任務(wù)的復(fù)雜人機(jī)交互系統(tǒng)操縱適配性度量與優(yōu)化”和軌道交通控制與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室研究課題“適用于軌道交通監(jiān)控作業(yè)的增強(qiáng)交互技術(shù)研究”為背景,從監(jiān)控人員的個(gè)體視覺注意力特征和信息的實(shí)時(shí)任務(wù)屬性兩個(gè)維度評(píng)價(jià)信息的動(dòng)態(tài)價(jià)值,以混合熵注意力分配模型作為最優(yōu)監(jiān)控策略,采用自適應(yīng)界面理論構(gòu)建了適用于廣視野域監(jiān)控任務(wù)的人機(jī)增強(qiáng)顯示界面。本文一方面基于人體空間坐標(biāo)系的轉(zhuǎn)換和屏幕深度位置的解算,提出了適用于廣視野域的視線跟蹤算法,算法通過三維仿真實(shí)驗(yàn)驗(yàn)證了其有效性,并通過進(jìn)一步的畸變和隨機(jī)誤差抑制提高了算法的穩(wěn)定性,在此理論基礎(chǔ)上,構(gòu)建了視線跟蹤的實(shí)例系統(tǒng),并在真實(shí)環(huán)境進(jìn)行了實(shí)驗(yàn)驗(yàn)證和誤差分析。上述系統(tǒng)為辨識(shí)操作人員在廣視野環(huán)境下的個(gè)體視覺特征奠定了基礎(chǔ)。另一方面,采用基于信息量的價(jià)值函數(shù)和基于模糊理論的信息混合熵,構(gòu)建并驗(yàn)證了適用于監(jiān)控任務(wù)的最優(yōu)注意力分配模型,這為人機(jī)界面的增強(qiáng)顯示提供了優(yōu)化的監(jiān)控策略。最后,基于自適應(yīng)界面理論,以信息的動(dòng)態(tài)價(jià)值為界面的輸入層,以注意力分配模型為決策層,以界面的突顯性為輸出層,構(gòu)建了適用于廣視野域監(jiān)控任務(wù)的人機(jī)增強(qiáng)顯示界面。本研究為廣視野監(jiān)控任務(wù)下的人機(jī)交互設(shè)計(jì)提供了技術(shù)支撐和理論研究方法,具有重要的理論意義和應(yīng)用價(jià)值。論文的主要工作包含下述幾個(gè)部分:1.廣視野域的視線跟蹤算法的研究。為在廣視野域的監(jiān)控場(chǎng)景中實(shí)時(shí)跟蹤用戶的注意力行為,需要構(gòu)建適用于廣視野域監(jiān)控任務(wù)的視線跟蹤算法。通過基于人體空間坐標(biāo)表達(dá)的數(shù)據(jù)轉(zhuǎn)換,獲得了人體視線的三維坐標(biāo)系,進(jìn)而求解了監(jiān)控人員在多個(gè)屏幕上的視覺注視點(diǎn),并深入討論了算法的誤差來源,對(duì)算法的計(jì)算過程進(jìn)行了簡(jiǎn)化研究?臻g深度距離的解算過程與現(xiàn)有其他方案進(jìn)行了算法對(duì)比,最后通過仿真實(shí)驗(yàn)證明了算法的可行性。2.視線跟蹤算法的誤差抑制與效能分析的研究。為將視線跟蹤算法應(yīng)用到實(shí)際環(huán)境中,對(duì)廣視野的視線跟蹤算法的輸入數(shù)據(jù)特性進(jìn)行了分析,提出了針對(duì)輸入設(shè)備和數(shù)據(jù)的限制和要求。采用冗余校準(zhǔn)的方式對(duì)算法的畸變誤差進(jìn)行了有效的控制,使用加權(quán)平均濾波算法對(duì)輸入設(shè)備引入的隨機(jī)誤差進(jìn)行了抑制,進(jìn)而構(gòu)建了適用于實(shí)際的視線跟蹤系統(tǒng)。在實(shí)際的場(chǎng)景中進(jìn)行了系統(tǒng)的誤差測(cè)試,驗(yàn)證了系統(tǒng)的可行性和穩(wěn)定性,最后對(duì)系統(tǒng)的實(shí)時(shí)性能和系統(tǒng)的誤差來源進(jìn)行了分析研究,這為自適應(yīng)界面的輸入層的數(shù)據(jù)提供了基礎(chǔ)的數(shù)據(jù)解決方案。3.監(jiān)控人員的最優(yōu)注意力分配模型的研究。使用監(jiān)控任務(wù)中各類信息的重要度隸屬度,通過信息量?jī)?yōu)先函數(shù)將其表征為信息價(jià)值的優(yōu)先程度;诨旌响乩碚,通過求解監(jiān)控人員的最大心理熵值,表征了信息模糊性的注意力選擇行為。合并這兩個(gè)認(rèn)知趨勢(shì)構(gòu)建了適用于監(jiān)控任務(wù)的注意力分配預(yù)測(cè)模型,最后通過人因?qū)嶒?yàn)證明了模型的預(yù)測(cè)有效性,并與現(xiàn)有模型進(jìn)行了對(duì)比分析,同時(shí)深入探討了信息價(jià)值優(yōu)化對(duì)信息認(rèn)知影響的機(jī)理,這為自適應(yīng)界面的決策層的模型構(gòu)建提供了理論支撐。4.自適應(yīng)增強(qiáng)顯示界面的研究。闡述了廣視野域的自適應(yīng)增強(qiáng)顯示界面的構(gòu)建過程;陟刂捣▽(duì)系統(tǒng)任務(wù)中信息優(yōu)先度和監(jiān)控任務(wù)中用戶視線注視行為進(jìn)行加權(quán)求解,獲得信息價(jià)值的綜合影響因子,通過該因子對(duì)界面信息進(jìn)行實(shí)時(shí)價(jià)值跟蹤;谧⒁饬Ψ峙漕A(yù)測(cè)模型對(duì)界面的突顯性即自適應(yīng)界面的輸出層進(jìn)行自適應(yīng)改變,以期引導(dǎo)用戶的注意力行為。最后通過實(shí)驗(yàn)驗(yàn)證了該自適應(yīng)界面模型能有效提升操作人員監(jiān)控績(jī)效的有效性。
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2019
【分類號(hào)】:U29-39;TP11
【圖文】:
一論文組織結(jié)構(gòu)
、/逡逑、、、/逡逑圖2-1.接觸鏡法眼動(dòng)設(shè)備的原理示意圖逡逑e邋2-1.邋Schematic邋diagram邋of邋contact邋lens邋method邋for邋eye邋tracking邋equipment逡逑磁感應(yīng)法是給用戶佩戴一個(gè)特制的具有感應(yīng)線圈的隱形眼鏡,間建立交變的電磁場(chǎng),通過電磁感應(yīng)原理,測(cè)定眼球轉(zhuǎn)動(dòng)時(shí),化[134]。佩戴這種眼動(dòng)跟蹤設(shè)備,需要將用戶的人眼麻醉,附到眼球上,對(duì)眼球有一定的損傷。這種眼動(dòng)跟蹤方案精度過強(qiáng),一般適用于動(dòng)物或者醫(yī)學(xué)領(lǐng)域。逡逑OG眼電法是在人眼周圍特定的位置粘貼導(dǎo)電的電極片,人眼圍產(chǎn)生特異性的生物電信號(hào),即EOG信號(hào),通過辨識(shí)EOG的眼動(dòng)行為[75_77]。EOG眼動(dòng)法對(duì)辨識(shí)用戶眨眼、眼瞼閉合度性[135_137],但是對(duì)于辨識(shí)用戶的視線轉(zhuǎn)移過程較為粗略,跟,同時(shí)對(duì)人也具有一定的侵入性。圖2-2是一種眼鏡式EOG。逡逑
邐基于空間深度解算的廣視野域視線跟蹤算法邐逡逑上述的接觸式眼動(dòng)設(shè)備在視線跟蹤的應(yīng)用中只跟蹤了用戶眼球的運(yùn)動(dòng),并沒逡逑有考慮用戶的頭部運(yùn)動(dòng),基于此構(gòu)建的視線跟蹤儀器通常通過限制用戶的頭部運(yùn)逡逑動(dòng),或者使用可穿戴的設(shè)備完成用戶的視線校準(zhǔn)。逡逑計(jì)算機(jī)技術(shù)的發(fā)展為不接觸人眼和皮膚進(jìn)行眼動(dòng)跟蹤的非接觸式眼動(dòng)方案提逡逑供了技術(shù)支持。由于對(duì)人沒有侵入性,非接觸式的方案受到了研宄者的普遍歡迎,逡逑具體的技術(shù)實(shí)現(xiàn)方式有智能圖像識(shí)別法、普爾欽圖像法、鞏膜-虹膜邊緣法、瞳孔_逡逑角膜反射法等。逡逑CD智能圖像識(shí)別法是利用普通的視覺攝像頭捕獲人的面部、虹膜、瞳孔特逡逑征,通過深度學(xué)習(xí)、支持向量機(jī)、界面突顯性等算法將捕獲的圖像和視線點(diǎn)的位置逡逑進(jìn)行非線性的映射,從而跟蹤用戶的視線@,138_14()]。使用圖像攝像頭成本低廉,設(shè)逡逑備場(chǎng)景容易搭建,但是所依賴的虹膜和瞳孔映射識(shí)別算法受頭部轉(zhuǎn)動(dòng)的影響很大,逡逑精度一般。圖2-3顯示了應(yīng)用圖像識(shí)別算法對(duì)眼部特征的識(shí)別過程。邐邐邐
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2019
【分類號(hào)】:U29-39;TP11
【圖文】:
一論文組織結(jié)構(gòu)
、/逡逑、、、/逡逑圖2-1.接觸鏡法眼動(dòng)設(shè)備的原理示意圖逡逑e邋2-1.邋Schematic邋diagram邋of邋contact邋lens邋method邋for邋eye邋tracking邋equipment逡逑磁感應(yīng)法是給用戶佩戴一個(gè)特制的具有感應(yīng)線圈的隱形眼鏡,間建立交變的電磁場(chǎng),通過電磁感應(yīng)原理,測(cè)定眼球轉(zhuǎn)動(dòng)時(shí),化[134]。佩戴這種眼動(dòng)跟蹤設(shè)備,需要將用戶的人眼麻醉,附到眼球上,對(duì)眼球有一定的損傷。這種眼動(dòng)跟蹤方案精度過強(qiáng),一般適用于動(dòng)物或者醫(yī)學(xué)領(lǐng)域。逡逑OG眼電法是在人眼周圍特定的位置粘貼導(dǎo)電的電極片,人眼圍產(chǎn)生特異性的生物電信號(hào),即EOG信號(hào),通過辨識(shí)EOG的眼動(dòng)行為[75_77]。EOG眼動(dòng)法對(duì)辨識(shí)用戶眨眼、眼瞼閉合度性[135_137],但是對(duì)于辨識(shí)用戶的視線轉(zhuǎn)移過程較為粗略,跟,同時(shí)對(duì)人也具有一定的侵入性。圖2-2是一種眼鏡式EOG。逡逑
邐基于空間深度解算的廣視野域視線跟蹤算法邐逡逑上述的接觸式眼動(dòng)設(shè)備在視線跟蹤的應(yīng)用中只跟蹤了用戶眼球的運(yùn)動(dòng),并沒逡逑有考慮用戶的頭部運(yùn)動(dòng),基于此構(gòu)建的視線跟蹤儀器通常通過限制用戶的頭部運(yùn)逡逑動(dòng),或者使用可穿戴的設(shè)備完成用戶的視線校準(zhǔn)。逡逑計(jì)算機(jī)技術(shù)的發(fā)展為不接觸人眼和皮膚進(jìn)行眼動(dòng)跟蹤的非接觸式眼動(dòng)方案提逡逑供了技術(shù)支持。由于對(duì)人沒有侵入性,非接觸式的方案受到了研宄者的普遍歡迎,逡逑具體的技術(shù)實(shí)現(xiàn)方式有智能圖像識(shí)別法、普爾欽圖像法、鞏膜-虹膜邊緣法、瞳孔_逡逑角膜反射法等。逡逑CD智能圖像識(shí)別法是利用普通的視覺攝像頭捕獲人的面部、虹膜、瞳孔特逡逑征,通過深度學(xué)習(xí)、支持向量機(jī)、界面突顯性等算法將捕獲的圖像和視線點(diǎn)的位置逡逑進(jìn)行非線性的映射,從而跟蹤用戶的視線@,138_14()]。使用圖像攝像頭成本低廉,設(shè)逡逑備場(chǎng)景容易搭建,但是所依賴的虹膜和瞳孔映射識(shí)別算法受頭部轉(zhuǎn)動(dòng)的影響很大,逡逑精度一般。圖2-3顯示了應(yīng)用圖像識(shí)別算法對(duì)眼部特征的識(shí)別過程。邐邐邐
【參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 鄭燕;王t
本文編號(hào):2770313
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/2770313.html
最近更新
教材專著