【摘要】：人機交互(Human-Computer Interaction,HCI)是指人與計算機或其他外部設備之間的信息交換過程�；谏镫娦盘柕娜藱C交互技術是一種不同于傳統(tǒng)鼠標、鍵盤的新型交互技術,它可以將采集到的人體生物電信號通過算法識別直接轉化為計算機的控制命令,無需用戶手腳的參與,從而可以為殘疾人群體的日常生活提供一種有效的輔助。虛擬現(xiàn)實(Virtual Reality,VR)作為最先進的計算機仿真模擬技術,是實現(xiàn)人機交互的一種絕佳的平臺。本文以實際應用為前提,將生物電信號與虛擬現(xiàn)實技術相結合,研究基于生物電信號(主要是腦電(Electroencephalography,EEG)和眼電(Electrooculography,EOG)信號)的人機交互技術及其在虛擬現(xiàn)實中的應用。首先,本文將三維虛擬現(xiàn)實建模與動畫技術引入到基于EEG的人機交互范式中,提出一種基于立體視覺刺激的三維P300字符拼寫系統(tǒng)�；贓EG的人機交互系統(tǒng)又稱為腦機接口(Brain-Computer Interface,BCI),P300字符拼寫系統(tǒng)是目前最受歡迎并得到廣泛關注的腦機接口應用類型。本文從改善傳統(tǒng)P300字符拼寫系統(tǒng)的性能入手,提出一種新型的三維刺激范式。在此范式中,我們利用三維閃爍方塊取代傳統(tǒng)的二維閃爍平面來構建人機界面,每個刺激由一個快速閃爍(顏色改變)和一個三維運動相結合而成。12名健康受試者參加了一個離線實驗和一個在線實驗。實驗結果表明,本文提出的3D范式能夠誘發(fā)出比傳統(tǒng)2D范式幅度更高的P300波形,從而顯著地改善字符拼寫的分類準確率和信息傳輸率。其次,基于第一項工作中所得到的三維腦機接口在誘發(fā)ERP方面的優(yōu)越性能,面向意識障礙病人的視覺驚嚇評估,提出一種新的三維腦機接口系統(tǒng)。前期的研究結果證實了腦機接口技術可以有效地支持CRS-R量表中聽覺驚嚇,視覺定位以及交流功能的評估。然而,在視覺驚嚇評估方面,傳統(tǒng)的二維腦機接口刺激范式很難模擬出該項評估中手指戳眼睛的動態(tài)效果,目前此方面的研究一直處于空白狀態(tài)。針對此種現(xiàn)狀,本文基于虛擬現(xiàn)實技術設計了一個用于輔助意識障礙病人視覺驚嚇評估的三維腦機接口系統(tǒng)。本系統(tǒng)采用4:1比率的標準刺激和偏差刺激構成刺激序列,其中標準刺激采用靜態(tài)的手指背景畫面,而偏差刺激采用動態(tài)的手指戳眼睛動畫,誘發(fā)受試者的P300電位。8位意識障礙病人參加了腦機接口評估和CRS-R量表的評估。詳細的數(shù)據(jù)分析表明了三維腦機接口系統(tǒng)在檢測視覺驚嚇響應方面的有效性。再次,考慮到EOG信號具有比EEG信號幅度大、信噪比高、穩(wěn)定性好等優(yōu)勢,提出了一種基于EOG的虛擬現(xiàn)實交互系統(tǒng)。與現(xiàn)有的基于EEG或EOG的虛擬現(xiàn)實交互系統(tǒng)不同,本系統(tǒng)是利用人眼的眨眼反應時間與按鍵閃爍之間的同步性來實現(xiàn)目標鍵與非目標鍵的區(qū)分。使用者可以通過執(zhí)行與目標按鍵的閃爍相同步的眨眼來發(fā)出對應的控制命令。在本項目中,我們將小型生物電信號放大器、柔性干電極、移動終端以及VR頭盔進行集成,充分發(fā)揮EOG信號采集在便攜性方面的優(yōu)勢,實現(xiàn)了基于EOG的移動便攜式虛擬現(xiàn)實應用。本系統(tǒng)以室內(nèi)環(huán)境控制仿真作為測試案例,10名健康受試者參與了在線虛擬現(xiàn)實交互實驗。實驗結果表明,所有的受試者都可以使用本系統(tǒng)高效地完成各項交互任務,系統(tǒng)的多項性能指標要優(yōu)于現(xiàn)有的基于EEG或EOG的虛擬現(xiàn)實交互系統(tǒng)。最后,更進一步地,綜合考慮EEG和EOG各自的特點,本文提出了一種基于混合腦機接口的虛擬現(xiàn)實交互系統(tǒng)。在前面的工作中,我們提出了一種基于EOG的虛擬現(xiàn)實交互系統(tǒng),該系統(tǒng)獲得了比已有的基于EEG的系統(tǒng)更好的性能指標。然而,這種交互系統(tǒng)只能為用戶提供離散的控制命令,在輸出連續(xù)的控制命令方面無能為力。本系統(tǒng)是在此基礎上進行改進,將EOG算法與EEG算法進行融合,以眨眼EOG信號來輸出離散的控制命令,以運動想象EEG信號來輸出連續(xù)的控制命令。通過這種方式,可以有效地提升現(xiàn)有的BCI-VR系統(tǒng)交互的功能與性能。此外,在本研究中,我們搭建了一個多通道大屏幕沉浸式BCI-VR平臺,在此平臺上,根據(jù)上述的交互方法,以室外輪椅控制仿真作為測試案例,設計了一種新的腦機接口輪椅控制范式。5名健康受試者參與了2項在線實驗。實驗結果證明了該BCI-VR系統(tǒng)的有效性與可靠性。
【學位授予單位】：華南理工大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：R318;TP11;TN911.7;TP391.9

【參考文獻】

相關博士學位論文 前1條

1 余天佑;多模態(tài)與多自由度腦機接口研究[D];華南理工大學;2013年

，

本文編號：2700441