【摘要】：多模態(tài)腦機接口(Brain compter interface,BCI)是當前腦機接口的研究重點方向之一。多模態(tài)BCI通過不同單模態(tài)BCI的組合可以彌補單模態(tài)BCI的一些缺陷,從而能夠從靈活性或效率方面來提升BCI系統(tǒng)的性能。本文利用兩種不同源的單模態(tài)BCI信號的融合,實現(xiàn)了一種新的多模態(tài)BCI系統(tǒng)。所選擇的單模態(tài)信號分別是運動想象和運動起始視覺誘發(fā)電位,其中運動想象屬于被試的自發(fā)型信號,而運動起始視覺誘發(fā)電位屬于外界誘發(fā)型信號。自發(fā)型BCI不需要通過外部刺激只需被試進行自主意志的想象就可以完成控制。而對于誘發(fā)型BCI則需要外部刺激而不需要被試進行自主意志的想象。正是利用這兩類BCI范式的信號機理的不同,本文將他們進行信息融合,讓被試同時進行兩種不同的任務(wù),來實現(xiàn)能夠同時執(zhí)行這兩種單模態(tài)任務(wù)的多模態(tài)BCI系統(tǒng),從而獲得靈活高效的控制。同時,由于運動起始視覺誘發(fā)電位BCI的刺激方式較為柔和、不易引起被試的疲勞和不適,所以本文設(shè)計的多模態(tài)BCI系統(tǒng)在操作感受上具有較為舒適的優(yōu)勢。然而由于多模態(tài)BCI同樣也面臨著與單模態(tài)BCI所面臨的同樣的如:背景噪聲干擾、腦電信號平穩(wěn)性等諸多因素的限制,為了進一步實現(xiàn)整個多模態(tài)BCI系統(tǒng)的性能提升,本論文對構(gòu)成多模態(tài)系統(tǒng)的單模態(tài)BCI系統(tǒng)的性能分別進行優(yōu)化了提升。本文研究的主要內(nèi)容如下:1.將MI(運動想象)和mVEP(運動起始視覺誘發(fā)電位)兩個單模態(tài)信息進行了融合,發(fā)展了一種新的混合BCI系統(tǒng),實現(xiàn)了更高效的光標二維運動控制。所進行的多模態(tài)任務(wù)顯示了本文提出的混合BCI系統(tǒng)可以同時誘發(fā)出所期望的MI和mVEP信號特征,兩者與單模態(tài)BCI任務(wù)中所引發(fā)的特征非常接近。此外,在線二維運動控制實驗的結(jié)果也顯示出,所提出的混合BCI系統(tǒng)可以提供更有效和自然的控制命令。這些結(jié)果證實了我們所提出的混合BCI系統(tǒng)的可行性,并且相比單模態(tài)BCI系統(tǒng)可以實現(xiàn)更為高效的二維運動控制。2.針對組成多模態(tài)系統(tǒng)中的mVEP特征的有效提取,將深度學習方法與壓縮感知方法進行了結(jié)合,提出了一種新的特征提取方法,以便挖掘更有差別性的mVEP特征從而提高mVEP BCI的性能。我們利用實驗室真實數(shù)據(jù)對該方法與傳統(tǒng)的基于幅度的mVEP特征提取方法進行了對比�？梢则炞C深度學習和壓縮感知結(jié)合的特征提取方法能夠更有效地提取mVEP特征,從而顯著的提升相應(yīng)識別mVEP腦機接口系統(tǒng)的識別準確率。3.為了實現(xiàn)對組成多模態(tài)系統(tǒng)中的mVEP模態(tài)信息進行有效的在線更新學習,提出了一種基于mVEP信號BCI自適應(yīng)校準框架。該框架的核心是將支持向量機(SVM)和模糊C均值聚類(fCM)進行多模態(tài)信息融合,挖掘出新樣本里面的可靠信息,以進行自適應(yīng)地更新訓(xùn)練集,從而能夠有效地跟蹤被試變化的狀態(tài)。我們利用實驗室真實數(shù)據(jù)對該自適應(yīng)校準框架進行了驗證,相比傳統(tǒng)的CSP方法和單種方法的校正方法基于SVM與fCM進行組合的自適應(yīng)校準框架都有最好的分類效果,這些結(jié)果體現(xiàn)出我們提出的自適應(yīng)校準框架的有效性和高效性。4.針對組成多模態(tài)系統(tǒng)中的MI特征的有效提取,采用半監(jiān)督的思想對CDBN特征提取方法進行改進,提出了一個用于左、右手MI任務(wù)分類問題的新的特征提取方法SSL-CDBN。在該方法中,我們在原有的無監(jiān)督訓(xùn)練中補充了樣本的標簽信息,但是并非直接利用標簽,而是利用標簽樣本的聚類信息來避免對標簽信息的過分依賴,從而避免了因此造成的網(wǎng)絡(luò)泛化能力受限。我們利用實驗室真實數(shù)據(jù)評估了所提出的SSL-CDBN方法用在跨被試分類問題中的潛力,結(jié)果表明在無訓(xùn)練情況下,SSL-CDBN方法得到的平均準確率分別比CSP和CDBN方法提高了4.1%和3.0%,又從分組被試數(shù)據(jù)的驗證中可以看到SSL-CDBN方法對于較差BCI表現(xiàn)組的被試有更好的提升效果,這在腦機接口的應(yīng)用中有潛在的價值。這些結(jié)果都表明SSL-CDBN方法能夠基于已有被試的信息,有效的提取到新被試MI數(shù)據(jù)中具有兩類差異性結(jié)構(gòu)的特征,能夠有效的提升MI-BCI的性能,顯著降低被試進行MI腦機接口的訓(xùn)練負擔。綜上所述,本文提出、實現(xiàn)了一套基于MI和mVEP結(jié)合的混合BCI系統(tǒng)。然后從組成多模態(tài)系統(tǒng)的各單模態(tài)BCI研究入手,改進并提出了對于這些單模態(tài)BCI更為穩(wěn)定和有效的特征提取與識別方法,從而為進一步提高多模態(tài)腦機接口的性能提供了必要的技術(shù)基礎(chǔ)。
【學位授予單位】：電子科技大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TN911.7;R318.04
【圖文】：

采集部分、信號分析處理部分和刺激與反饋部分。其中信號分析處理部分又包含特征提取和模式分類兩個子部分。其示意圖如圖 1-1 所示。第一部分用來記錄大腦神經(jīng)活動的信號，這是第二部分進行的基礎(chǔ)。目前各研究機構(gòu)通常采用腦磁圖(Magnetoencephalography ， MEG)[7]、 功 能 磁 共 振 (functional Near-InfrareSpectroscopy，fNIRS)[8]和腦電放大器[9]等設(shè)備來采集記錄腦信號。對于一個具有正常生命體征的個體來說，即使處于沉睡中，其大腦也是處于活動中的[10]，只是有強弱之分，而被試的意圖便是隱藏在這大量的自發(fā)腦電活動信號當中。特征提取部分的功能便是從采集到的腦電信號中提取出能夠有效表達被試意圖的特征信號。而后進入模式分類過程，以對特征信后進行處理，從而識別出被試的真正意圖。而刺激與反饋模塊主要存在于通過外部刺激來誘發(fā)特定腦電信號的 BCI 系統(tǒng)如聽覺、視覺刺激[11]等。這部分的主要功能在于將上一部分模式分類的識別結(jié)果及時反饋給被試，以便被試在大腦中形成一定的思維模式。而與 BCI 系統(tǒng)聯(lián)接的可以是計算機本身也可以是其他諸如輪椅等外部設(shè)備，這樣 BCI 系統(tǒng)在四肢活動等受限的殘疾人士和外界之間構(gòu)建了一個溝通和交流的渠道，在一定程度上便利和豐富了這類人群的社會生活。

作為 mVEP 信號主要識別特征的 N2 成分(常見于 160 至 200ms 范要與頂葉、顳葉和枕葉這些腦區(qū)的神經(jīng)活動有關(guān)，這些體現(xiàn)了大腦對于的整合與加工的機制[72]。而左腦半球呈現(xiàn)的 N2 的幅度與右腦半球呈現(xiàn)的幅度，也存在著很大不同。文獻[73]發(fā)現(xiàn)，在所有參與實驗的被試中，大的參與者表現(xiàn)出左腦半球呈現(xiàn)出更高的 N2 幅度特征，而這樣的一個差異并非源于參與者習慣使用右手還是習慣使用左手。相比 P1 和 N2，P2 成時間稍微晚些，大約在 240ms 左右，主要位于頂區(qū)至中央?yún)^(qū)之間。研究度和來自外界的視覺刺激所具有的復(fù)雜性有一定的正比關(guān)系[71]。對于 mVEP 的誘發(fā)方式來說，如 1.2.6 節(jié)所述，其既不需要像 SSVEP 一爍刺激的方式，也不需要像 P300 那樣對刺激呈現(xiàn)方式的要求，而僅采用速啟動這種柔和的刺激方式便可以實現(xiàn)，這極大的提高了參與者在實驗觀感受的舒適度，也大大降低了誘發(fā)癲癇等疾病的概率。根據(jù)定義可知，mVEP 信號可以由任意的運動快速啟動方式實現(xiàn)。但是研同的刺激方式所產(chǎn)生的信號特征是不同的[74]，現(xiàn)將常見的 4 種誘發(fā)方式：

圖 1-3 實驗中的 mVEP 刺激界面示意圖-3 為實驗過程中所采用的 mVEP 信號的刺激界面。從中可以看出，3含一條向左移動的紅色線條，而移動的時間被設(shè)定為 140ms。參與者注視對應(yīng)的滑動框，當紅色線條出現(xiàn)之時，參與者對應(yīng)部位的電極應(yīng)的腦電信號。，對于 mVEP-BCI 的相關(guān)研究成果還不是很多，最早由 Guo 團隊于 mVEP-BCI 系統(tǒng)[75]，他們設(shè)計的刺激范式能夠誘發(fā)出穩(wěn)定的 mVEP hang 等提出了一種利用 mVEP 三個主要成分的幅度建立的動態(tài)疊加EP-BCI 系統(tǒng)[76]，其能夠有效提升 mVEP-BCI 系統(tǒng)的信息傳輸率。腦機接口研究現(xiàn)狀來，混合 BCI(hybrid-BCI)受到越來越多的關(guān)注，混合 BCI 又稱多ti-modal-BCI)是由兩種或兩種以上的單模態(tài) BCI 系統(tǒng)組合而成。相比多模態(tài) BCI 具有明顯優(yōu)勢。單模態(tài) BCI 在不同程度上都存在一些不

【相似文獻】

相關(guān)期刊論文 前10條

1 何俊;劉躍;何忠文;多模態(tài)情感識別研究進展[J];計算機應(yīng)用研究;2018年11期

2 湯波;王云;姚道武;;基于廣告語言的多模態(tài)表現(xiàn)研究[J];皖西學院學報;2018年03期

3 梅勇;申云化;;大學英語教師多模態(tài)運用調(diào)查研究——以武漢地區(qū)高校為例[J];外國語文研究;2017年05期

4 翁成顏;;淺析多模態(tài)視角下中學翻轉(zhuǎn)課堂教學模式[J];海外英語;2017年22期

5 郭婷;;微傳播中多模態(tài)語篇的圖文意義共建研究[J];海外英語;2017年24期

6 何少嫻;張芳;毛浩然;;多模態(tài)研究的內(nèi)涵外延、方法與視角[J];閩江學院學報;2017年06期

7 劉欣;徐邵陽;劉蘇玲;翟子秋;;中英廣告的多模態(tài)隱喻對比研究[J];現(xiàn)代交際;2018年02期

8 金黛萊;關(guān)承惠;;多模態(tài)視角下民族大學�；盏囊饬x解讀[J];聊城大學學報(社會科學版);2018年01期

9 毛現(xiàn)樁;;多模態(tài)符號學理論下多模態(tài)意義建構(gòu)中模態(tài)間的并協(xié)與互補——一個大學校徽圖案的視覺語法分析[J];科技風;2016年20期

10 王榮斌;薛耀琴;;大學英語寫作教學中多模態(tài)評價能力的培養(yǎng)研究[J];內(nèi)蒙古農(nóng)業(yè)大學學報(社會科學版);2016年06期

相關(guān)會議論文 前10條

1 唐淑華;;文學語篇的語言學研究視角:多模態(tài)認知詩學——《多模態(tài)、認知和實驗文學》評介[A];認知詩學2014年第1輯[C];2014年

2 杜玲莉;王開建;紀再祥;;基于多模態(tài)話語理論的大學英語教學改革[A];新教育時代（2015年10月 總第1輯）[C];2015年

3 王琳;;淺析多模態(tài)話語分析理論在初中英語寫作教學中的應(yīng)用[A];第二屆世紀之星創(chuàng)新教育論壇論文集[C];2015年

4 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學術(shù)研討會論文集[C];2007年

5 張瑩;;大學英語課堂的多模態(tài)教學研究[A];“決策論壇——基于公共管理學視角的決策研討會”論文集（下）[C];2015年

6 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標注方法與實現(xiàn)[A];第一屆建立和諧人機環(huán)境聯(lián)合學術(shù)會議（HHME2005）論文集[C];2005年

7 張旭;郭晨;孫建波;;自適應(yīng)多模態(tài)克隆選擇算法[A];2007年中國智能自動化會議論文集[C];2007年

8 趙廣州;;從多模態(tài)話語理論角度來看交際教學法中的角色扮演[A];福建省外國語文學會2010年年會論文集[C];2010年

9 霍暢;侯婷婷;;基于大學英語翻轉(zhuǎn)課堂的多模態(tài)教學研究[A];外語教育與翻譯發(fā)展創(chuàng)新研究(第六卷）[C];2017年

10 黨軍;;雙語詞典的多模態(tài)化——用戶·詞典·編者[A];福建省外國語文學會2010年年會論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 蘇州大學跨文化研究中心、天津職業(yè)技術(shù)師范大學非盟研究中心 朱玲;多模態(tài)：翻譯研究的新視角[N];中國社會科學報;2017年

2 康建朝 中國教育科學研究院助理研究員 中芬教育創(chuàng)新研究中心主任 李棟 芬中教育協(xié)會執(zhí)行副主席兼秘書長;從中芬對比視角看芬蘭核心素養(yǎng)[N];中國教育報;2017年

3 浙江萬里學院外語部 王中祥;多模態(tài)研究：認知語言學的新方法[N];中國社會科學報;2017年

4 記者 戴麗昕;共融機器人多模態(tài)轉(zhuǎn)變成為發(fā)展趨勢[N];上海科技報;2017年

5 西北師范大學外國語學院 呂文澎 蘭州商學院隴橋?qū)W院外國語言文學系 韓世霞;多模態(tài)寫作的特征與趨勢[N];中國社會科學報;2016年

6 同濟大學外國語學院 黃立鶴;多模態(tài)語言研究發(fā)展前景廣闊[N];中國社會科學報;2016年

7 記者 張建列 通訊員 馮春;深圳先進院研制出新一代多模態(tài)顯微系統(tǒng)[N];廣東科技報;2016年

8 浙江大學教授 胡曉云　本報記者 孫魯威;堅持多模態(tài)產(chǎn)業(yè)模式[N];農(nóng)民日報;2011年

9 記者 李玉;信息技術(shù)深化多模態(tài)話語研究[N];中國社會科學報;2017年

10 記者 劉垠;在分子水平上認識疾病[N];大眾科技報;2009年

相關(guān)博士學位論文 前10條

1 屈雯;基于多模態(tài)內(nèi)容分析的多視角視頻推薦技術(shù)研究[D];東北大學;2015年

2 馬騰;基于mVEP和MI多模態(tài)腦機接口的關(guān)鍵技術(shù)研究[D];電子科技大學;2018年

3 張靈均;多模態(tài)數(shù)據(jù)分類的模糊粗糙方法研究[D];天津大學;2017年

4 張淑美;基于數(shù)據(jù)驅(qū)動的復(fù)雜多模態(tài)過程模態(tài)識別及過程監(jiān)測研究[D];東北大學;2016年

5 曾憲武;大跨度橋梁多模態(tài)耦合顫抖振及其控制研究[D];華南理工大學;2006年

6 朱玲;昆劇翻譯的多模態(tài)視角探索[D];蘇州大學;2015年

7 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學;2014年

8 李寶磊;多元優(yōu)化過程記憶算法及動靜條件下多模態(tài)尋優(yōu)研究[D];云南大學;2015年

9 王雷全;基于圖模型的多模態(tài)社會媒體分析[D];北京郵電大學;2016年

10 程波;基于遷移學習的多模態(tài)腦圖像分析及其應(yīng)用研究[D];南京航空航天大學;2015年

相關(guān)碩士學位論文 前10條

1 黃秀;基于多模態(tài)社交媒體數(shù)據(jù)源的用戶畫像構(gòu)建的研究[D];電子科技大學;2018年

2 梅素萍;多模態(tài)理論在高中英語詞匯教學中的實驗研究[D];河北師范大學;2018年

3 朱美玲;概念整合理論視角下《野獸國》的多模態(tài)隱喻意義建構(gòu)[D];陜西師范大學;2017年

4 吳米花;集體教學活動中學前名師多模態(tài)話語支架功能的個案研究[D];華中師范大學;2017年

5 謝亮;小生境粒子群算法在多模態(tài)及動態(tài)問題中的研究[D];中原工學院;2018年

6 崔煥喜;多模態(tài)MRI結(jié)合超聲在腦膠質(zhì)瘤術(shù)中的應(yīng)用[D];新疆醫(yī)科大學;2017年

7 張寅豐;基于體模的64排螺旋CT多模態(tài)掃描對顱腦病灶及邊緣征象的解剖學研究[D];河北醫(yī)科大學;2017年

8 韓晶;政治漫畫中多模態(tài)隱喻認知研究：概念整合視角[D];內(nèi)蒙古大學;2017年

9 賽小琴;多模態(tài)視角下中英反吸煙公益廣告人際意義對比研究[D];新疆大學;2017年

10 馬嵩;多模態(tài)理論在高中英語詞匯教學中的應(yīng)用研究[D];沈陽師范大學;2017年

本文編號：2747650