基于DIVA模型的漢語語音腦機接口系統(tǒng)的研究
本文關(guān)鍵詞:基于DIVA模型的漢語語音腦機接口系統(tǒng)的研究,由筆耕文化傳播整理發(fā)布。
【摘要】:DIVA(Direction Into Velocities of Articulators)模型是一種描述人腦中涉及語音生成和語音理解區(qū)域相關(guān)作用的數(shù)學模型。該模型主要特征是反映神經(jīng)解剖學與大腦相關(guān)區(qū)域的關(guān)聯(lián)性,并模擬人腦如何控制發(fā)音器官的運動,從而進行音素、單詞以及句子發(fā)音的仿真。目前為止,DIVA模型是唯一使用偽逆控制方案并具有生物學意義的神經(jīng)網(wǎng)絡模型,因此,DIVA模型對設計出能夠通過獲取人腦發(fā)出的信號從而代替人類發(fā)音的語音腦機接口系統(tǒng)具有指導意義。本文的主要工作是:1.在對DIVA模型的結(jié)構(gòu)和定義進行研究的基礎(chǔ)上,設計與中文發(fā)音相關(guān)的功能磁共振成像(functional agnetic resonance imaging,fMRI)實驗;2.依據(jù)實驗結(jié)論,對中文語音發(fā)音過程對DIVA模型大腦感興趣區(qū)域所產(chǎn)生的影響進行研究,并做出相應修改;3.采用無創(chuàng)型腦電信號(Electroencephalograph,EEG)采集方案提取這些大腦區(qū)域產(chǎn)生的腦電信號。在主要工作的第三部分,因所采用的無創(chuàng)型采集方案所獲取的腦電信號具有較多的眼電和肌動等干擾,所以我們采用獨立分量分析方式(Independent Component Correlation Algorithm,ICA)來去除腦電信號中的干擾信號,之后再使用小波包分解和共空間模式(Common Spatial Patterns,CSP)分別對腦電信號進行特征提取,最后應用支持向量機模型(Support Vector Machine,SVM)分類器對特征提取結(jié)果進行分類。應用這樣的方法,我們設計出了一個專門針對漢語語音發(fā)音的腦機接口系統(tǒng)。最后實驗結(jié)果表明,使用本文方式設計的漢語語音腦機接口(Brain-Computer Interface,BCI)系統(tǒng)具有良好的性能,支持向量機模型對漢語發(fā)音腦電信號的分類精度最高為75%,達到了國外研究者使用侵入式腦電采集方案設計的英語語音腦機接口的分類精度。本文的研究為中文語音神經(jīng)分析系統(tǒng)的設計提供了可行方案。此外,本文的實驗的結(jié)論也印證了DIVA模型對于發(fā)音過程大腦相關(guān)區(qū)域關(guān)聯(lián)性的預測。因此,本文為漢語語音腦機接口系統(tǒng)和漢語語音生成與獲取的研究奠定了良好的基礎(chǔ)。
【關(guān)鍵詞】:DIVA模型 腦機接口 小波包分解 功能磁共振成像 共空間模式 支持向量機模型
【學位授予單位】:南京郵電大學
【學位級別】:碩士
【學位授予年份】:2015
【分類號】:TN912.3;R338
【目錄】:
- 摘要4-5
- abstract5-8
- 專用術(shù)語注釋表8-10
- 第一章 緒論10-15
- 1.1 研究背景與出發(fā)點10-11
- 1.2 國內(nèi)外研究現(xiàn)狀11-13
- 1.2.1 腦電信號處理11
- 1.2.2 神經(jīng)分析系統(tǒng)11-13
- 1.3 研究內(nèi)容13
- 1.4 論文架構(gòu)13-15
- 第二章 語音腦機接口系統(tǒng)概述15-21
- 2.1 DIVA模型概述15-17
- 2.2 腦機接口與漢語神經(jīng)分析系統(tǒng)(Chinese Neuralynx System,,CNS)17-18
- 2.3 腦傳感器18-20
- 2.4 本章小結(jié)20-21
- 第三章 基于DIVA模型對中文語音發(fā)音過程的fMRI成像研究21-30
- 3.1 引言21-22
- 3.2 同步采集的神經(jīng)生理基礎(chǔ)22
- 3.3 DIVA模型中對語音任務腦區(qū)域激活的定義22-23
- 3.4 DIVA模型組件與發(fā)音相關(guān)腦區(qū)的映射關(guān)系23-25
- 3.5 大腦剩余皮層感興趣區(qū)域25-26
- 3.6 實驗設計26-27
- 3.6.1 實驗對象及材料26-27
- 3.6.2 實驗任務27
- 3.7 數(shù)據(jù)處理27-28
- 3.8 實驗結(jié)論28-29
- 3.9 本章小結(jié)29-30
- 第四章 基于DIVA模型的漢語發(fā)音腦電信號識別方法研究30-46
- 4.1 引言30
- 4.2 實驗方案30-32
- 4.2.1 實驗設計與信號采集30-31
- 4.2.2 實驗數(shù)據(jù)的預處理31-32
- 4.2.3 通道的選擇32
- 4.3 數(shù)據(jù)處理工具32-33
- 4.3.1 EEGLAB32-33
- 4.4 腦電信號的去噪33-35
- 4.4.1 眼球運動偽跡和肌肉運動偽跡33-34
- 4.4.2 使用獨立分量分析(Independent Component Correlation Algorithm,ICA)去除偽跡34-35
- 4.5 腦電信號的特征提取35-40
- 4.5.1 使用小波包分解對腦電信號進行特征提取35-39
- 4.5.1.1 小波變換35
- 4.5.1.2 小波包分解的特點35-38
- 4.5.1.3 小波能量分解38
- 4.5.1.4 小波包分解處理腦電信號的優(yōu)勢38-39
- 4.5.1.5 使用小波包分解對實驗數(shù)據(jù)進行特征提取39
- 4.5.2 使用共空間模式(CSP)對腦電信號進行特征提取39-40
- 4.5.2.1 CSP的特點39
- 4.5.2.2 使用CSP對實驗數(shù)據(jù)進行特征提取39-40
- 4.6 特征向量的分類和預測40-43
- 4.6.1 支持向量機模型(SVM)40-41
- 4.6.2 LibSVM41-42
- 4.6.3 使用支持向量機模型對特征向量進行識別42-43
- 4.7 通道的選擇對中英文發(fā)音識別精度的影響43-44
- 4.8 本章小結(jié)44-46
- 第五章 漢語語音腦機接口系統(tǒng)的實現(xiàn)46-52
- 5.1 引言46
- 5.2 DIVA模型的發(fā)音過程46-50
- 5.2.1 前田幾何聲道模型46-48
- 5.2.2 DIVA模型的發(fā)音的學習過程48-49
- 5.2.3 使用分類結(jié)果驅(qū)動DIVA模型進行發(fā)音49-50
- 5.2.3.1 DIVA模型接口49
- 5.2.3.2 DIVA模型用戶接口與發(fā)音流程49-50
- 5.3 本章小結(jié)50-52
- 第六章 總結(jié)與展望52-54
- 6.1 總結(jié)52
- 6.2 展望52-54
- 參考文獻54-59
- 附錄1 程序清單59-61
- 附錄2 攻讀碩士學位期間撰寫的論文61-62
- 附錄3 攻讀碩士學位期間申請的專利62-63
- 附錄4 攻讀碩士學位期間參加的科研項目63-64
- 致謝64
【相似文獻】
中國期刊全文數(shù)據(jù)庫 前10條
1 柯大觀;童勤業(yè);;排列復雜性度量應用于腦機接口信號分析[J];傳感技術(shù)學報;2007年03期
2 周鵬;曹紅寶;熊屹;張爽;王明時;;一種新型拉普拉斯電極的設計及其在腦機接口中的應用[J];傳感技術(shù)學報;2007年09期
3 沈廣澤;司峻峰;寧新寶;;一種用于腦機接口的模式識別方法[J];北京生物醫(yī)學工程;2007年06期
4 趙均榜;張智君;;基于皮層誘發(fā)電位的腦機接口研究進展[J];航天醫(yī)學與醫(yī)學工程;2010年01期
5 胡漢彬;祝曄;蔣田仔;;基于功能近紅外光譜技術(shù)的腦機接口研究[J];生物醫(yī)學工程研究;2010年01期
6 何慶華;吳海靜;田逢春;馮正權(quán);劉濤;鐘美楠;王正國;;用于控制短消息發(fā)送的實時腦機接口系統(tǒng)[J];中國醫(yī)學物理學雜志;2012年03期
7 姚林;張定國;王穎;;腦機接口控制的下肢功能性電刺激系統(tǒng)研究[J];中國生物醫(yī)學工程學報;2012年05期
8 高海娟;徐桂芝;王磊;郭苗苗;;基于雙耳分聽范式的聽覺腦機接口研究[J];河北工業(yè)大學學報;2013年06期
9 楊幫華,顏國正,丁國清,于蓮芝;腦機接口關(guān)鍵技術(shù)研究[J];北京生物醫(yī)學工程;2005年04期
10 鄒繼東;陳小平;和衛(wèi)星;趙世婧;吉奕;;小波熵提取腦意識任務特征的腦機接口設計[J];中國臨床康復;2006年13期
中國重要會議論文全文數(shù)據(jù)庫 前10條
1 錢久超;夏斌;楊文璐;;基于P300誘發(fā)電位的腦機接口技術(shù)研究綜述[A];全國第21屆計算機技術(shù)與應用學術(shù)會議(CACIS·2010)暨全國第2屆安全關(guān)鍵技術(shù)與應用學術(shù)會議論文集[C];2010年
2 ;腦機接口數(shù)據(jù)競賽[A];首屆全國功能神經(jīng)影像學和神經(jīng)信息學研討會論文匯編[C];2003年
3 岳鵬;苗丹民;邱玉輝;;一種眼動型腦機接口的設計原理[A];計算機技術(shù)與應用進展——全國第17屆計算機科學與技術(shù)應用(CACIS)學術(shù)會議論文集(下冊)[C];2006年
4 何慶華;吳寶明;王禾;卓豫;;腦機接口視覺剌激方法實驗研究[A];中國生物醫(yī)學工程進展——2007中國生物醫(yī)學工程聯(lián)合學術(shù)年會論文集(下冊)[C];2007年
5 周鵬;趙欣;葛家怡;李寧;郁洪強;王明時;;基于運動想象的腦機接口的個性化設計方法研究[A];天津市生物醫(yī)學工程學會2008年年會暨首屆生物醫(yī)學工程與臨床論壇論文集[C];2008年
6 郭苗苗;徐桂芝;王磊;王江;;基于小波變換的聽覺腦機接口特征信號分析[A];天津市生物醫(yī)學工程學會第三十一屆學術(shù)年會論文集[C];2011年
7 賈文艷;趙香花;高小榕;高上凱;楊福生;;2003年腦機接口數(shù)據(jù)競賽論文之五——想像左右手運動的單次腦電信號分類[A];首屆全國功能神經(jīng)影像學和神經(jīng)信息學研討會論文匯編[C];2003年
8 何慶華;吳寶明;王禾;鐘渝;杜曉蘭;彭承琳;;瞬態(tài)視覺誘發(fā)電位在腦機接口中的實驗研究[A];中國生物醫(yī)學工程學會第六次會員代表大會暨學術(shù)會議論文摘要匯編[C];2004年
9 高小榕;;腦機接口中的信息傳輸技術(shù)[A];Proceedings of the 8th Biennial Conference of the Chinese Society for Neuroscience[C];2009年
10 張少白;陳悅;;腦皮層信號ECoG在腦機接口中的應用研究[A];第25屆中國控制與決策會議論文集[C];2013年
中國重要報紙全文數(shù)據(jù)庫 前10條
1 本報記者 馬文方;腦機接口:互聯(lián)網(wǎng)遙遠的疆界[N];中國計算機報;2010年
2 實習生 陳明立;腦機接口,開啟“心靈感應”時代[N];科技日報;2010年
3 本報記者 孫燕燕;洪波:腦機接口傳遞思維[N];北京科技報;2010年
4 本報記者 羅朝淑;腦機接口:喚起神經(jīng)康復的新希望[N];科技日報;2011年
5 記者 李鵬;“腦機接口”實驗:意識控制成真[N];北京科技報;2012年
6 松鼠會;腦機接口 不只是科幻[N];科學導報;2012年
7 常麗君;腦機接口讓猴子成功控制虛擬手臂[N];科技日報;2013年
8 葉平安;腦機接口:人與電腦的橋梁[N];電腦報;2014年
9 安之;未來至上在創(chuàng)“芯”[N];經(jīng)濟日報;2014年
10 記者 陳寧 通訊員 周煒 楊洋;“鼠哥”眼光出眾的奧秘[N];浙江日報;2013年
本文關(guān)鍵詞:基于DIVA模型的漢語語音腦機接口系統(tǒng)的研究,由筆耕文化傳播整理發(fā)布。
本文編號:328664
本文鏈接:http://www.sikaile.net/yixuelunwen/jichuyixue/328664.html