手語是一種結(jié)構(gòu)化語言,是殘疾人之間交流的主要方式。由于正常人很少學習手語,導致聾啞人與正常人之間存在溝通障礙,給聾啞人的日常生活、學習帶來諸多不便。手語識別技術(shù)將手語翻譯成文本或者語音,能夠在聾啞人與正常人之間建立溝通橋梁。手語作為一種語言,涉及的手勢動作復雜多樣,識別難度大。肌電（electromyography,EMG）能夠直接反映肌肉的活動狀態(tài),能有效解決手語動作之間的運動插入問題,在手語識別方面具有獨特優(yōu)勢。但是肌電信號對于相似動作的識別效果較差,而數(shù)據(jù)手套直接檢測關(guān)節(jié)形變,能夠識別區(qū)分度較小的動作。針對以上情況,本文提出利用形變傳感器檢測關(guān)節(jié)形變并和肌電信號融合進行手語識別。本文的主要工作概括如下:（1）本文搭建了一個肌電和手指關(guān)節(jié)形變信號同步采集系統(tǒng),系統(tǒng)通過商用的無線肌電電極采集肌電信號,通過形變傳感器采集手指關(guān)節(jié)形變信號。測試結(jié)果表明本文中使用的形變傳感器具有響應速度快、重復性好的特點,能很好地檢測關(guān)節(jié)形變信號。（2）以30個中國手語字母為目標動作集,通過6位受試的實驗數(shù)據(jù)處理過程及結(jié)果,詳細對比了兩種信號對于30個手語字母動作的識別結(jié)果及性能,并分析了兩種信號各自的優(yōu)... 

【文章來源】：中國科學院大學(中國科學院深圳先進技術(shù)研究院)廣東省

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

安排手語翻譯的情形Figure1.1Situationswhensignlanguageinterpretersarearranged

基于肌電和手指關(guān)節(jié)形變信號融合的手語識別方法研究4數(shù)據(jù)手套、EnableTalk。Gaoeta1(2004)利用兩個數(shù)據(jù)手套和三個位置追蹤器實現(xiàn)了一個大詞匯量的連續(xù)手語識別系統(tǒng)，在由5113個手勢詞組成的1500個句子的分類中取得了90.8%的平均識別率。MohamedA.Mohandesetal（2013）利用數(shù)據(jù)手套采集了100個雙手手語動作信號，并使用SVM對采得的信號進行分類，在測試集上達到了99.6%的識別率[40]。呂蕾等(2015)使用可穿戴的數(shù)據(jù)手套采集交互任務(wù)下的原始靜態(tài)手勢動作，運用特征點集模板匹配方法對25種手勢動作進行識別并取得了98.9%的識別率[41]。NoorTubaizetal(2015)用DG5-VHand數(shù)據(jù)手套采集了由80個手語詞組成的40個句子的動作信息，并用k近鄰算法進行分類，分類準確率達到98.9%[42]。Lieta1(2016)利用一副低成本的數(shù)據(jù)手套采集現(xiàn)實生活中的真實手語動作信息，且在由510個中國手語詞組成的1024個測試句子的識別中取得了87.4%的平均識別率[43]。Bukhari,J.,etal.(2015)用彎曲度傳感器、接觸傳感器和及速度傳感器制成了一個低成本數(shù)據(jù)手套用于識別美國手語，并將其翻譯成語音，實驗結(jié)果證明，該手套對26個手語字母的識別率達到92%[44]�；跀�(shù)據(jù)手套的手勢識別方法可以直接感知手勢動作的時間和空間信息，能識別的動作數(shù)量多，識別準確率高。但是市場上現(xiàn)有的數(shù)據(jù)手套大多價格高昂，難以推廣應用[45]。近年研究者們也在嘗試利用價格低廉的材料來制作數(shù)據(jù)手套[46]，但是目前現(xiàn)有的彎曲度傳感器體積較大且剛性強、柔韌性差，雖然價格低，但舒適度差，用戶體驗差。圖1.2研究者們自制的數(shù)據(jù)手套Figure1.2Self-madedata-glove1.2.3基于肌電的手語識別方法研究現(xiàn)狀

第2章肌電和手指關(guān)節(jié)形變信號采集系統(tǒng)9第2章肌電和手指關(guān)節(jié)形變信號采集系統(tǒng)2.1信號采集系統(tǒng)概述為了對本文提出的基于肌電和手指關(guān)節(jié)形變信號融合的手語識別方法進行驗證，本文搭建了一個肌電和手指關(guān)節(jié)形變信號同步采集系統(tǒng)。該系統(tǒng)利用組內(nèi)研制的新型形變傳感器作形變傳感器檢測手指關(guān)節(jié)形變，用商用的肌電采集設(shè)備采集肌電信號。如圖2.1所示，形變信號通過貼附在織物手套上的形變傳感器檢測。圖2.2展示了手套的細節(jié)，形變傳感器柔軟輕薄，將其固定在手套上，使其能夠完整地覆蓋關(guān)節(jié)。經(jīng)檢測形變傳感器能對手指關(guān)節(jié)形變做出快速響應，采集到的信號能很好地反映關(guān)節(jié)形變信息，且與肌電信號具有很好地同步性，滿足本文的信號采集需求。圖2.1肌電和手指關(guān)節(jié)形變信號采集平臺Figure2.1SynchronousacquisitionplatformforEMGandfingerjointdeformationsignal圖2.2用于采集手指關(guān)節(jié)形變信號的手套Figure2.2Gloveforcollectingdeformationsignal

【參考文獻】：
期刊論文
[1]一種基于數(shù)據(jù)手套的靜態(tài)手勢識別方法[J]. 呂蕾,張金玲,朱英杰,劉弘.  計算機輔助設(shè)計與圖形學學報. 2015(12)



本文編號：3606409