我國(guó)聽(tīng)障人群約占世界1/5并逐年增加,中國(guó)手語(yǔ)是聾人和健聽(tīng)人交流的一種有效工具,如何實(shí)現(xiàn)大規(guī)模詞匯量的中國(guó)手語(yǔ)手勢(shì)動(dòng)作識(shí)別仍然面臨很多問(wèn)題。作為一種規(guī)范的語(yǔ)言文字型手語(yǔ),中國(guó)普樂(lè)手語(yǔ)采用音形碼和部件碼編碼手勢(shì)動(dòng)作實(shí)現(xiàn)中國(guó)漢字的表達(dá)。其編碼手勢(shì)動(dòng)作規(guī)模小且數(shù)量恒定,易于詞匯量擴(kuò)展,且文字型手語(yǔ)有助于聾啞人建立漢語(yǔ)思維,學(xué)習(xí)知識(shí),從而融入社會(huì)。因此,本文以普樂(lè)手語(yǔ)編碼手勢(shì)動(dòng)作為主要研究對(duì)象,分別從表面肌電電極和攝像頭兩種手勢(shì)動(dòng)作信號(hào)捕獲方式入手,深入研究中國(guó)普樂(lè)手語(yǔ)手勢(shì)動(dòng)作識(shí)別的具體問(wèn)題。1、表面肌電信號(hào)(surface electromyogram,sEMG)在表征精細(xì)手勢(shì)動(dòng)作方面具有天然優(yōu)勢(shì),但由于個(gè)體解剖生理差異及執(zhí)行方向等因素,同一手勢(shì)動(dòng)作產(chǎn)生的sEMG信號(hào)不盡相同。本文提出了一種基于典型相關(guān)分析的方向無(wú)關(guān)手勢(shì)識(shí)別框架PICCA(position independent canonical correlation analysis),以預(yù)先定義的專(zhuān)家特征集為橋梁,將多個(gè)方向的訓(xùn)練特征與指定方向的測(cè)試特征映射成統(tǒng)一風(fēng)格特征,挖掘相同手勢(shì)動(dòng)作sEMG信號(hào)在不同方向上的相似性。用戶相關(guān)和用戶無(wú)關(guān)兩種實(shí)驗(yàn)方案的結(jié)果表明,采用CCA得到的手勢(shì)動(dòng)作識(shí)別結(jié)果相比于無(wú)CCA的結(jié)果分別提升28.52%和44.19%,充分說(shuō)明PICCA方案能夠提取相同手勢(shì)動(dòng)作在不同方向上sEMG信號(hào)的相似性,為減弱肌電控制系統(tǒng)中的用戶依賴特性和方向依賴特性提供一種解決方案。同時(shí),通過(guò)較少量的測(cè)試數(shù)據(jù)參與模型校準(zhǔn),實(shí)現(xiàn)方向無(wú)關(guān)手勢(shì)動(dòng)作肌電信號(hào)有效識(shí)別,在一定程度上降低了用戶數(shù)據(jù)采集負(fù)擔(dān)。2、由于攝像頭成本低、用戶無(wú)需佩戴傳感器、設(shè)備普及度高等優(yōu)點(diǎn),基于視覺(jué)的手勢(shì)識(shí)別技術(shù)引起了研究學(xué)者的廣泛關(guān)注。本文也研究了基于攝像頭的中國(guó)普樂(lè)手語(yǔ)手勢(shì)識(shí)別。中國(guó)普樂(lè)手語(yǔ)編碼手勢(shì)動(dòng)作共有13個(gè)基本手形,每個(gè)手形分別在三個(gè)不同方向上執(zhí)行,分別代表三種不同的編碼手勢(shì)動(dòng)作。本文提出了基于手指角度距離特征(angle distance of fingers,ADOF)和手掌角度距離特征(angle distance of hand,ADOH)用于表征同一手勢(shì)動(dòng)作的不同方向信息,之后通過(guò)動(dòng)態(tài)時(shí)間規(guī)整算法(dynamic time warping,DTW)將ADOF和ADOH特征進(jìn)行相似性距離映射,進(jìn)一步增強(qiáng)特征的魯棒性。實(shí)驗(yàn)表明本文提出的特征ADOF或ADOH,結(jié)合DTW映射有助于提取對(duì)指向敏感的信息,可以有效識(shí)別中國(guó)普樂(lè)手語(yǔ)編碼手勢(shì)動(dòng)作;采用分類(lèi)器工具包進(jìn)行手勢(shì)動(dòng)作識(shí)別,對(duì)兩類(lèi)特征大部分分類(lèi)器的結(jié)果可以達(dá)到95%和90%以上。該研究為大規(guī)模詞匯量連續(xù)中國(guó)手語(yǔ)識(shí)別系統(tǒng)提供了一種解決方案,尤其對(duì)推廣規(guī)范的中國(guó)手語(yǔ)具有重要意義。
【學(xué)位單位】：合肥工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TP391.41;TN911.7
【部分圖文】：

分指橫和指下兩個(gè)方向[6]，因此，涉及指上、指橫、指普樂(lè)手語(yǔ)是一種文字型音形碼手語(yǔ)，根據(jù)漢字的特點(diǎn)打出對(duì)手語(yǔ)。普樂(lè)手語(yǔ)具有多方面的優(yōu)勢(shì)，概括為以下幾點(diǎn)：該版本的手語(yǔ)是一種完全意義上的語(yǔ)言文字型手語(yǔ)，常用的采用 39 類(lèi)基本手勢(shì)動(dòng)作組合來(lái)表征。而且手語(yǔ)根據(jù)字音字生了新的漢字，普樂(lè)手語(yǔ)也能夠?qū)?yīng)產(chǎn)生新的手語(yǔ)手勢(shì)，語(yǔ)打出的尷尬，具有大詞匯量可擴(kuò)展優(yōu)勢(shì)。文字的表示只需要在口邊和腰部變換一次手勢(shì)即可，不需要每個(gè)字母對(duì)應(yīng)的手勢(shì)來(lái)回變換多次手勢(shì)，減輕了執(zhí)行者的換手勢(shì)導(dǎo)致手勢(shì)不連貫而看不出所要表達(dá)的文字的問(wèn)題。另外，普樂(lè)手語(yǔ)由 13 個(gè)基本指式和 3 個(gè)基本朝向構(gòu)成，形數(shù)目有限且少量的手勢(shì)有利于聾啞人系統(tǒng)學(xué)習(xí)和記憶漢語(yǔ)再者，這種結(jié)合文字、字音的手語(yǔ)打法，有利于聾人建立漢拼音及漢字。通過(guò)識(shí)別手語(yǔ)動(dòng)作，將其結(jié)果用有聲或者文助于聾人和健聽(tīng)人之間的交流。

合肥工業(yè)大學(xué)學(xué)術(shù)碩士研究生學(xué)位論文特征，去除冗余數(shù)據(jù)，減少數(shù)據(jù)存儲(chǔ)量，簡(jiǎn)化分類(lèi)器中的計(jì)算，加而特征映射過(guò)程為了發(fā)現(xiàn)更有價(jià)值的潛在變量，使得重構(gòu)后的特征意義或統(tǒng)計(jì)意義，可以加深對(duì)數(shù)據(jù)的理解，使某些數(shù)據(jù)具有一定的時(shí)能更有效的表征原手勢(shì)動(dòng)作，提高識(shí)別率。這也是本文的重點(diǎn)部章和第四章中具體闡述關(guān)于肌電和圖像的手語(yǔ)手勢(shì)識(shí)別中特征提取5）分類(lèi)識(shí)別過(guò)程主要包含分類(lèi)器的選擇和設(shè)計(jì)，在特征空間中使用識(shí)別的手語(yǔ)手勢(shì)動(dòng)作進(jìn)行分類(lèi)，主要分為兩個(gè)階段：分類(lèi)器通過(guò)對(duì)來(lái)構(gòu)建模型，和對(duì)未知測(cè)試樣本數(shù)據(jù)的判決分類(lèi)。這是實(shí)現(xiàn)手勢(shì)動(dòng)關(guān)鍵一步。分類(lèi)過(guò)程一般分無(wú)監(jiān)督和有監(jiān)督學(xué)習(xí)兩類(lèi)，最近鄰、K聚類(lèi)方式，而支持向量機(jī)、貝葉斯分類(lèi)器、神經(jīng)網(wǎng)絡(luò)等為典型的有。手語(yǔ)特征提取分類(lèi)識(shí)別

圖 2.2 5 個(gè)時(shí)域?qū)ёV矩特征推導(dǎo)過(guò)程[32]Fig.2.2 The derivation process of 5 time-dependent power spectrum moment features[32].2.2.2圖像手勢(shì)特征提取方法基于視覺(jué)的手勢(shì)識(shí)別的主要問(wèn)題在于如何處理各種各樣的手勢(shì)及姿態(tài)。手勢(shì)識(shí)別有時(shí)需要處理多個(gè)自由度的數(shù)據(jù)，根據(jù)攝像機(jī)的視角直接處理二維平面上手勢(shì)輪廓尺度等空間信息，以及手勢(shì)運(yùn)動(dòng)速度、軌跡等時(shí)間信息[21]。此外，手勢(shì)識(shí)別系統(tǒng)還需要根據(jù)具體的應(yīng)用程序、解決方案的成本以及實(shí)時(shí)性、健壯性、用戶獨(dú)立性等標(biāo)準(zhǔn)來(lái)平衡系統(tǒng)性能。目前，手勢(shì)識(shí)別已經(jīng)逐漸呈現(xiàn)從二維走向三維，從靜態(tài)走向動(dòng)態(tài)的發(fā)展趨勢(shì)。但是，普樂(lè)手語(yǔ)作為一些靜態(tài)指勢(shì)動(dòng)作的集合，不涉及動(dòng)態(tài)組合及手勢(shì)軌跡信息，但存在多方向手勢(shì)識(shí)別問(wèn)題，因此本文更關(guān)注手形的姿態(tài)表征。圖像特征提取是將輸入數(shù)據(jù)中感興趣的部分轉(zhuǎn)化為一組壓縮的、有代表性的特征向量集。在手勢(shì)識(shí)別中，提取的特征應(yīng)包含從輸入的手勢(shì)數(shù)據(jù)中提取得到與手勢(shì)相關(guān)的信息，并以更緊湊、無(wú)冗余的形式表示，提取的特征要能夠?qū)⒏黝?lèi)別
【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 葛遂元;;中國(guó)手語(yǔ)兩派之爭(zhēng)解談[J];綏化學(xué)院學(xué)報(bào);2012年03期

相關(guān)博士學(xué)位論文 前3條

1 李云;基于肌電模式的中國(guó)手語(yǔ)識(shí)別研究及康復(fù)應(yīng)用探索[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

2 成娟;基于表面肌電和加速度信號(hào)融合的動(dòng)作識(shí)別和人體行為分析研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

3 張旭;基于表面肌電信號(hào)的人體動(dòng)作識(shí)別與交互[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前1條

1 管睿;基于分?jǐn)?shù)階的多重集典型相關(guān)分析算法研究[D];南京理工大學(xué);2015年

本文編號(hào)：2874011