本文關(guān)鍵詞：基于LEAP MOTION的盲語識(shí)別系統(tǒng)研發(fā)

  更多相關(guān)文章： 盲語識(shí)別系統(tǒng) HMM模型 Leap Motion Unity3D 動(dòng)態(tài)手勢(shì)

【摘要】：在我們的現(xiàn)實(shí)生活中,有著這樣的一類人群——聾啞人。據(jù)相關(guān)機(jī)構(gòu)統(tǒng)計(jì)中國的聾啞人人口大約有兩千萬,在這個(gè)龐大的人群中,盲語成為了他們之間交流的主要方式之一。由于盲語存在其自身的特殊性以及較低的普及度,所以這更加大了聾啞人與非聾啞人之間交流的障礙。本文圍繞如何解決聾啞人與非聾啞人之間的交流問題,研發(fā)出了盲語識(shí)別系統(tǒng),將聾啞人的盲語實(shí)時(shí)翻譯成能夠讓非聾啞人聽懂的語音形式。首先,我們通過體感設(shè)備Leap Motion將手語者的手部動(dòng)作采集下來,結(jié)合利用Unity3D軟件進(jìn)行數(shù)據(jù)的處理并且儲(chǔ)存動(dòng)態(tài)手勢(shì)的相關(guān)數(shù)據(jù)信息。然后,我們將儲(chǔ)存下來的動(dòng)態(tài)手勢(shì)數(shù)據(jù)進(jìn)行一個(gè)三維坐標(biāo)的平面化轉(zhuǎn)換處理,將三維空間中的手勢(shì)坐標(biāo)信息轉(zhuǎn)化為在二維平面中的坐標(biāo)信息,這樣做是為了減少數(shù)據(jù)的處理量,從而可以加快我們系統(tǒng)識(shí)別的速度。最后,我們將已經(jīng)平面化的動(dòng)態(tài)手勢(shì)數(shù)據(jù)進(jìn)行一個(gè)規(guī)一化處理,根據(jù)相關(guān)的規(guī)一化公式將數(shù)據(jù)信息規(guī)整為整數(shù)的形式,這樣做的目的是為了降低一些模糊手勢(shì)動(dòng)作的誤識(shí)率,且也是為利用HMM模型進(jìn)行識(shí)別提供了一個(gè)前提條件。本文還通過查閱相關(guān)文獻(xiàn),利用HMM模型來對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別。我們?cè)O(shè)計(jì)了 一組盲語并在HMM模型的基礎(chǔ)上對(duì)其進(jìn)行實(shí)時(shí)識(shí)別的試驗(yàn)。通過試驗(yàn)結(jié)果分析,我們提出了一個(gè)基于HMM模型下的雙通道模型——坐標(biāo)特征模型、筆畫特征模型。我們分別對(duì)這兩種特征模型進(jìn)行了相關(guān)的試驗(yàn)設(shè)計(jì),根據(jù)試驗(yàn)結(jié)果分析得出各種模型下進(jìn)行識(shí)別的優(yōu)勢(shì)和劣勢(shì)。我們還希望通過進(jìn)一步的研究,從而找到一種模型能夠更好地提高盲語識(shí)別系統(tǒng)的識(shí)別速度以及識(shí)別的準(zhǔn)確度。由于使用者的差異性,手勢(shì)識(shí)別面向不同的人群,就算是一個(gè)標(biāo)準(zhǔn)手部動(dòng)作也會(huì)存在各種差異,這也就增大了識(shí)別的準(zhǔn)確度。在采集手勢(shì)數(shù)據(jù)的過程中產(chǎn)生大量的數(shù)據(jù),由于數(shù)據(jù)量過大就會(huì)對(duì)算法的要求有著很大的提高,我們希望在今后的研發(fā)過程中對(duì)于識(shí)別的速度以及識(shí)別的準(zhǔn)確度上面我們要有一個(gè)飛躍,我們希望找到一種全新的技術(shù)方法來從根本上解決這一問題。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41;TP274

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 孫凱;嚴(yán)瀟然;謝榮平;;基于手勢(shì)識(shí)別的智能家居人機(jī)交互系統(tǒng)設(shè)計(jì)[J];工業(yè)控制計(jì)算機(jī);2014年04期

2 趙建東;高光來;飛龍;;基于HMM的蒙古語語音合成技術(shù)研究[J];計(jì)算機(jī)科學(xué);2014年01期

3 萬華根;肖海英;鄒松;;面向新一代大眾游戲的手勢(shì)交互技術(shù)[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2011年07期

4 任海兵,祝遠(yuǎn)新,徐光yP,林學(xué)，

本文編號(hào)：1277747