發(fā)布時間：2019-05-21 18:53

【摘要】：隨著計算機技術的進步,人機交互正在朝著人性化與簡單化的方向不斷發(fā)展,非接觸式手勢交互逐漸成為人機交互的一個重要方式。與鼠標、鍵盤、觸摸屏等接觸式的操作方式相比,非接觸式的手勢交互更加符合人的自然行為。近年來,隨著計算機視覺和圖像處理技術的發(fā)展,基于機器視覺的手勢與計算機交互的方式正在成為新型人機交互方式的主流。然而,現(xiàn)有的手勢交互體驗并不理想,如何克服環(huán)境因素的干擾,準確獲取手勢信息并進行有效識別,如何設計一種友好、高效的手勢交互方式來實現(xiàn)人與計算機之間的直接對話,是本文研究要解決的主要問題。本文主要的研究工作包括:(1)通過Kinect傳感器獲取人體手臂骨骼關節(jié)信息,提取有效手臂手關節(jié)點在三維空間的運動軌跡,并將三維運動軌跡轉(zhuǎn)化為一維的手勢軌跡,結(jié)合手勢軌跡的表觀特征,提出了一種速度與角度相結(jié)合進行手勢分割的方法,進而利用改進的動態(tài)時間規(guī)整(dynamic time warp,DTW)算法實現(xiàn)了在復雜環(huán)境和不同光照條件下對動態(tài)手勢的快速、高效識別。(2)將手關節(jié)點的空間坐標位置轉(zhuǎn)化為計算機屏幕上的光標位置,從而可根據(jù)手關節(jié)點的移動來確定光標的移動方向和移動距離,實現(xiàn)對光標的定位。將手勢識別結(jié)果轉(zhuǎn)換為鼠標操作指令發(fā)送給計算機,實現(xiàn)手勢與鼠標的映射。(3)基于MFC開發(fā)了一款手勢操作五子棋游戲軟件,可利用設計的手勢來操作游戲,實現(xiàn)了一種非接觸式的手勢交互應用。非接觸式手勢交互技術解放了用戶肢體及其在空間上的限制,是智能人機交互研究領域的重要組成部分。將智能科技與傳統(tǒng)交互模式結(jié)合,開發(fā)一種新的交互技術適應了當前科技發(fā)展的趨勢。本課題得到國家自然科學基金項目“No.61573029”和北京市自然科學基金項目“No.4162012”的資助,對于促進手勢交互技術的廣泛應用具有重要實際意義。
[Abstract]:With the progress of computer technology, human-computer interaction is developing towards humanization and simplification, and contactless gesture interaction has gradually become an important way of human-computer interaction. Compared with mouse, keyboard, touch screen and other contact operation methods, contactless gesture interaction is more in line with human natural behavior. In recent years, with the development of computer vision and image processing technology, gesture and computer interaction based on machine vision is becoming the mainstream of new human-computer interaction. However, the existing gesture interaction experience is not ideal, how to overcome the interference of environmental factors, accurately obtain gesture information and effectively identify, how to design a friendly, Efficient gesture interaction to realize the direct dialogue between people and computers is the main problem to be solved in this paper. The main research work of this paper is as follows: (1) the bone and joint information of human arm is obtained by Kinect sensor, the movement trajectory of effective arm hand node in three dimensional space is extracted, and the three dimensional motion trajectory is transformed into one dimensional gesture trajectory. Based on the apparent characteristics of gesture trajectory, a method of gesture segmentation based on speed and angle is proposed, and then the improved dynamic time warping (dynamic time warp, is used. DTW) algorithm realizes the fast and efficient recognition of dynamic gestures in complex environment and different lighting conditions. (2) the spatial coordinate position of the hand node is transformed into the cursor position on the computer screen. Therefore, the moving direction and distance of the cursor can be determined according to the movement of the hand node, and the positioning of the cursor can be realized. The result of gesture recognition is converted into mouse operation instruction and sent to computer to realize the mapping between gesture and mouse. (3) based on MFC, a kind of gesture operation Gobang game software is developed, which can use the designed gesture to operate the game. A contactless gesture interaction application is implemented. Contactless gesture interaction technology liberates user limbs and their spatial limitations, and is an important part of intelligent human-computer interaction research field. Combining intelligent science and technology with traditional interaction mode, a new interactive technology is developed to adapt to the current trend of scientific and technological development. This project is supported by the National Natural Science Foundation of China (No.61573029) and the Beijing Natural Science Foundation of Beijing (No.4162012). It is of great practical significance to promote the wide application of gesture interaction technology.
【學位授予單位】：北京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 覃正;;新型交互技術加速大學教育模式變革[J];教書育人;2013年33期

2 溫俊文;虛擬現(xiàn)實建模語言的交互技術及其應用[J];湛江師范學院學報;2001年03期

3 姚堅;交互技術促進信息化進程[J];西部廣播電視;2003年09期

4 黃文卿;;淺析數(shù)字媒體藝術中的交互技術應用[J];職業(yè)技術;2012年02期

5 雷超,戴國忠;自然的3D交互技術[J];中國計算機用戶;1999年34期

6 周妮;;基于雙手觸摸式自然交互技術的研究[J];科技風;2011年06期

7 劉毅錕;趙羲;張朝陽;付浩;趙杰;;2維地圖與3維虛擬場景交互技術的應用與實現(xiàn)[J];測繪與空間地理信息;2012年04期

8 王苗;王錫芝;;基于多觸點交互技術的教育游戲設計[J];軟件導刊;2013年08期

9 鄭建新;徐金明;李建輝;;基于遠程瀏覽的調(diào)控數(shù)據(jù)交互技術研究[J];科技傳播;2012年24期

10 蔣松儒;;交互技術應用趨勢下的展示設計[J];天津美術學院學報;2013年02期

相關會議論文 前8條

1 張錦;;基于車路和車車信息交互技術的研究[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

2 高永明;;大型3D復雜場景顯示中的快速交互技術[A];2007年中國智能自動化會議論文集[C];2007年

3 王晶晶;劉寧;白雷石;嚴輝;王曉影;;紅外線式觸控交互技術發(fā)展探究[A];第三屆全國虛擬儀器大會論文集[C];2008年

4 許如琴;楊冶杰;;淺談遠程教育網(wǎng)絡課程交互技術[A];系統(tǒng)仿真技術及其應用（第7卷）——'2005系統(tǒng)仿真技術及其應用學術交流會論文選編[C];2005年

5 張磊;;人-機交互技術中的可靠性影響因素[A];人-機-環(huán)境系統(tǒng)工程研究進展（第七卷）[C];2005年

6 宋健;趙乾坤;沈軼;劉允才;;手術室媒體信息交互技術研究[A];第七屆和諧人機環(huán)境聯(lián)合學術會議（HHME2011)論文集【poster】[C];2011年

7 呂春花;張鳳軍;武匯岳;戴國忠;;基于TUI的場景規(guī)劃系統(tǒng)中的交互技術[A];中國計算機圖形學進展2008--第七屆中國計算機圖形學大會論文集[C];2008年

8 王亮;張博;張鳳軍;戴國忠;;PIP:基于多通道交互技術的自然交互界面[A];第三屆和諧人機環(huán)境聯(lián)合學術會議（HHME2007）論文集[C];2007年

相關重要報紙文章 前3條

1 南方科技大學副校長 覃正;新型交互技術加速大學教育模式變革[N];中國教育報;2013年

2 李剛;高速與安全撐起應用交互技術[N];中國計算機報;2007年

3 本報記者 郭濤;天霆交互技術讓終端變得更智能[N];中國計算機報;2013年

相關博士學位論文 前1條

1 陳亮;手持設備背后交互技術可用性研究[D];電子科技大學;2015年

相關碩士學位論文 前10條

1 楊輝;筆+觸控界面中基于壓力的交互技術的研究與設計[D];昆明理工大學;2015年

2 謝浚;基于交互式電子音樂條件下的“虛擬打擊樂”初探[D];上海音樂學院;2015年

3 王利國;文化主題園區(qū)虛擬場景構(gòu)建與交互技術研究[D];中北大學;2016年

4 寧靜;基于WebGL實物交互技術及其實現(xiàn)的研究[D];華中科技大學;2014年

5 魏然;數(shù)字媒體交互技術在會展展示中的應用研究[D];南京藝術學院;2016年

6 王錦;基于視覺的非接觸式手勢交互技術研究[D];北京工業(yè)大學;2016年

7 李茜;基于筆交互技術的動態(tài)幾何軟件系統(tǒng)研究[D];山東大學;2008年

8 徐衛(wèi)豐;民爆產(chǎn)品管理系統(tǒng)中信息交互技術的研究與應用[D];重慶大學;2003年

9 高宏屹;基于嵌入式的聾啞人無障礙交互技術研究[D];長春理工大學;2010年

10 焦曉丹;多點觸控環(huán)境下雙手交互相關技術的研究[D];昆明理工大學;2011年

，

本文編號：2482316