發(fā)布時間：2023-04-01 02:41

　　近年來,智能手表等可穿戴設(shè)備的快速發(fā)展催生了一系列新型的應(yīng)用,提高了人們的生活質(zhì)量,例如在健康領(lǐng)域已經(jīng)有了運動計步、心率監(jiān)測和睡眠監(jiān)測等應(yīng)用,人們的生活與可穿戴設(shè)備越來越密不可分。常見的與可穿戴設(shè)備進行交互的方式有兩種,一種是通過觸摸屏幕進行交互,另一種是通過語音進行交互。基于觸摸屏的交互方式存在一些問題,例如觸摸屏的尺寸較小,用戶不但容易按錯還可能會出現(xiàn)視覺疲勞。基于語音的交互方式也存在一些問題,例如使用場景限制、環(huán)境噪聲干擾和缺乏隱私保護等。為此,本文提出了一種新型可穿戴的設(shè)備手勢識別方法AirGesture用于實現(xiàn)手勢交互,有效解決了觸摸屏交互和語音交互的問題,改善了用戶與可穿戴設(shè)備的交互體驗。主要貢獻包括如下三個部分:(1)本文提出了一種基于跨模態(tài)深度學(xué)習(xí)的動態(tài)手勢信號轉(zhuǎn)換方法。通過卷積神經(jīng)網(wǎng)絡(luò)將手勢動作產(chǎn)生的慣性傳感數(shù)據(jù)(加速度、角速度)轉(zhuǎn)換為手勢軌跡數(shù)據(jù)(目標點的時序位置坐標),實現(xiàn)對動態(tài)手勢軌跡的跨模態(tài)追蹤。該方法可以應(yīng)用于在人機交互過程中需要對手勢軌跡進行追蹤的場景。(2)針對需要對動態(tài)手勢進行分類的情況,本文提出了一種基于多模態(tài)深度學(xué)習(xí)的動態(tài)手勢信號分類方法。在對手勢...

【文章頁數(shù)】：88 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 研究現(xiàn)狀及存在問題
    1.3 研究內(nèi)容及主要貢獻
        1.3.1 研究內(nèi)容
        1.3.2 主要貢獻
    1.4 本文結(jié)構(gòu)和組織
    1.5 本章小結(jié)
第2章 相關(guān)工作
    2.1 手勢識別方法
        2.1.1 基于視覺的手勢識別方法
        2.1.2 基于無線信號的手勢識別方法
        2.1.3 基于超聲波的手勢識別方法
        2.1.4 基于慣性傳感數(shù)據(jù)的手勢識別方法
    2.2 跨模態(tài)深度學(xué)習(xí)
    2.3 本章小結(jié)
第3章 基于跨模態(tài)深度學(xué)習(xí)的動態(tài)手勢識別方法設(shè)計
    3.1 AirGesture系統(tǒng)框架
    3.2 數(shù)據(jù)預(yù)處理模塊設(shè)計
    3.3 手勢軌跡追蹤模塊設(shè)計
        3.3.1 關(guān)鍵關(guān)節(jié)點位置計算
        3.3.2 手勢軌跡推導(dǎo)
    3.4 手勢軌跡分類模塊設(shè)計
        3.4.1 手勢類別概率計算
        3.4.2 手勢類別概率校準
    3.5 手勢解析模塊設(shè)計
    3.6 本章小結(jié)
第4章 基于跨模態(tài)深度學(xué)習(xí)的動態(tài)手勢識別方法實現(xiàn)
    4.1 AirText系統(tǒng)框架
    4.2 手勢識別
        4.2.1 數(shù)據(jù)預(yù)處理模塊實現(xiàn)
        4.2.2 食指軌跡追蹤模塊實現(xiàn)
        4.2.3 字母類別估計模塊實現(xiàn)
    4.3 單詞推薦
        4.3.1 候選單詞搜索
        4.3.2 候選單詞排序
    4.4 本章小結(jié)
第5章 實驗評估
    5.1 實驗環(huán)境
    5.2 數(shù)據(jù)采集
    5.3 評估指標
        5.3.1 單詞錯誤率
        5.3.2 字母錯誤率
        5.3.3 文本輸入速度
    5.4 實驗結(jié)果
        5.4.1 軌跡追蹤精度對比
        5.4.2 手勢分類準確率對比
        5.4.3 不同輸入法單詞錯誤率對比
        5.4.4 AirText通用性分析
        5.4.5 AirText性能增益分析
        5.4.6 AirText魯棒性分析
        5.4.7 AirText時延與能耗分析
    5.5 本章小結(jié)
第6章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來展望
參考文獻
攻讀碩士學(xué)位期間主要的研究成果
致謝



本文編號：3776297