基于單目攝像頭的手勢識別是人機交互領(lǐng)域的熱門研究方向之一。然而,單目攝像頭下的手部檢測和識別仍然受到復(fù)雜背景、運動模糊、光線變化等問題的影響。雖然近幾年基于深度學(xué)習(xí)的目標(biāo)檢測算法顯著提高了手部檢測的準確率,但仍然存在很高的計算開銷,不適用于嵌入式平臺。因此,本文基于輕量級的CNN模型,研究實現(xiàn)快速準確的手勢識別算法,并將其應(yīng)用于嵌入式平臺。首先,本文結(jié)合SSD框架和改進的MobileNet模型實現(xiàn)了靜態(tài)圖片的手部檢測和方向估計。為提高模型的檢測精度,本文修改了MobileNet模型的網(wǎng)絡(luò)結(jié)構(gòu),并通過自頂向下的特征融合結(jié)構(gòu)引入上下文信息。為了精確估計手部方向,本文建立長軸和短軸向量的概念,并通過估計向量在水平和垂直方向的投影,實現(xiàn)手部方向?qū)R邊框的檢測。接著,本文針對視頻序列提出快速的手部檢測和手形識別算法。該檢測模型根據(jù)上一幀檢測結(jié)果確定當(dāng)前幀的搜索區(qū)域,然后進行手部檢測和手形識別,以此迭代地完成視頻序列的檢測。同時,本文針對模型訓(xùn)練給出了樣本生成和數(shù)據(jù)擴增的方案。最后,本文將上述算法在嵌入式平臺Jetson TK1上進行實現(xiàn)和優(yōu)化,先后采用多種方案縮減模型的計算開銷和內(nèi)存讀寫,有效減...

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3-4Oxford手勢數(shù)據(jù)集上標(biāo)注的手部真實邊框

驗結(jié)果據(jù)集和評估方法在Oxford手勢數(shù)據(jù)集[13]上評估了所提出的手部檢測和方向估計模型。如前據(jù)集收集于多個公開圖像數(shù)據(jù)集。數(shù)據(jù)的收集過程沒有限制人體是否可見件做任何限制。每張圖片中的手部用邊框進行了標(biāo)注，并使每個標(biāo)注的邊對齊，如圖3-4中的實線邊框所示。實際的標(biāo)注文件....

圖4-3EgoFinger數(shù)據(jù)集中的多個場景的示例圖片

（batchsize）設(shè)定為32，并進行90k次迭代訓(xùn)練。模型初始的學(xué)習(xí)率設(shè)定為10-3，然后分別在第60k次和第80k次訓(xùn)練迭代時進行10倍的衰減，將學(xué)習(xí)率分別降至到10-4和10-5。4.3數(shù)據(jù)集和實驗結(jié)果4.3.1EgoFinger數(shù)據(jù)集Eg....

圖4-4本文采集的數(shù)據(jù)集中手部的示例圖像

模型對于多種手形的識別能力。為了充分評估檢測模型，本文采集了多種場景下的手勢視頻數(shù)據(jù)集，其中共定義了三種手形，包括“握拳”、“手掌”和“單指伸出”。參考EgoFinger數(shù)據(jù)集，本文采集的數(shù)據(jù)集也涵蓋了復(fù)雜背景和多種光照等難點。而且，本文在數(shù)據(jù)集采集過程中，對各個手形的姿態(tài)和....

圖4-5對比EgoFinger數(shù)據(jù)集的測試視頻上的手部檢測結(jié)果

中分別列出了HuangY等[16]的方法和本文方法在EgoFinger測試集上FRCNN曲線的數(shù)據(jù)來自于HuangY等的工作[16]，他們基于FasterR-法在EgoFinger數(shù)據(jù)集上達到最好的檢測效果。同樣，本文也基于Eg型訓(xùn)練，并在同樣的測試視....

本文編號：3943696