發(fā)布時(shí)間：2021-01-03 03:18

　　手勢是人機(jī)交互中的一個(gè)非常重要的手段。由于近些年來人工智能、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)的迅猛發(fā)展以及深度相機(jī)的普及,實(shí)時(shí)并且準(zhǔn)確的手勢姿態(tài)估計(jì)成為了人工智能研究領(lǐng)域的一大熱點(diǎn)研究問題,它可以在我們的日常生活中發(fā)揮重要的作用,計(jì)算機(jī)視覺為手勢姿態(tài)估計(jì)領(lǐng)域的研究與發(fā)展提供了一種全新的更好的思路,3D手勢姿態(tài)估計(jì)也是計(jì)算機(jī)視覺中的一個(gè)非常有挑戰(zhàn)性的任務(wù)。最近幾年,卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域中獲得了非常廣泛的應(yīng)用并且取得了巨大成功,同時(shí)在當(dāng)前互聯(lián)網(wǎng)高速發(fā)展的推動(dòng)下,各種新的大型公共標(biāo)準(zhǔn)數(shù)據(jù)集不斷出現(xiàn),極大的推動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)在手部姿態(tài)估計(jì)領(lǐng)域的發(fā)展。針對目前手部姿態(tài)估計(jì)領(lǐng)域存在目標(biāo)場景復(fù)雜、人手自由度高等問題,本文設(shè)計(jì)了一個(gè)基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的3D手勢姿態(tài)估計(jì)回歸模型,主要研究工作如下:為了解決復(fù)雜場景下的背景對手勢姿態(tài)估計(jì)產(chǎn)生影響這個(gè)問題,本文根據(jù)深度值信息把包含人手部分的深度圖像從場景比較復(fù)雜的深度圖像中精確分割出來;為了避免目標(biāo)和相機(jī)平面之間的距離不一致而影響手部姿態(tài)估計(jì)精確度,對深度圖像做歸一化處理。同時(shí)為了定位出感興趣的區(qū)域,設(shè)計(jì)了一個(gè)基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來解... 

【文章來源】：南昌大學(xué)江西省 211工程院校

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．１?２６個(gè)自由度的人手模型??

，并且使用了??一個(gè)微調(diào)網(wǎng)絡(luò)來獨(dú)立地對預(yù)測出的每個(gè)關(guān)節(jié)點(diǎn)的位置進(jìn)行修正。ＯｂｅｒｗｅｇｅｒＭ??等人在之前的基礎(chǔ)上，使用了一些簡單的改進(jìn)，增加了一個(gè)ＲｅｓＮｅｔ?（Ｒｅｓｉｄｕａｌ??Ｎｅｔｗｏｒｋ）網(wǎng)絡(luò)，并且使用了平面內(nèi)旋轉(zhuǎn)、平移和縮放的數(shù)據(jù)增強(qiáng)手段以及更好??的初始手部定位方法，在三個(gè)主要的手部姿態(tài)估計(jì)標(biāo)準(zhǔn)數(shù)據(jù)集：ＭＳＲＡ數(shù)據(jù)集［１１］、??ＮＹＵ數(shù)據(jù)集［ｌｉ＾ＰＩＣＶＬ數(shù)據(jù)集［１７］上實(shí)現(xiàn)了比當(dāng)時(shí)更復(fù)雜的最新方法更好或更相??近的手勢姿態(tài)估計(jì)性能，同時(shí)還保持了原始方法的簡單性。圖１．２為三個(gè)流行??數(shù)據(jù)集的不同關(guān)節(jié)數(shù)量手模型的可視化圖。??１?Ｉ?ｆ?＼?Ｉ?ｆ?ｉｆｆ??．?＼?Ｖ?Ｉ?／?＼?＼〇／??（ａ）?１４?ｊｏｉｎｔｓ?（ｂ）?１６?ｊｏｉｎｔｓ?（ｃ）?２１?ｊｏｉｎｔｓ??圖１．２不同關(guān)節(jié)點(diǎn)數(shù)量手模型可視化圖??Ｇｅ［２３］等人提出了一種新的３Ｄ手勢姿態(tài)回歸方法，使用多視角卷積神經(jīng)網(wǎng)??絡(luò)能夠更好地利用深度信息來恢復(fù)手部關(guān)節(jié)點(diǎn)的３Ｄ信息，先把深度圖像投影??到３個(gè)不同的正交平面上，然后把深度圖像分別輸入到三個(gè)獨(dú)立的卷積神經(jīng)網(wǎng)??絡(luò)中進(jìn)行特征提取并生成一系列的關(guān)節(jié)點(diǎn)熱力圖，最后把三個(gè)平面的熱力圖融??合起來得到最后的關(guān)節(jié)點(diǎn)３Ｄ位置估計(jì)。Ｃｈｅｎｆ％等人提出了一種基于姿態(tài)引導(dǎo)??的結(jié)構(gòu)化區(qū)域網(wǎng)絡(luò)來提升手部姿態(tài)估計(jì)的性能，根據(jù)手的拓?fù)浣Y(jié)構(gòu)融合不同關(guān)??節(jié)點(diǎn)的特征，把屬于同一手指的關(guān)節(jié)的特征集成在同一層網(wǎng)絡(luò)中，并且來自所??有手指的特征被融合在最下層網(wǎng)絡(luò)中以預(yù)測最終的手部姿態(tài)。Ｍ〇〇ｎ『２５］等人將從??單幅深度圖像中估計(jì)手部姿態(tài)問題轉(zhuǎn)變成為體素到體素的預(yù)測問題，與之前的??直接從２Ｄ深度圖像回歸３

?第２章手勢姿態(tài)估計(jì)基礎(chǔ)知識(shí)???Ｘｉ?「ｃｏｓｏ）?０?－?ｓｍｃｘ）］?ｘ?ｘ??ｙ?＝?０?１?０?ｙ?＝?Ｒ３?ｙ?（２．４）??？ｚ」?Ｌｓｉｎｏ）?０?ｃｏｓｏ）?ｚ＇?２??因此綜合上面幾個(gè)公式可以得到旋轉(zhuǎn)矩陣１＾?＝?／＾?＊／？２?＊尺３。??個(gè)ｙ??ｙ’＼?…＇??＼?ｐ?（．Ｖ?，ｖ?，ｚ）??１Ｃ一??ｘ??圖２．１坐標(biāo)繞Ｚ軸旋轉(zhuǎn)示意圖??當(dāng)世界坐標(biāo)系到相機(jī)坐標(biāo)系進(jìn)行如圖２．２所示變換時(shí)，再考慮到平移矩陣Ｔ，??于是便可以計(jì)算出點(diǎn)Ｐ在相機(jī)坐標(biāo)系中的坐標(biāo)計(jì)算公式為公式２．５。??＼ｘｃ］?ｒ＾ｗｉ??Ｙｃ?＝ＲＹＷ?＋Ｔ??．Ｚｃ＿?，ＺＷ．??（２．５??）??寫成矩陣形式為公式２．６。??＿?ｖ?ｒ?ｖ?＿??＾?ｃ?＾?ｗ??６?＝［尺?１?Ｌ??ｚｃ?Ｌ〇?ｌＪ?Ｚｗ??．１?Ｊ?１?．??（２．６??）??公式２．６中Ｒ是一個(gè)３＊３的矩陣，Ｔ是一個(gè)３＊１的矩陣，零向量為（０，?０，?０）。??１２??

【參考文獻(xiàn)】：
期刊論文
[1]基于中粒度模型的視頻人體姿態(tài)估計(jì)[J]. 史青宣,邸慧軍,陸耀,田學(xué)東.  自動(dòng)化學(xué)報(bào). 2018(04)
[2]復(fù)雜背景下基于空間分布特征的手勢識(shí)別算法[J]. 楊波,宋曉娜,馮志全,郝曉艷.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2010(10)
[3]基于數(shù)據(jù)手套的逼真虛擬手的實(shí)現(xiàn)[J]. 任程,戴樹嶺.  系統(tǒng)仿真學(xué)報(bào). 2008(22)
[4]基于數(shù)據(jù)手套的虛擬手勢交互系統(tǒng)[J]. 周曉晶,趙正旭,樓江.  儀表技術(shù)與傳感器. 2007(10)



本文編號(hào)：2954208