隨著智能終端和視覺(jué)計(jì)算技術(shù)的快速發(fā)展,基于視覺(jué)的人機(jī)交互,尤其是以人手為媒介的交互,正被越來(lái)越多地應(yīng)用于人們的日常生活中。在諸如手勢(shì)識(shí)別、手的姿態(tài)估計(jì)、手和物體的交互分析等以人手為媒介的交互應(yīng)用中,手形的準(zhǔn)確分割常是重要基礎(chǔ)。盡管手形分割有著長(zhǎng)達(dá)數(shù)十年的研究歷史,但在自然場(chǎng)景下的實(shí)際應(yīng)用中,其在分割精度或運(yùn)行效率上的表現(xiàn)依然不盡如人意。本文圍繞如何高效地從圖像和視頻中獲取高精度的手形分割這一主題展開(kāi),提出了三種手形分割算法。首先,本文提出了一種面向深度圖的高精度手形分割算法,其主要由手形分割備選項(xiàng)生成和手形分割備選項(xiàng)評(píng)估兩個(gè)模塊組成。給定一幀深度圖,基于深度信息可很容易地從深度圖中分離出手形大致區(qū)域。然而想要從中進(jìn)一步提取出精準(zhǔn)的手形并非易事,面臨著諸多挑戰(zhàn)。觀察到手形大致區(qū)域常是帶狀物體,本文提出一個(gè)基于受限德洛內(nèi)三角剖分的手形分割備選項(xiàng)生成方法,沿著手臂朝向密集地生成分割備選項(xiàng)。然后,該算法使用類R-CNN與類Fast R-CNN的網(wǎng)絡(luò)框架來(lái)評(píng)估每個(gè)備選項(xiàng)與真實(shí)分割的匹配程度,并挑選匹配程度最高的備選項(xiàng)作為分割結(jié)果。在兩個(gè)較大的深度圖數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本文算法較之前的算法取得了... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：109 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１．１基于視覺(jué)以人手為媒介的人機(jī)交互場(chǎng)景示例丨１＞４］??隨著近年來(lái)智能終端和視覺(jué)計(jì)算技術(shù)的快速發(fā)展，基于視覺(jué)的人機(jī)交互正??

手形分割作為重要的前端被廣泛地應(yīng)用于基于視覺(jué)的手勢(shì)識(shí)別中［１７－２１］。??手勢(shì)識(shí)別一般分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別兩類［２２］，靜態(tài)手勢(shì)由手在靜??態(tài)下的姿態(tài)確定（如圖１．２（ａ）），動(dòng)態(tài)手勢(shì)常由手的姿態(tài)和其在時(shí)序上的運(yùn)動(dòng)軌??跡來(lái)確定（如圖１．２（ｂ））�；谝曈X(jué)的靜態(tài)手勢(shì)識(shí)別常以單幀圖像為輸入，一般??由手形分割、特征提取、分類識(shí)別三個(gè)模塊組成。比如文獻(xiàn)［２０１以單幀彩圖為??輸入，結(jié)合膚色檢測(cè)（Ｓｋｉｎ－ｃｏｌｏｒ?Ｄｅｔｅｃｔｉｏｎ）和高斯混合模型（Ｇａｕｓｓｉａｎ?Ｍｉｘｔｕｒｅ??Ｍｏｄｅｌ，?ＧＭＭ）來(lái)做手形分割，隨后提取多種特征并做融合，基于融合的特征使??用支持向量機(jī)（Ｓｕｐｐｏｒｔ?Ｖｅｃｔｏｒ?Ｍａｃｈｉｎｅ，?ＳＶＭ）來(lái)識(shí)別二十六種靜態(tài)手語(yǔ)。文獻(xiàn)??［１８］以同步的深度圖和彩圖為輸入，首先基于深度閾值在深度圖上提取手形大??致區(qū)域并依據(jù)手腕處的彩帶在彩圖上做更精細(xì)的手形分割，然后基于Ｔｉｍｅ－ｓｅｒｉｅｓ??Ｃｕｒｖｅｓ?［２３］對(duì)分割出的手形的輪廓進(jìn)行特征描述，最后使用模板匹配（Ｔｅｍｐｌａｔｅ??Ｍａｔｃｈｉｎｇ）和?ＦＥＭＤ?（Ｆｉｎｇｅｒ－Ｅａｒｔｈ?Ｍｏｖｅｒ’ｓ?Ｄｉｓｔａｎｃｅ）?［２４］來(lái)識(shí)別十四種靜態(tài)手??勢(shì)。在靜態(tài)手勢(shì)識(shí)別中

手形分割作為重要的前端被廣泛地應(yīng)用于手的姿態(tài)估計(jì)中［７，３４－３６］。手的??姿態(tài)估計(jì)是使用預(yù)先定義的組件（比如手指、手掌、關(guān)節(jié)點(diǎn)等）對(duì)手進(jìn)行建模并??找到這些組件在圖像上的位置（二維估計(jì)，如圖１．３（ａ））或者在三維空間中的位置??（三維估計(jì)，如圖１．３（ｂ））以對(duì)手進(jìn)行仿真的技術(shù)［３７］。目前對(duì)手建模最常用的組??件是關(guān)節(jié)點(diǎn)，姿態(tài)估計(jì)就等價(jià)于對(duì)手的關(guān)節(jié)點(diǎn)位置進(jìn)行預(yù)測(cè)［３４，?３８］。手的三維??姿態(tài)估計(jì)算法，一般由手形分割、手上關(guān)節(jié)點(diǎn)在二維圖像上的位置預(yù)測(cè)、基于關(guān)??節(jié)點(diǎn)在二維圖像的位置信息來(lái)回歸關(guān)節(jié)點(diǎn)在手的模型上的三維位置這么三步組??成。比如文獻(xiàn)［３４］以單幀深度圖為輸入，基于深度對(duì)比特征［３９］使用隨機(jī)森林??（Ｒａｎｄｏｍ?Ｆｏｒｅｓｔ，?ＲＤＦ）在圖像上逐點(diǎn)做二分類（手與非手）來(lái)分割出手形，然后??通過(guò)卷積祌經(jīng)網(wǎng)絡(luò)提取特征并預(yù)測(cè)手上各關(guān)節(jié)點(diǎn)在深度圖上的位置，最后通過(guò)擬??合手的模型上各關(guān)節(jié)點(diǎn)在深度圖上的投影與其對(duì)應(yīng)預(yù)測(cè)位置來(lái)獲得手的三維姿??態(tài)估計(jì)。文獻(xiàn)［７］以犖．巾貞彩圖為輸入，使用全卷積神經(jīng)網(wǎng)絡(luò)（Ｆｕｌｌｙ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ??Ｎｅｔｗｏｒｋ


本文編號(hào)：3323997