【摘要】：數(shù)字孿生技術(shù)和虛擬/增強(qiáng)現(xiàn)實(shí)技術(shù)近幾年得到了快速發(fā)展,促進(jìn)了許多傳統(tǒng)行業(yè)的革新,如制造業(yè)、建筑業(yè)、教育等領(lǐng)域。這兩種技術(shù)都是在強(qiáng)調(diào)如何更好的將物理空間映射到虛擬空間,以及兩者之間如何更好的交互融合。不難想象,未來許多場(chǎng)景下的物理空間必將伴隨著超寫實(shí)的虛擬空間。因此,物理空間與虛擬空間的交互,特別是虛擬空間下的人機(jī)交互問題將是重要的、亟待解決的基礎(chǔ)性問題。從虛擬現(xiàn)實(shí)的定義來講,最重要的特性的是沉浸性和交互性。如何增強(qiáng)用戶的沉浸感,關(guān)鍵在于一致性原則,即虛擬空間的反饋/反應(yīng)能夠與用戶物理空間的狀態(tài)同步�，F(xiàn)有的虛擬現(xiàn)實(shí)眼鏡主要解決了視覺一致性問題,即通過橢偏儀等傳感器對(duì)用戶的視角實(shí)時(shí)獲取,虛擬空間中的場(chǎng)景相應(yīng)的實(shí)時(shí)變換,從而與用戶視覺同步。對(duì)于交互來說,用戶的姿態(tài)也應(yīng)該在虛擬空間中與物理空間保持一致性,即物理空間中用戶的手勢(shì)姿態(tài)可以跟虛擬空間中的手勢(shì)姿態(tài)保持同步,因此手勢(shì)估計(jì)最為契合。本文的研究?jī)?nèi)容也主要圍繞手勢(shì)估計(jì)問題展開,其作為一個(gè)具有挑戰(zhàn)性的問題,一直困擾著許多研究人員,主要存在的難點(diǎn)包括高維、自遮擋、環(huán)境不可控、快速變化、計(jì)算量大等。近幾年隨著深度傳感器和深度學(xué)習(xí)的發(fā)展,提供了新的解決方案和思路。基于此背景,本文主要開展以下研究:(1)利用深度相機(jī)獲取手勢(shì)深度圖像,并選取合適的關(guān)節(jié)點(diǎn)個(gè)數(shù)作為模型的輸出,用于表示相應(yīng)的手勢(shì)姿態(tài)。根據(jù)獲取到的圖像特點(diǎn),通過添加噪點(diǎn)、隨機(jī)擾動(dòng)等方法對(duì)數(shù)據(jù)進(jìn)行增強(qiáng),克服深度傳感器精度不佳的問題,提高模型的魯棒性。根據(jù)手勢(shì)估計(jì)任務(wù)的高維特點(diǎn),研究深度卷積神經(jīng)網(wǎng)絡(luò),構(gòu)建相應(yīng)的網(wǎng)絡(luò)模型,用于端到端的預(yù)測(cè)關(guān)節(jié)點(diǎn)坐標(biāo),并與傳統(tǒng)回歸模型進(jìn)行了對(duì)比分析。(2)為提高網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確率,通過分析深度卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn),從提高特征提取能力的角度出發(fā),研究了多尺度特征融合的網(wǎng)絡(luò)結(jié)構(gòu),并優(yōu)化其輸出函數(shù),以提高網(wǎng)絡(luò)模型的估計(jì)效果,通過與他人工作進(jìn)行對(duì)比以驗(yàn)證所提出的方法的有效性。(3)為解決深度神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的依賴問題,以及手勢(shì)姿態(tài)數(shù)據(jù)獲取成本高的問題,充分挖掘數(shù)據(jù)集的內(nèi)在信息,研究無(wú)監(jiān)督/弱監(jiān)督學(xué)習(xí)方法,結(jié)合手勢(shì)估計(jì)數(shù)據(jù)圖像自身特點(diǎn),以輸入圖像重建為弱監(jiān)督目標(biāo),研究了基于對(duì)抗自編碼的弱監(jiān)督優(yōu)化模型,提高預(yù)測(cè)的準(zhǔn)確率,同時(shí)還對(duì)數(shù)據(jù)的內(nèi)在維數(shù)進(jìn)行了探討。(4)為解決由于深度傳感器自身原因和手勢(shì)快速變化和自遮擋導(dǎo)致的原始圖像數(shù)據(jù)存在缺失的問題,將模型輸入由單幀變?yōu)檫B續(xù)幀,為應(yīng)對(duì)連續(xù)幀的問題,研究卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)相結(jié)合的辦法,提出卷積遞歸神經(jīng)網(wǎng)絡(luò)模塊,并與提出三維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比分析,最終實(shí)現(xiàn)了較好的識(shí)別效果。(5)為使模型更加輕便,解決計(jì)算量大的問題,研究神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)化和優(yōu)化方法,提出了三維分離卷積操作,從而減少參數(shù)個(gè)數(shù),提高運(yùn)算速度,實(shí)現(xiàn)網(wǎng)絡(luò)模型的壓縮。最終結(jié)合相應(yīng)的虛擬現(xiàn)實(shí)開發(fā)技術(shù),搭建了相關(guān)的應(yīng)用案例。
【圖文】：

虛擬現(xiàn)實(shí)系統(tǒng)總體框架

[7]。圖1.2 歷年虛擬現(xiàn)實(shí)詞條搜索熱度圖虛擬現(xiàn)實(shí)技術(shù)由于橫跨多個(gè)學(xué)科，，早期條件還不成熟，自提出以來并沒有受到太多關(guān)注，隨著軟硬件技術(shù)的不斷發(fā)展，在 2015 年以 Oculus Rift 為代表的沉浸式虛擬現(xiàn)實(shí)眼鏡商用化開始，虛擬現(xiàn)實(shí)重新受到眾人的關(guān)注，如圖 1.2 所示，圖中為使用Google Trends 對(duì) Virtual Reality 搜索熱度的統(tǒng)計(jì)分析，可以看出大眾對(duì)虛擬現(xiàn)實(shí)技術(shù)的熱度在 2015 年開始爆發(fā)，在 2016 年底達(dá)到最高潮，隨后趨于穩(wěn)定。同時(shí)通過對(duì)地區(qū)進(jìn)行分析發(fā)現(xiàn)
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP391.9;TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 周濟(jì);;智能制造——“中國(guó)制造2025”的主攻方向[J];中國(guó)機(jī)械工程;2015年17期

2 張中波;劉峰;黃傳勇;;某型飛機(jī)起落架虛擬航線維護(hù)仿真研究[J];航空制造技術(shù);2013年21期

本文編號(hào)：2664464