本文關(guān)鍵詞： 增強(qiáng)現(xiàn)實 同時定位與建圖 稠密匹配 八叉樹森林 回歸森林 攝像機(jī)重定位 閉環(huán)檢測 圖優(yōu)化 人機(jī)交互 CUDAGPU并行　出處：《浙江大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：隨著信息技術(shù)的發(fā)展,增強(qiáng)現(xiàn)實(AugmentedReality,AR)技術(shù)近年來成為計算機(jī)視覺、計算機(jī)圖形學(xué)領(lǐng)域的研究熱點。增強(qiáng)現(xiàn)實是指在現(xiàn)實場景圖像中疊加虛擬信息或物體,使得虛擬物體與現(xiàn)實場景融合,以增強(qiáng)人們對現(xiàn)實環(huán)境的感知與交互體驗。目前,增強(qiáng)現(xiàn)實技術(shù)存在三個方面的技術(shù)難點:如何實現(xiàn)穩(wěn)定精確的虛擬物體三維注冊;如何提高虛擬物體與現(xiàn)實場景的融合真實度;如何進(jìn)行自然的人機(jī)交互。同時定位與建圖(SimultaneousLocalizationandMapping,SLAM)技術(shù)是三維注冊技術(shù)中一種較為自然的方法,相比于在機(jī)器人領(lǐng)域的應(yīng)用,增強(qiáng)現(xiàn)實應(yīng)用中攝像機(jī)運動更快、自由度更大,環(huán)境紋理及幾何結(jié)構(gòu)更復(fù)雜,一些傳統(tǒng)的SLAM算法會出現(xiàn)較為嚴(yán)重的追蹤漂移、追蹤丟失、誤差累積等問題,更穩(wěn)定的三維注冊需求對SLAM算法的魯棒性和精度都提出了更高的要求。此外,在現(xiàn)有的增強(qiáng)現(xiàn)實系統(tǒng)中,虛擬物體的注冊位置會隨系統(tǒng)的初始位姿變化或者依賴于人工標(biāo)識,而如果希望自然地在已知場景中的絕對固定位置放置虛擬物體,就依賴于離線重定位技術(shù),但現(xiàn)有的重定位算法都是在線實現(xiàn)的,且在精度和穩(wěn)定性上都無法滿足要求。最后,目前大多數(shù)的增強(qiáng)現(xiàn)實系統(tǒng)都僅僅是將虛擬物體與現(xiàn)實場景進(jìn)行簡單的疊加,缺少虛實物體的互遮擋,導(dǎo)致合成圖像的視覺錯亂,同時缺乏用戶與虛擬物體間的人機(jī)交互。近年來,低成本RGB-D攝像機(jī)普及給增強(qiáng)現(xiàn)實技術(shù)的發(fā)展帶來了新的契機(jī)。由于其提供了場景深度圖,無論是在SLAM技術(shù)中的尺度漂移、地圖構(gòu)建,還是在虛實物體的融合以及人機(jī)交互方面都更具優(yōu)勢。本文圍繞前面分析的幾個技術(shù)難點,研究了基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實系統(tǒng)中的關(guān)鍵技術(shù),提出了 一種新的基于Frame-to-Model的SLAM系統(tǒng)框架,稱之為FTM-SLAM,并在此基礎(chǔ)上實現(xiàn)了 一套用戶能夠直接用手觸控的增強(qiáng)現(xiàn)實人機(jī)交互系統(tǒng)。主要創(chuàng)新點和貢獻(xiàn)總結(jié)如下:1.在FTM-SLAM框架中的視覺里程計部分,為了提高三維注冊技術(shù)在快速運動條件下的魯棒性以及不同環(huán)境下的自適應(yīng)性,本文提出了一種RGB-D圖像稠密匹配方法。該方法不需要提取特征點,而是將RGB-D圖像與場景局部模型進(jìn)行稠密匹配,直接構(gòu)建耦合了稠密的ICP(IterativeClosestPoint)殘差與彩色殘差的能量方程。同時,針對局部模型的稀疏性特點,設(shè)計了面向GPU并行算法的八叉樹森林結(jié)構(gòu),在減少存儲資源消耗的同時提高了算法速度。2.在FTM-SLAM框架中的后端優(yōu)化部分,針對攝像機(jī)長時間運動的誤差累積問題,本文提出了一種基于Frame-to-Model的后端全局優(yōu)化方法。基于ORB(Oriented FAST andRotatedBRIEF)二值特征構(gòu)建的視覺詞袋樹和模型配準(zhǔn)約束,提出了基于局部模型的多級一致性檢驗方法實現(xiàn)了快速準(zhǔn)確的閉環(huán)檢測。為了進(jìn)行全局軌跡優(yōu)化,本文構(gòu)建了一種模型-位姿圖(Graph),圖中不僅包含攝像機(jī)位姿節(jié)點,還將局部模型的位姿加入圖中,這樣在優(yōu)化時能夠同時保持模型與攝像機(jī)以及不同工作區(qū)之間的局部幾何約束。3.本文提出了一種基于回歸森林的攝像機(jī)重定位算法,能夠同時對已知場景中單幀RGB-D圖像和單幀RGB圖像進(jìn)行攝像機(jī)6自由度精確位姿估計。與傳統(tǒng)的基于圖像或者稀疏特征點的方法不同,該算法無需提取特征點,而是通過回歸的方法來解決攝像機(jī)重定位問題。算法能夠同時適應(yīng)稠密和稀疏計算,從而適應(yīng)不同的場景環(huán)境。本文提出的具有旋轉(zhuǎn)不變性的二值特征響應(yīng)函數(shù),對于與訓(xùn)練集中圖像有較大旋轉(zhuǎn)差異的待測幀具有較好的魯棒性,提出的各向異性的高斯模型能夠更好的擬合樣本的空間分布。
[Abstract]:With the development of information technology , augmented reality ( AR ) technology has become a hot topic in computer vision and computer graphics . In order to optimize the global trajectory , a model - pose graph ( Graph ) is designed . In order to optimize the global trajectory , a model - pose graph ( Graph ) is proposed . In order to optimize the global trajectory , a model - to - model based global optimization method is proposed .

【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李勇,劉雨,唐波,肖奇?zhèn)?一種基于時空切片提取攝像機(jī)運動的方法[J];電視技術(shù);2004年11期

2 孫鳳梅,胡占義;攝像機(jī)簡化模型對三維重構(gòu)的影響——分析與實驗[J];計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報;2005年10期

3 樹子;;運動攝像“4+1”DV攝像高手之路[J];數(shù)字通信;2006年04期

4 徐淑平;;視像中的攝像機(jī)運動檢測[J];計算機(jī)技術(shù)與發(fā)展;2007年07期

5 高俊鑫;華煒;章國鋒;秦學(xué)英;;帶約束的攝像機(jī)定標(biāo)方法[J];中國圖象圖形學(xué)報;2010年03期

6 耿玉亮;須德;;一種魯棒的攝像機(jī)運動分類算法[J];電子學(xué)報;2006年07期

7 孫鳳梅;王衛(wèi)寧;;關(guān)于攝像機(jī)正交運動下約束方程獨立性的一點討論[J];自動化學(xué)報;2007年10期

8 黎俊;彭啟民;呂文先;范植華;;基于尺度不變局部特征的攝像機(jī)運動檢測[J];系統(tǒng)仿真學(xué)報;2009年16期

9 孫卓金;胡士強(qiáng);;雙攝像機(jī)協(xié)同人臉鷹眼檢測與定位方法[J];計算機(jī)應(yīng)用;2011年12期

10 張思民;瞿帆;孫航;;基于攝像機(jī)運動控制的運動目標(biāo)檢測與跟蹤算法研究[J];福建電腦;2013年09期

相關(guān)會議論文 前10條

1 孫宇臣;葛寶臻;牟冰;孫明睿;張以謨;;采用線性方法對攝像機(jī)的分區(qū)標(biāo)定[A];大珩先生九十華誕文集暨中國光學(xué)學(xué)會2004年學(xué)術(shù)大會論文集[C];2004年

2 劉越;王涌天;閆達(dá)遠(yuǎn);;增強(qiáng)現(xiàn)實系統(tǒng)顯示技術(shù)研究[A];第三屆全國數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會論文摘要集[C];2004年

3 張旭光;閻鎮(zhèn);;面向遙科學(xué)實驗的增強(qiáng)現(xiàn)實應(yīng)用研究[A];第二十三屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2010年

4 王倩;高長城;徐大衛(wèi);;基于虛實像結(jié)合的增強(qiáng)現(xiàn)實研究[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2009年

5 李丹;黃有群;;增強(qiáng)現(xiàn)實交互技術(shù)的研究[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

6 葛瑩;;基于視頻影像的地理數(shù)據(jù)增強(qiáng)現(xiàn)實可視化研究[A];中國地理學(xué)會百年慶典學(xué)術(shù)論文摘要集[C];2009年

7 葛學(xué)東;;增強(qiáng)現(xiàn)實一致光照技術(shù)研究[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2006年

8 周志穎;鄭思遠(yuǎn);昌明;;增強(qiáng)現(xiàn)實內(nèi)容管理云平臺在數(shù)字科技館中的應(yīng)用[A];第十六屆中國科協(xié)年會——分16以科學(xué)發(fā)展的新視野，，努力創(chuàng)新科技教育內(nèi)容論壇論文集[C];2014年

9 王堅;;虛擬現(xiàn)實和增強(qiáng)現(xiàn)實的人機(jī)交互技術(shù)[A];計算機(jī)技術(shù)在工程建設(shè)中的應(yīng)用——第十二屆全國工程建設(shè)計算機(jī)應(yīng)用學(xué)術(shù)會議演講輯錄[C];2004年

10 張娟;陳春曉;;基于分層重建的攝像機(jī)完全自標(biāo)定[A];2011下一代自動測試系統(tǒng)學(xué)術(shù)研討會論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 本報記者 逄丹;“增強(qiáng)現(xiàn)實”用虛擬美化現(xiàn)實[N];通信產(chǎn)業(yè)報;2010年

2 中國移動研究院業(yè)務(wù)研究所 陳志剛;“增強(qiáng)現(xiàn)實”適宜后向收費[N];通信產(chǎn)業(yè)報;2010年

3 本報記者 鄒大斌;增強(qiáng)現(xiàn)實:互聯(lián)網(wǎng)應(yīng)用的新熱點[N];計算機(jī)世界;2011年

4 ;移動增強(qiáng)現(xiàn)實：是炒作還是下一件大事?[N];網(wǎng)絡(luò)世界;2010年

5 ;AR：更深刻的現(xiàn)實[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2002年

6 重慶 哎呀;教你使用家用攝像機(jī)[N];電腦報;2002年

7 本報記者 劉霞;2020年的可能和不可能[N];科技日報;2011年

8 關(guān)景火 蔡濤 李德華;幾種典型的表演動畫系統(tǒng)[N];計算機(jī)世界;2002年

9 特約作者 蘇馳;真亦假時假亦真[N];電腦報;2010年

10 華凌;NASA為商業(yè)飛行員開發(fā)增強(qiáng)現(xiàn)實設(shè)備[N];科技日報;2012年

相關(guān)博士學(xué)位論文 前10條

1 李佳寧;基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實系統(tǒng)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

2 董文會;多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中的目標(biāo)連續(xù)跟蹤方法研究[D];山東大學(xué);2015年

3 陳和恩;基于單目攝像機(jī)的增強(qiáng)現(xiàn)實場景感知技術(shù)研究[D];廣東工業(yè)大學(xué);2016年

4 譚飛剛;無視野重疊區(qū)域的跨攝像機(jī)行人跟蹤關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2016年

5 孫曉燕;多攝像機(jī)接力目標(biāo)跟蹤關(guān)鍵算法研究[D];山東大學(xué);2014年

6 林一;基于上下文感知的移動增強(qiáng)現(xiàn)實瀏覽器構(gòu)建及優(yōu)化方法研究[D];北京理工大學(xué);2015年

7 趙越;實時增強(qiáng)現(xiàn)實中運動目標(biāo)及場景的跟蹤注冊關(guān)鍵問題研究[D];東北大學(xué);2015年

8 陸平;移動增強(qiáng)現(xiàn)實中的圖像處理關(guān)鍵技術(shù)研究及應(yīng)用[D];東南大學(xué);2015年

9 魏小東;面向教育應(yīng)用的增強(qiáng)現(xiàn)實系統(tǒng)關(guān)鍵問題研究[D];北京理工大學(xué);2015年

10 趙守偉;增強(qiáng)現(xiàn)實輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 潘至尊;多攝像機(jī)連續(xù)目標(biāo)跟蹤系統(tǒng)的應(yīng)用研究[D];聊城大學(xué);2015年

2 余慧;多攝像機(jī)下的智能視頻監(jiān)控及其在電纜防盜中的應(yīng)用研究[D];西南科技大學(xué);2015年

3 吳盈;基于智能輔助視域盲區(qū)目標(biāo)識別與匹配[D];寧波大學(xué);2015年

4 馬鉑倫;電影特效鏡頭的制作[D];北京工業(yè)大學(xué);2015年

5 文雪;基于信息融合的多攝像機(jī)跟蹤的算法研究[D];黑龍江大學(xué);2015年

6 石皓;用于全景與PTZ主從攝像機(jī)的標(biāo)定方法研究[D];國防科學(xué)技術(shù)大學(xué);2013年

7 張瀅;多攝像機(jī)運動目標(biāo)檢測與分析研究[D];合肥工業(yè)大學(xué);2014年

8 貢超;無重疊視域多攝像機(jī)目標(biāo)匹配算法研究[D];合肥工業(yè)大學(xué);2014年

9 任麗娜;圓錐鏡面折反射攝像機(jī)的標(biāo)定與自標(biāo)定[D];云南大學(xué);2016年

10 任榮;非重疊域多攝像機(jī)目標(biāo)檢測與跟蹤算法研究[D];中國礦業(yè)大學(xué);2016年

本文編號：1540208