基于增強(qiáng)現(xiàn)實(shí)的遙操作視覺方法研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-09-11 11:42
人在一定距離之外操控機(jī)器執(zhí)行任務(wù)的方式稱為遙操作。在機(jī)械智能化尚未滿足要求的今天,在一些危險(xiǎn)環(huán)境如核工業(yè),采礦工作,排爆工作,太空探索等任務(wù)中,通過人的遠(yuǎn)程參與控制機(jī)器,不僅可以保障操作人員的生命安全,還可以充分發(fā)揮人的主觀判斷和操作經(jīng)驗(yàn)應(yīng)對(duì)突發(fā)狀況。視覺是人類獲取外界信息的最主要來源,對(duì)增強(qiáng)操作者對(duì)遠(yuǎn)端現(xiàn)場(chǎng)態(tài)勢(shì)的把控十分重要,因此,針對(duì)遙操作視覺臨場(chǎng)感系統(tǒng)的研究越來越廣泛。然而,在立體視覺空間中,與現(xiàn)實(shí)世界中的相同距離判斷相比,感知的自我中心距離經(jīng)常被低估,即存在深度感知被壓縮的問題。本文針對(duì)遙操作視覺臨場(chǎng)感系統(tǒng)中存在的深度感知壓縮問題進(jìn)行了研究,主要工作包括:(1)設(shè)計(jì)并完成了一套遙操作視覺臨場(chǎng)感實(shí)驗(yàn)系統(tǒng)。系統(tǒng)為操作者提供立體視覺,增強(qiáng)操作者的立體感和沉浸感;實(shí)現(xiàn)頭部隨動(dòng)功能,操作者可在本地通過頭部轉(zhuǎn)動(dòng)控制遠(yuǎn)程雙目相機(jī)拍攝的方向;實(shí)現(xiàn)了視頻無線傳輸,遠(yuǎn)端視頻圖像可通過WIFI傳回本地;同時(shí),搭配了一套可遙控移動(dòng)機(jī)器人,用于遙控操作實(shí)驗(yàn)。立體視覺采用雙目相機(jī)視頻采集和頭盔顯示的方法,視頻分辨率為1280×720,加入圖像處理算法后平均幀率為22幀;頭部隨動(dòng)通過云臺(tái)載動(dòng)雙目相機(jī)轉(zhuǎn)動(dòng)實(shí)現(xiàn)...
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-2雙目相機(jī)實(shí)物圖
電子科技大學(xué)碩士學(xué)位論文8分辨率、雙目基線距離,以及雙目視頻同步有一定的要求。另外,由于相機(jī)架設(shè)在云臺(tái)上,在選型時(shí)應(yīng)該充分考慮相機(jī)的結(jié)構(gòu)和重量。綜合上述因素,最終選擇萊納機(jī)器視覺科技提供的HNY-003B型號(hào)定基線高幀率USB3.0高清雙目相機(jī)。該雙目相機(jī)感光元件為CMOS,圖像傳感器為AR0135,在擁有小尺寸和低成本的基礎(chǔ)上,仍然保持了高性能和高質(zhì)量全局快門的圖像采集能力。該雙目相機(jī)采用USB3.0接口(兼容USB2.0),支持UVC協(xié)議。相機(jī)單目視角場(chǎng)實(shí)測(cè)為78°,畸變小,較為貼合人眼舒適觀察視角。該雙目相機(jī)質(zhì)量為157g,實(shí)物圖如圖2-2。圖2-2雙目相機(jī)實(shí)物圖(2)高速云臺(tái)雙目相機(jī)載于高速云臺(tái)之上,并隨高速云臺(tái)轉(zhuǎn)動(dòng)而轉(zhuǎn)動(dòng)。高速云臺(tái)是保證遠(yuǎn)端攝像機(jī)拍攝方向與本地端操作人員觀察角度相一致的最主要部件。為了實(shí)時(shí)跟隨操作人員觀察方向,云臺(tái)至少具有兩個(gè)自由度,即垂直方向和水平方向,且兩個(gè)自由度上的最大角速度應(yīng)該大于操作員頭部正常轉(zhuǎn)動(dòng)的角速度。經(jīng)過上述分析,選擇樂幻索爾科技司提供的兩自由度金屬舵機(jī)旋轉(zhuǎn)云臺(tái)作為系統(tǒng)隨動(dòng)云臺(tái),實(shí)物圖如下。圖2-3云臺(tái)實(shí)物圖云臺(tái)可提供水平和垂直兩個(gè)方向的自由度,其中水平轉(zhuǎn)動(dòng)范圍為270°,垂直轉(zhuǎn)動(dòng)范圍是90°,符合人頭部轉(zhuǎn)動(dòng)范圍。7.4V供電電壓下,兩軸的轉(zhuǎn)動(dòng)速度均為
第二章遙操作視覺臨場(chǎng)感系統(tǒng)設(shè)計(jì)9360°/s,大于人頭部的轉(zhuǎn)動(dòng)速度。實(shí)測(cè)載重量為1kg,完全滿足載動(dòng)雙目相機(jī)157g的質(zhì)量。(3)頭盔顯示器頭盔顯示器對(duì)立體視頻圖像顯示效果的好壞直接影響操作人員對(duì)現(xiàn)場(chǎng)環(huán)境的臨場(chǎng)感。本系統(tǒng)中選用上海樂相科技有限公司設(shè)計(jì)與研制的大朋E3立體顯示頭盔。頭盔重量(不含頭帶)約300g;具有對(duì)角線110度視場(chǎng)角,視野清晰范圍大;內(nèi)部集成了9軸慣性測(cè)量單元,能夠?qū)崟r(shí)捕獲操作者的頭部姿態(tài);采用三星AMOLED顯示屏,分辨率達(dá)到1440*2560,刷新率70Hz;整體系統(tǒng)延遲小于20ms。其外觀圖如圖2-4所示。圖2-4大朋E3頭盔外觀圖片(4)主控板核心板主控核心板在本系統(tǒng)中負(fù)責(zé)雙目攝像頭視頻數(shù)據(jù)的采集、云臺(tái)舵機(jī)的方向控制,及與本地端的雙向數(shù)據(jù)傳輸。主控板硬件部分由:電源管理部分、微控制器最小系統(tǒng)、USB2.0轉(zhuǎn)換模塊、無線傳輸模塊構(gòu)成,主控核心板硬件如圖2-5所示。微控制器(STM32F101)USB2.0轉(zhuǎn)換模塊(Fe1.1s)無線傳輸模塊(WRTnode)攝像頭UARTWIFIUARTPWM主控板電源管理模塊圖2-5主控核心板硬件框圖
【參考文獻(xiàn)】:
期刊論文
[1]基于信息交互技術(shù)的遙控車極地條件信號(hào)處理研究[J]. 黃鵬飛,姜濤. 科技資訊. 2017(24)
[2]達(dá)·芬奇機(jī)器人手術(shù)系統(tǒng)及其研究進(jìn)展[J]. 唐魯,李翠,李曉芳,田秀,蘇艷磊,王飛. 護(hù)理研究. 2015(16)
[3]嫦娥三號(hào)“玉兔號(hào)”巡視器遙操作中的關(guān)鍵技術(shù)[J]. 吳偉仁,周建亮,王保豐,劉傳凱. 中國(guó)科學(xué):信息科學(xué). 2014(04)
[4]基于虛擬3D視覺和力覺交互的SEM遙納操作系統(tǒng)[J]. 李東潔,榮偉彬,孫立寧,肖萬哲,鄒宇. 機(jī)器人. 2013(01)
[5]臨場(chǎng)感智能采灰器的設(shè)計(jì)[J]. 趙玉良,戚暉,張曉鵬,李健. 傳感器與微系統(tǒng). 2011(07)
[6]立體視覺臨場(chǎng)感系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J]. 胡海鷹,李家煒,王捷,劉宏. 光學(xué)技術(shù). 2006(S1)
[7]臨場(chǎng)感遙操作機(jī)器人綜述[J]. 劉寒冰,趙丁選. 機(jī)器人技術(shù)與應(yīng)用. 2004(01)
[8]基于視覺臨場(chǎng)感的機(jī)器人遙操作系統(tǒng)[J]. 徐旭明,葉榛,陶品,王洋. 高技術(shù)通訊. 2000(03)
[9]基于多通道增強(qiáng)現(xiàn)實(shí)的機(jī)器人遙操作技術(shù)研究[J]. 丑武勝,孟偲,王田苗. 高技術(shù)通訊. 2004 (10)
博士論文
[1]排爆機(jī)器人遙操作性能研究[D]. 曾建軍.上海交通大學(xué) 2010
碩士論文
[1]基于感興趣區(qū)域(ROI)分割的雙目定位系統(tǒng)關(guān)鍵技術(shù)研究[D]. 劉遠(yuǎn)遠(yuǎn).重慶大學(xué) 2018
[2]基于KCF跟蹤算法的目標(biāo)軌跡記錄系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張乘龍.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院沈陽計(jì)算技術(shù)研究所) 2017
[3]基于增強(qiáng)現(xiàn)實(shí)技術(shù)的遙操作方式設(shè)計(jì)與實(shí)現(xiàn)[D]. 林淵.哈爾濱工業(yè)大學(xué) 2016
[4]基于增強(qiáng)現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人遙操作系統(tǒng)關(guān)鍵技術(shù)研究[D]. 李國(guó)梁.山東大學(xué) 2015
[5]基于ORB算法的雙目視覺測(cè)量與跟蹤研究[D]. 劉銘.哈爾濱工業(yè)大學(xué) 2014
[6]雷管引信炸藥裝填高度的立體視覺測(cè)量研究[D]. 祁歡.長(zhǎng)春工業(yè)大學(xué) 2014
[7]水面無人艇視覺臨場(chǎng)感遙操控技術(shù)研究[D]. 王詩(shī)強(qiáng).哈爾濱工程大學(xué) 2014
[8]基于雙目立體視覺立體匹配算法研究與應(yīng)用[D]. 黃承亮.南京理工大學(xué) 2013
本文編號(hào):3392936
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-2雙目相機(jī)實(shí)物圖
電子科技大學(xué)碩士學(xué)位論文8分辨率、雙目基線距離,以及雙目視頻同步有一定的要求。另外,由于相機(jī)架設(shè)在云臺(tái)上,在選型時(shí)應(yīng)該充分考慮相機(jī)的結(jié)構(gòu)和重量。綜合上述因素,最終選擇萊納機(jī)器視覺科技提供的HNY-003B型號(hào)定基線高幀率USB3.0高清雙目相機(jī)。該雙目相機(jī)感光元件為CMOS,圖像傳感器為AR0135,在擁有小尺寸和低成本的基礎(chǔ)上,仍然保持了高性能和高質(zhì)量全局快門的圖像采集能力。該雙目相機(jī)采用USB3.0接口(兼容USB2.0),支持UVC協(xié)議。相機(jī)單目視角場(chǎng)實(shí)測(cè)為78°,畸變小,較為貼合人眼舒適觀察視角。該雙目相機(jī)質(zhì)量為157g,實(shí)物圖如圖2-2。圖2-2雙目相機(jī)實(shí)物圖(2)高速云臺(tái)雙目相機(jī)載于高速云臺(tái)之上,并隨高速云臺(tái)轉(zhuǎn)動(dòng)而轉(zhuǎn)動(dòng)。高速云臺(tái)是保證遠(yuǎn)端攝像機(jī)拍攝方向與本地端操作人員觀察角度相一致的最主要部件。為了實(shí)時(shí)跟隨操作人員觀察方向,云臺(tái)至少具有兩個(gè)自由度,即垂直方向和水平方向,且兩個(gè)自由度上的最大角速度應(yīng)該大于操作員頭部正常轉(zhuǎn)動(dòng)的角速度。經(jīng)過上述分析,選擇樂幻索爾科技司提供的兩自由度金屬舵機(jī)旋轉(zhuǎn)云臺(tái)作為系統(tǒng)隨動(dòng)云臺(tái),實(shí)物圖如下。圖2-3云臺(tái)實(shí)物圖云臺(tái)可提供水平和垂直兩個(gè)方向的自由度,其中水平轉(zhuǎn)動(dòng)范圍為270°,垂直轉(zhuǎn)動(dòng)范圍是90°,符合人頭部轉(zhuǎn)動(dòng)范圍。7.4V供電電壓下,兩軸的轉(zhuǎn)動(dòng)速度均為
第二章遙操作視覺臨場(chǎng)感系統(tǒng)設(shè)計(jì)9360°/s,大于人頭部的轉(zhuǎn)動(dòng)速度。實(shí)測(cè)載重量為1kg,完全滿足載動(dòng)雙目相機(jī)157g的質(zhì)量。(3)頭盔顯示器頭盔顯示器對(duì)立體視頻圖像顯示效果的好壞直接影響操作人員對(duì)現(xiàn)場(chǎng)環(huán)境的臨場(chǎng)感。本系統(tǒng)中選用上海樂相科技有限公司設(shè)計(jì)與研制的大朋E3立體顯示頭盔。頭盔重量(不含頭帶)約300g;具有對(duì)角線110度視場(chǎng)角,視野清晰范圍大;內(nèi)部集成了9軸慣性測(cè)量單元,能夠?qū)崟r(shí)捕獲操作者的頭部姿態(tài);采用三星AMOLED顯示屏,分辨率達(dá)到1440*2560,刷新率70Hz;整體系統(tǒng)延遲小于20ms。其外觀圖如圖2-4所示。圖2-4大朋E3頭盔外觀圖片(4)主控板核心板主控核心板在本系統(tǒng)中負(fù)責(zé)雙目攝像頭視頻數(shù)據(jù)的采集、云臺(tái)舵機(jī)的方向控制,及與本地端的雙向數(shù)據(jù)傳輸。主控板硬件部分由:電源管理部分、微控制器最小系統(tǒng)、USB2.0轉(zhuǎn)換模塊、無線傳輸模塊構(gòu)成,主控核心板硬件如圖2-5所示。微控制器(STM32F101)USB2.0轉(zhuǎn)換模塊(Fe1.1s)無線傳輸模塊(WRTnode)攝像頭UARTWIFIUARTPWM主控板電源管理模塊圖2-5主控核心板硬件框圖
【參考文獻(xiàn)】:
期刊論文
[1]基于信息交互技術(shù)的遙控車極地條件信號(hào)處理研究[J]. 黃鵬飛,姜濤. 科技資訊. 2017(24)
[2]達(dá)·芬奇機(jī)器人手術(shù)系統(tǒng)及其研究進(jìn)展[J]. 唐魯,李翠,李曉芳,田秀,蘇艷磊,王飛. 護(hù)理研究. 2015(16)
[3]嫦娥三號(hào)“玉兔號(hào)”巡視器遙操作中的關(guān)鍵技術(shù)[J]. 吳偉仁,周建亮,王保豐,劉傳凱. 中國(guó)科學(xué):信息科學(xué). 2014(04)
[4]基于虛擬3D視覺和力覺交互的SEM遙納操作系統(tǒng)[J]. 李東潔,榮偉彬,孫立寧,肖萬哲,鄒宇. 機(jī)器人. 2013(01)
[5]臨場(chǎng)感智能采灰器的設(shè)計(jì)[J]. 趙玉良,戚暉,張曉鵬,李健. 傳感器與微系統(tǒng). 2011(07)
[6]立體視覺臨場(chǎng)感系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J]. 胡海鷹,李家煒,王捷,劉宏. 光學(xué)技術(shù). 2006(S1)
[7]臨場(chǎng)感遙操作機(jī)器人綜述[J]. 劉寒冰,趙丁選. 機(jī)器人技術(shù)與應(yīng)用. 2004(01)
[8]基于視覺臨場(chǎng)感的機(jī)器人遙操作系統(tǒng)[J]. 徐旭明,葉榛,陶品,王洋. 高技術(shù)通訊. 2000(03)
[9]基于多通道增強(qiáng)現(xiàn)實(shí)的機(jī)器人遙操作技術(shù)研究[J]. 丑武勝,孟偲,王田苗. 高技術(shù)通訊. 2004 (10)
博士論文
[1]排爆機(jī)器人遙操作性能研究[D]. 曾建軍.上海交通大學(xué) 2010
碩士論文
[1]基于感興趣區(qū)域(ROI)分割的雙目定位系統(tǒng)關(guān)鍵技術(shù)研究[D]. 劉遠(yuǎn)遠(yuǎn).重慶大學(xué) 2018
[2]基于KCF跟蹤算法的目標(biāo)軌跡記錄系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張乘龍.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院沈陽計(jì)算技術(shù)研究所) 2017
[3]基于增強(qiáng)現(xiàn)實(shí)技術(shù)的遙操作方式設(shè)計(jì)與實(shí)現(xiàn)[D]. 林淵.哈爾濱工業(yè)大學(xué) 2016
[4]基于增強(qiáng)現(xiàn)實(shí)技術(shù)的移動(dòng)機(jī)器人遙操作系統(tǒng)關(guān)鍵技術(shù)研究[D]. 李國(guó)梁.山東大學(xué) 2015
[5]基于ORB算法的雙目視覺測(cè)量與跟蹤研究[D]. 劉銘.哈爾濱工業(yè)大學(xué) 2014
[6]雷管引信炸藥裝填高度的立體視覺測(cè)量研究[D]. 祁歡.長(zhǎng)春工業(yè)大學(xué) 2014
[7]水面無人艇視覺臨場(chǎng)感遙操控技術(shù)研究[D]. 王詩(shī)強(qiáng).哈爾濱工程大學(xué) 2014
[8]基于雙目立體視覺立體匹配算法研究與應(yīng)用[D]. 黃承亮.南京理工大學(xué) 2013
本文編號(hào):3392936
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3392936.html
最近更新
教材專著