【摘要】：眼睛是人類(lèi)感知外界信息最重要的感覺(jué)器官,對(duì)于機(jī)器人系統(tǒng)來(lái)說(shuō),視覺(jué)傳感器模擬人眼的功能同樣是一種重要的感知設(shè)備,其可以使機(jī)器人快速感知外界環(huán)境信息、并做出正確的決策。目前,在機(jī)器人視覺(jué)系統(tǒng)的眾多研究方法中,模仿生物自適應(yīng)機(jī)制的仿生技術(shù)一直備受關(guān)注,研究模擬人眼視覺(jué)系統(tǒng)多通道視覺(jué)信號(hào)的采集、傳輸和處理過(guò)程,并將這些研究成果應(yīng)用到機(jī)器人視覺(jué)領(lǐng)域中是一項(xiàng)極具現(xiàn)實(shí)意義的工作。因此,本論文致力于模擬人眼的多通道傳輸和處理機(jī)制,通過(guò)對(duì)異源傳感器圖像信息進(jìn)行有效地分析和處理,從而解決復(fù)雜動(dòng)態(tài)環(huán)境下智能機(jī)器人的感知、建模重構(gòu)、目標(biāo)檢測(cè)、跟蹤與人臉識(shí)別等仿生視覺(jué)關(guān)鍵技術(shù)問(wèn)題。并在此研究?jī)?nèi)容基礎(chǔ)上,構(gòu)建智能機(jī)器人光學(xué)復(fù)合仿生視覺(jué)系統(tǒng)。論文的主要研究?jī)?nèi)容如下:(1)鑒于可見(jiàn)光與熱紅外多通道圖像反映的人臉特征信息不同,提出了一種基于Student's-T分布混合模型的多光譜人臉圖像配準(zhǔn)方法。該方法綜合考慮特征點(diǎn)集的空間全局結(jié)構(gòu)和局部形狀特征兩方面信息來(lái)解決多光譜人臉圖像配準(zhǔn)問(wèn)題,通過(guò)基于內(nèi)部距離的形狀上下文描述子作為特征點(diǎn)集的局部形狀特征建立多光譜人臉圖像初始匹配關(guān)系,采用最大化觀測(cè)數(shù)據(jù)的Student's-T概率分布模型后驗(yàn)概率求解多光譜人臉圖像的精確匹配關(guān)系及空間變換模型。并在已配準(zhǔn)的圖像上采用基于引導(dǎo)濾波和梯度保持策略進(jìn)行圖像融合,使合成圖像包含更多可見(jiàn)光圖像表觀細(xì)節(jié)和紅外圖像熱輻射信息,以增強(qiáng)后續(xù)人臉識(shí)別方法抗干擾能力。最后分別在UTK-IRIS標(biāo)準(zhǔn)多光譜人臉數(shù)據(jù)庫(kù)和自己采集的多光譜人臉數(shù)據(jù)集上進(jìn)行圖像配準(zhǔn)測(cè)試,綜合主觀和客觀的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行配準(zhǔn)方法對(duì)比實(shí)驗(yàn),驗(yàn)證了本文配準(zhǔn)方法的魯棒性和高效性。(2)為了擺脫主動(dòng)式手眼標(biāo)定方法對(duì)精確靶標(biāo)的依賴(lài),本文結(jié)合單目立體視覺(jué)——運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法提出了一種新的被動(dòng)式手眼標(biāo)定擴(kuò)展模型,并分別提出了基于二階錐規(guī)劃和光束平差的手眼標(biāo)定擴(kuò)展模型優(yōu)化方法。基于光束平差的優(yōu)化方法可以同時(shí)得到待測(cè)目標(biāo)的三維信息、手眼關(guān)系及機(jī)器人坐標(biāo)系與世界坐標(biāo)系方位關(guān)系的最優(yōu)解。通過(guò)大量基于自然場(chǎng)景的仿真和實(shí)測(cè)實(shí)驗(yàn)表明,基于二階錐規(guī)劃的優(yōu)化方法在有無(wú)靶標(biāo)參與兩種情況下都可以實(shí)現(xiàn)手眼標(biāo)定任務(wù),擺脫了對(duì)靶標(biāo)的依賴(lài),擴(kuò)展了手眼標(biāo)定方法在自然場(chǎng)景中的應(yīng)用。為了實(shí)現(xiàn)基于光束平差的優(yōu)化方法精確度定量評(píng)估,利用高反射率的攝影測(cè)量標(biāo)志點(diǎn)和基準(zhǔn)尺構(gòu)建標(biāo)定場(chǎng),通過(guò)對(duì)比前后兩次解算得到相機(jī)姿態(tài)矩陣以及基準(zhǔn)尺測(cè)量值和標(biāo)稱(chēng)值差值結(jié)果驗(yàn)證了該方法的準(zhǔn)確性和有效性。標(biāo)定得到相機(jī)姿態(tài)旋轉(zhuǎn)矩陣相對(duì)誤差低于5/10000,平移向量的相對(duì)誤差低于8/10000,三維重建得到1米長(zhǎng)基準(zhǔn)尺兩端標(biāo)志點(diǎn)的距離測(cè)量平均誤差接近0.1mm。(3)針對(duì)復(fù)雜多變動(dòng)態(tài)環(huán)境下的行人檢測(cè)與跟蹤問(wèn)題展開(kāi)研究和分析,利用可見(jiàn)光和熱紅外多通道圖像反映的目標(biāo)和場(chǎng)景特征信息的互補(bǔ)性,提出了基于多光譜復(fù)合圖像的行人檢測(cè)與跟蹤方法。該方法的核心有三點(diǎn):首先,設(shè)計(jì)可見(jiàn)光和熱紅外雙視場(chǎng)多光譜圖像采集系統(tǒng),并使用液體變焦透鏡自動(dòng)調(diào)焦方法實(shí)現(xiàn)可見(jiàn)光圖像自動(dòng)對(duì)焦功能。然后,為增強(qiáng)核相關(guān)濾波目標(biāo)跟蹤方法在出視野、部分遮擋以及相似目標(biāo)干擾等復(fù)雜情況下的魯棒性,引入峰值旁瓣比作為檢測(cè)跟蹤失敗的自適應(yīng)判定條件;最后,模仿靈長(zhǎng)類(lèi)動(dòng)物頭眼協(xié)調(diào)運(yùn)動(dòng)機(jī)制,建立多光譜復(fù)合仿生視覺(jué)系統(tǒng)控制策略。實(shí)驗(yàn)結(jié)果表明相比基于可見(jiàn)光圖像或紅外圖像單通道行人跟蹤方法,基于多光譜復(fù)合圖像的行人跟蹤方法成功率分別提高了 22.3%和7.8%,能夠在復(fù)雜動(dòng)態(tài)場(chǎng)景下實(shí)現(xiàn)行人的準(zhǔn)確檢測(cè)和實(shí)時(shí)跟蹤。(4)針對(duì)復(fù)雜動(dòng)態(tài)環(huán)境下的目標(biāo)檢測(cè)和跟蹤任務(wù)需求,研制了兩級(jí)4自由度仿生視覺(jué)眼頸運(yùn)動(dòng)云臺(tái),構(gòu)建了智能機(jī)器人光學(xué)復(fù)合仿生視覺(jué)系統(tǒng)。并在此視覺(jué)系統(tǒng)基礎(chǔ)上設(shè)計(jì)了基于可見(jiàn)光和紅外異源傳感器人臉圖像配準(zhǔn)和行人檢測(cè)跟蹤實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的圖像配準(zhǔn)和行人檢測(cè)跟蹤方法在復(fù)雜動(dòng)態(tài)環(huán)境下的準(zhǔn)確性和有效性。
【圖文】：

會(huì)喪失感知絕大多數(shù)外界信息的能力［１］。一般來(lái)說(shuō)，依照功能特性人眼視覺(jué)系統(tǒng)逡逑主要包括：結(jié)構(gòu)功能、運(yùn)動(dòng)功能、視覺(jué)功能等，它們之間相互配合促使人眼完成逡逑圖像信息的采集、傳輸和處理工作。如圖１－１所示，人眼解剖結(jié)構(gòu)圖可以分為三逡逑層：最外層由角膜組成，作為眼睛最前端，其為眼睛貢獻(xiàn)了絕大部分屈光能力，逡逑相當(dāng)于成像光學(xué)系統(tǒng)的定焦鏡頭；中間層由虹膜和晶狀體組成，虹膜可以自動(dòng)調(diào)逡逑節(jié)瞳孔的大小，進(jìn)而控制進(jìn)入眼內(nèi)光線多少，相當(dāng)于成像光學(xué)系統(tǒng)的光圈；而晶逡逑狀體是眼球屈光系統(tǒng)中唯一具有調(diào)節(jié)能力的屈光介質(zhì)，其最重要的作用是通過(guò)睫逡逑狀肌的松弛或收縮改變?nèi)搜垡曈X(jué)系統(tǒng)的屈光度，使看遠(yuǎn)或看近時(shí)眼球聚光的焦點(diǎn)逡逑都能準(zhǔn)確地落在視網(wǎng)膜上清晰成像，相當(dāng)于成像光學(xué)系統(tǒng)的變焦鏡頭；最內(nèi)層是逡逑視網(wǎng)膜，通過(guò)感光細(xì)胞感光成像，相當(dāng)于成像光學(xué)系統(tǒng)的圖像傳感器，感光信息逡逑在視網(wǎng)膜上形成視覺(jué)神經(jīng)沖動(dòng)

會(huì)喪失感知絕大多數(shù)外界信息的能力［１］。一般來(lái)說(shuō)，依照功能特性人眼視覺(jué)系統(tǒng)逡逑主要包括：結(jié)構(gòu)功能、運(yùn)動(dòng)功能、視覺(jué)功能等，它們之間相互配合促使人眼完成逡逑圖像信息的采集、傳輸和處理工作。如圖１－１所示，人眼解剖結(jié)構(gòu)圖可以分為三逡逑層：最外層由角膜組成，作為眼睛最前端，其為眼睛貢獻(xiàn)了絕大部分屈光能力，逡逑相當(dāng)于成像光學(xué)系統(tǒng)的定焦鏡頭；中間層由虹膜和晶狀體組成，虹膜可以自動(dòng)調(diào)逡逑節(jié)瞳孔的大小，進(jìn)而控制進(jìn)入眼內(nèi)光線多少，相當(dāng)于成像光學(xué)系統(tǒng)的光圈；而晶逡逑狀體是眼球屈光系統(tǒng)中唯一具有調(diào)節(jié)能力的屈光介質(zhì)，其最重要的作用是通過(guò)睫逡逑狀肌的松弛或收縮改變?nèi)搜垡曈X(jué)系統(tǒng)的屈光度，使看遠(yuǎn)或看近時(shí)眼球聚光的焦點(diǎn)逡逑都能準(zhǔn)確地落在視網(wǎng)膜上清晰成像，相當(dāng)于成像光學(xué)系統(tǒng)的變焦鏡頭；最內(nèi)層是逡逑視網(wǎng)膜，通過(guò)感光細(xì)胞感光成像，相當(dāng)于成像光學(xué)系統(tǒng)的圖像傳感器，感光信息逡逑在視網(wǎng)膜上形成視覺(jué)神經(jīng)沖動(dòng)
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP391.41;TP242

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李鋼;王雷;張仁斌;;基于特征能量加權(quán)的紅外與可見(jiàn)光圖像融合[J];光電工程;2010年03期

2 郭全民;董亮;李代娣;;紅外與可見(jiàn)光圖像融合的汽車(chē)抗暈光系統(tǒng)[J];紅外與激光工程;2017年08期

3 劉坤;郭雷;李暉暉;陳敬松;;基于區(qū)域分割的紅外與可見(jiàn)光圖像融合算法的研究(英文)[J];Chinese Journal of Aeronautics;2009年01期

4 葉傳奇;王寶樹(shù);苗啟廣;;一種基于區(qū)域特性的紅外與可見(jiàn)光圖像融合算法[J];光子學(xué)報(bào);2009年06期

5 胡謀法;李超;王書(shū)宏;;空時(shí)域聯(lián)合差分檢測(cè)可見(jiàn)光圖像的運(yùn)動(dòng)小目標(biāo)[J];計(jì)算機(jī)工程與應(yīng)用;2006年21期

6 江靜;張雪松;蘭西柱;;紅外與可見(jiàn)光圖像互信息法自動(dòng)配準(zhǔn)算法研究[J];華北科技學(xué)院學(xué)報(bào);2006年04期

7 丁文杉;畢篤彥;何林遠(yuǎn);凡遵林;吳冬鵬;;基于剪切波變換和鄰域結(jié)構(gòu)特征的紅外與可見(jiàn)光圖像融合[J];光學(xué)學(xué)報(bào);2017年10期

8 舒久明;;一種自適應(yīng)的紅外與可見(jiàn)光圖像融合算法[J];電子科技;2015年05期

9 趙飛翔;陶忠祥;;基于小波包變換的紅外與可見(jiàn)光圖像融合[J];光學(xué)與光電技術(shù);2013年06期

10 楊陽(yáng);胡玉蘭;;主成分分析的紅外與可見(jiàn)光圖像特征融合[J];沈陽(yáng)理工大學(xué)學(xué)報(bào);2012年04期

相關(guān)會(huì)議論文 前10條

1 余萍;張曉芬;;基于變分模型的紅外/可見(jiàn)光圖像配準(zhǔn)方法研究[A];2009全國(guó)虛擬儀器大會(huì)論文集（二）[C];2009年

2 趙云豐;付冬梅;尹怡欣;王嘉;;基于人工免疫的紅外與可見(jiàn)光圖像配準(zhǔn)方法[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 高陽(yáng);苗艷龍;李寒;張漫;;基于熱紅外與可見(jiàn)光圖像的馬鈴薯水分脅迫監(jiān)測(cè)[A];2018中國(guó)作物學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集[C];2018年

4 張曉杰;;基于循環(huán)平移的復(fù)Contourlet域紅外與可見(jiàn)光圖像融合[A];上海市紅外與遙感學(xué)會(huì)第十九屆學(xué)術(shù)年會(huì)論文集[C];2014年

5 胡謀法;李超;王書(shū)宏;韓建濤;陳曾平;;可見(jiàn)光圖像背景灰度特性:雙高斯混合分布模型[A];第十二屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-2005）論文集[C];2005年

6 蔣宏;任章;;紅外與可見(jiàn)光圖像配準(zhǔn)和融合中的關(guān)鍵技術(shù)[A];2006年全國(guó)光電技術(shù)學(xué)術(shù)交流會(huì)會(huì)議文集（D 光電信息處理技術(shù)專(zhuān)題）[C];2006年

7 程相正;邵銘;張樂(lè);胡啟立;;幾種可見(jiàn)光圖像與紅外圖像融合方法比較[A];2015光電防御技術(shù)學(xué)術(shù)研討會(huì)摘要集[C];2015年

8 胡謀法;王書(shū)宏;李超;韓建濤;陳曾平;;空時(shí)域聯(lián)合去相關(guān)檢測(cè)可見(jiàn)光背景下的運(yùn)動(dòng)小目標(biāo)[A];光電技術(shù)與系統(tǒng)文選——中國(guó)光學(xué)學(xué)會(huì)光電技術(shù)專(zhuān)業(yè)委員會(huì)成立二十周年暨第十一屆全國(guó)光電技術(shù)與系統(tǒng)學(xué)術(shù)會(huì)議論文集[C];2005年

9 楊振鵬;馮勤;王行仁;丁瑩;;虛擬環(huán)境紅外物理模型的研究與實(shí)現(xiàn)[A];二○○一年中國(guó)系統(tǒng)仿真學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2001年

10 張勇;金偉其;;基于結(jié)構(gòu)相似度與感興趣區(qū)域的圖像融合評(píng)價(jià)方法[A];中國(guó)光學(xué)學(xué)會(huì)2010年光學(xué)大會(huì)論文集[C];2010年

相關(guān)重要報(bào)紙文章 前3條

1 陳磊;風(fēng)云二號(hào)C星第一幅可見(jiàn)光圖像成功獲取[N];中國(guó)氣象報(bào);2004年

2 記者 宿東;風(fēng)云二號(hào)E星成功獲取第一張可見(jiàn)光圖像[N];中國(guó)航天報(bào);2009年

3 ;江門(mén)局有效提高旅檢速度[N];中國(guó)國(guó)門(mén)時(shí)報(bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 李巍;光學(xué)復(fù)合仿生視覺(jué)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

2 沈瑜;基于多尺度幾何分析的紅外與可見(jiàn)光圖像融合方法研究[D];蘭州交通大學(xué);2017年

3 陳艷菲;視覺(jué)顯著性計(jì)算及其在紅外與可見(jiàn)光圖像融合中的應(yīng)用[D];華中科技大學(xué);2017年

4 朱攀;紅外與紅外偏振/可見(jiàn)光圖像融合算法研究[D];天津大學(xué);2017年

5 周渝人;紅外與可見(jiàn)光圖像融合算法研究[D];中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所);2014年

6 趙振兵;電氣設(shè)備紅外與可見(jiàn)光圖像的配準(zhǔn)方法研究[D];華北電力大學(xué)（河北）;2009年

7 宋懷波;低質(zhì)量可見(jiàn)光圖像的處理技術(shù)和識(shí)別方法研究[D];山東大學(xué);2009年

8 左羽佳;機(jī)載光電平臺(tái)紅外與可見(jiàn)光圖像融合系統(tǒng)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所;2017年

9 余燁;[D];合肥工業(yè)大學(xué);2010年

10 孫巖;基于多分辨率分析的多傳感器圖像融合算法研究[D];哈爾濱工程大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 王海彬;基于深度特征的跨模態(tài)行人重識(shí)別技術(shù)研究[D];廈門(mén)大學(xué);2018年

2 趙令令;基于超列的變電設(shè)備紅外與可見(jiàn)光圖像配準(zhǔn)研究[D];華北電力大學(xué);2018年

3 鄒曉光;基于自相似性的紅外和可見(jiàn)光圖像配準(zhǔn)算法研究[D];哈爾濱工業(yè)大學(xué);2017年

4 王凱;多傳感器信息融合的行人跟蹤研究[D];西安工業(yè)大學(xué);2018年

5 周麗萍;動(dòng)態(tài)光視覺(jué)的水面目標(biāo)檢測(cè)技術(shù)研究[D];哈爾濱工程大學(xué);2018年

6 顧治峰;紅外與可見(jiàn)光目標(biāo)的融合探測(cè)方法研究[D];南京理工大學(xué);2018年

7 張秋實(shí);紅外和可見(jiàn)光圖像的融合分類(lèi)及紅外目標(biāo)檢測(cè)[D];北京化工大學(xué);2018年

8 袁釗;基于紅外與可見(jiàn)光融合的人臉識(shí)別研究[D];長(zhǎng)春理工大學(xué);2018年

9 李易東;紅外與可見(jiàn)光圖像融合算法研究及實(shí)現(xiàn)[D];長(zhǎng)春理工大學(xué);2018年

10 吳輝;紅外與可見(jiàn)光圖像的融合方法研究[D];桂林電子科技大學(xué);2018年

，

本文編號(hào)：2697932