發(fā)布時間：2020-12-19 09:05

　　隨著生活水平的提高,人們對于服務(wù)機(jī)器人更加智能化的需求也越來越高,然而現(xiàn)如今服務(wù)機(jī)器人的智能化還遠(yuǎn)不能滿足人們的期待。同時定位與建圖技術(shù)（SLAM）是服務(wù)機(jī)器人在室內(nèi)環(huán)境運(yùn)行的基礎(chǔ),目前已經(jīng)取得了很大進(jìn)展,但服務(wù)機(jī)器人對環(huán)境感知和理解的能力遠(yuǎn)遠(yuǎn)無法滿足其長期穩(wěn)定運(yùn)行和對環(huán)境進(jìn)行安全監(jiān)測的需求,比如對環(huán)境中溫度的感知、物體的理解以及動態(tài)環(huán)境下的建圖等。因此,本文將RGB-D相機(jī)與熱紅外相機(jī)相結(jié)合,用于智能服務(wù)機(jī)器人在動態(tài)環(huán)境下的熱場地圖構(gòu)建與目標(biāo)檢測技術(shù)的研究,以提高機(jī)器人對環(huán)境的理解能力,具體內(nèi)容如下:針對動態(tài)場景下的行人進(jìn)行檢測分割,以去除動態(tài)特征點(diǎn),減小其對動態(tài)場景建圖的影響。本文基于熱紅外相機(jī)與Kinect傳感器,對比基于卷積神經(jīng)網(wǎng)絡(luò)端到端的行人分割算法,提出基于卷積神經(jīng)網(wǎng)絡(luò)與溫度信息融合二維檢測與三維空間映射結(jié)合的行人分割算法,對RGB圖像和熱紅外相機(jī)獲得的圖像分別進(jìn)行行人的二維包圍框檢測,然后結(jié)合溫度信息初步分割行人,接著將初步分割結(jié)果映射到三維空間,采用點(diǎn)云濾波等算法,去除離群點(diǎn),最終實(shí)現(xiàn)了行人的精確分割。結(jié)合提出的行人分割算法,以O(shè)RB-SLAM2算法為基礎(chǔ),對室內(nèi)動態(tài)環(huán)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

全連接

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-2-我定位。已知地圖后機(jī)器人能夠?qū)崿F(xiàn)自主導(dǎo)航，但對于服務(wù)機(jī)器人來說，還要識別房間內(nèi)物體，以便實(shí)現(xiàn)更多服務(wù)功能。本課題在三維地圖構(gòu)建的基礎(chǔ)上，要提高其在動態(tài)場景下建圖的穩(wěn)定性和魯棒性，同時將溫度信息和物體級語義信息加入到地圖中，這樣機(jī)器人才會真正理解周圍環(huán)境。為此首先需要調(diào)研三個方面的國內(nèi)外研究現(xiàn)狀：（1）語義分割；（2）三維熱場地圖構(gòu)建；（3）三維物體識別。1.3.1語義分割從2012年以來，卷積神經(jīng)網(wǎng)絡(luò)極大地提高了圖像分類的精度，同樣在語義分割方面也有很廣泛的應(yīng)用。2015年，Long[3]提出了全卷積神經(jīng)網(wǎng)絡(luò)，將分類網(wǎng)改寫為用于分割的像素點(diǎn)分類網(wǎng)，將最后一層的全連接層改寫為卷積層，并使用反卷積完成上采樣的過程，第一次實(shí)現(xiàn)了端到端的語義分割，如圖1-1所示。同年的SegNet[4]，引入了用于語義分割的編譯碼網(wǎng)絡(luò)結(jié)構(gòu)的概念。該網(wǎng)絡(luò)的編碼器是一種預(yù)先訓(xùn)練好的VGG16架構(gòu)，解碼器用于逐級對編碼器的輸出進(jìn)行上采樣，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1-2所示。SegNet實(shí)現(xiàn)當(dāng)年最高的精度，同時獲得了相對較快的速度。(a)全連接層轉(zhuǎn)化為卷積層(b)使用反卷積完成上采樣圖1-1全連接卷積神經(jīng)網(wǎng)絡(luò)[3]圖1-2SegNet語義分割網(wǎng)絡(luò)架構(gòu)[4]在多模態(tài)信息融合的語義分割方面，Gupta等人[5]在前人工作基礎(chǔ)上，對RGB-D數(shù)據(jù)進(jìn)行更加深層次的挖掘，對數(shù)據(jù)進(jìn)行分割以及語義標(biāo)簽的標(biāo)識。作者利用MCG模型對檢測區(qū)域產(chǎn)生候選區(qū)域，然后改造已有的卷積神經(jīng)網(wǎng)絡(luò)，使其能夠適用于RGB-D數(shù)據(jù)，希望從深度數(shù)據(jù)中提取出類似與灰度圖像一樣豐富的信息，其算法思路如圖1-3所示。

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-3-圖1-3彩色圖和深度圖融合的語義分割和物體檢測[5]2016年出現(xiàn)的FuseNet[6]是一種基于RGB-D圖像的語義分割網(wǎng)絡(luò)，如圖1-4所示，在網(wǎng)絡(luò)的前端分別提取RGB圖像和深度圖像的特征，采用稀疏融合的方式將深度網(wǎng)絡(luò)的部分特征融合到RGB網(wǎng)絡(luò)中。作者選擇從淺層開始對特征進(jìn)行融合并且通過實(shí)驗(yàn)證明淺層的特征融合對性能有很大的提升。同年，WangJinghua[7]等人提出，簡單地將深度圖作為第四通道，只能學(xué)到彩色圖與深度圖淺層的相關(guān)性，同時會引入深度圖中的噪聲。而對RGB圖像和深度圖訓(xùn)練兩個獨(dú)立的網(wǎng)絡(luò)模型，然后通過決策分?jǐn)?shù)融合將它們簡單地組合在一起，忽視了兩種模態(tài)的內(nèi)在相關(guān)性。因此該文章采用特征轉(zhuǎn)換網(wǎng)絡(luò)，如圖1-5所示，包含共同特征模塊和特定特征模塊，來描述兩種圖像的相同特征與不同特征。這種網(wǎng)絡(luò)模塊將兩種圖像的優(yōu)點(diǎn)融合在一起，并互相彌補(bǔ)，增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)表達(dá)能力和魯棒性。圖1-4FuseNet語義分割網(wǎng)絡(luò)架構(gòu)[6]圖1-5通過公共特征和模態(tài)特定特征融合的語義分割網(wǎng)絡(luò)架構(gòu)[7]


本文編號：2925634